Private Proxy Tools [купить доступ]:
Proxy Checker [old] | Proxy Checker [new] | Url Proxy Parser | Multi Proxy Parser
Alive Proxy List (URL, ip:port\n) (~ http/s>=1000, socks4/5>=100) | Proxy List Proxy Statistics (Online)
Free Socks 4/5 (Alive) | Proxy Gear Pro (Proxy Combine: checker, parser, grabber)

 



Информация по хайдам / репутации

Все инфопродукты и приватная информация бесплатно

Вернуться   Proxy-Base Community - Анонимность и безопасность в интернете. > Proxy section - Бесплатные прокси листы, Прокси для серфинга в интернете, Прокси вконтакте, Анонимно > Работа с прокси - вопросы и ответы > Proxy SOFT

Ответ
 
LinkBack Опции темы Поиск в этой теме Опции просмотра
Старый 11.01.2012, 23:15   #1 (permalink)
***VIP***
Proxy-Base.Org Team
 
Аватар для Dizz
 
Регистрация: 03.05.2009
Сообщений: 1,390
Member ID: 5226
ICQ 100783
Jabber dizz@proxy-base.ru

Репутация: 2839
Репутация: 2839
Сказал(а) спасибо: 826
Поблагодарили 1,517 раз(а) в 396 сообщениях
Топикстартер (автор темы) По умолчанию

Давно у нас небыло интересных проектов, решил начать новый. Всем известно, что паблик сайты выкладывают прокси, но защищаются от граберов. Защищаются весьма надежно, но до ужаса гиморойно для конечного пользователя Эту проблему призван решить новый граббер.

Сначала идем смотреть пример, парсить мы будем этот сайт. Смотрим на довольно большой список прокси. Взять их сразу не получится, так как порты представлены в виде картинок.

Теперь смотрим на скриншот программы и знакомимся с интерфейсом) Впринципе этот граббер подойдет для любого подобного сайта. И так главное поле:
Код:
Start Page Link: http://proxy-besplatno.com/?page_num=
- тут мы указываем ссылку без последней цифры, которая означает номер страницы. Почти все сайты используют подобные обозначения. Вам остается понять как именно обозначаются номера страниц и правильно подставить ссылку в данное поле.


Код:
Start from и End at
указываю грабберу с какой и по какую страницу парсить указанный выше сайт. В поле Threads - указываете колличество потоков для ускорения парсинга

Код:
Ports 80 8080 3128
- Это самое главное поле для последующей генерации прокси. В этом весь смысл. Идем на сайт и смотрим какие порты наиболее часто встречаются и записываем. В нашем примере - всего 3 основных порта. Их и вписываем в поле! Внимание!!! Очень важно порты вводить через пробел, иначе вы получите висяк у программы) Вконце пробел ненужен!!!!

После того как с портами разобрались - жмем на кнопке Start Grab начнется процесс грабинга, после чего жмем на кнопке Generate Proxy. Все! - получаем готовый для чека список проксей. Загружаем их в наш любимый Dichecker и чекаем)

ПРЕДУПРЕЖДЕНИЕ!!! Программа очень сырая. После грабинга лучше всего выйти из программы перед повторным граббингом. Буду ее дорабатывать. От вас же - хочется услышать мнения) Может это вообще бред и больше версий ненужно делать

Список полученных прокси можно посмотреть в этом посте
Вложения
Тип файла: zip imGrabber.zip (212.9 Кб, 181 просмотров)
Тип файла: zip imGrabber_0.2.zip (284.5 Кб, 391 просмотров)
Dizz вне форума   Ответить с цитированием
26 пользователя(ей) сказали cпасибо:
Старый 12.01.2012, 01:14   #2 (permalink)
Заблокирован
 
Регистрация: 10.06.2010
Сообщений: 7
Member ID: 8077

Репутация: 0
Репутация: 0
Сказал(а) спасибо: 7
Поблагодарили 0 раз(а) в 0 сообщениях
По умолчанию Re: imGrabber - необычный граббер прокси без порта с паблик сайтов

Dizz, Это капец конечно с первого взгляда)) Но, т.к. некто не юзает те прокси, я получил скорость ~200 pps. Прокси получаеются просто супер. Респект.
Egoran вне форума   Ответить с цитированием
Старый 12.01.2012, 01:17   #3 (permalink)
***VIP***
Proxy-Base.Org Team
 
Аватар для Dizz
 
Регистрация: 03.05.2009
Сообщений: 1,390
Member ID: 5226
ICQ 100783
Jabber dizz@proxy-base.ru

Репутация: 2839
Репутация: 2839
Сказал(а) спасибо: 826
Поблагодарили 1,517 раз(а) в 396 сообщениях
Топикстартер (автор темы) По умолчанию Re: imGrabber - необычный граббер прокси без порта с паблик сайтов

Egoran, Капец в чем? Прога неудобная? Ты конкретне давай что не так? Я знаю что она сырая, но вот какраз качество прокси ею получаемые меня и интересует.
Dizz вне форума   Ответить с цитированием
Старый 12.01.2012, 08:28   #4 (permalink)
SOCKS5
 
Регистрация: 19.06.2009
Сообщений: 270
Member ID: 711

Репутация: 629
Репутация: 629
Сказал(а) спасибо: 106
Поблагодарили 261 раз(а) в 165 сообщениях
По умолчанию Re: imGrabber - необычный граббер прокси без порта с паблик сайтов

Dizz, спасибо! хорошая программа. Тестировал на том же сайте, собирает быстро, генерирует тоже! Особенно радует многопоточность. Заметил небольшую недоработку - в конечном файле каждая прокся записывается по 2 раза:

Идея отличная, думаю, стоит развивать! Хотелось бы в будущем увидеть граббинг по списку сайтов. Например, загружаем в программу такой текстовый файл:
Код:
URL|нач.страница|кон.страница|номера портов|ещё что-нибудь
И она начинает работать со списком, сама собирает, сама генерирует и выдает готовый текстовый файл, который потом уже будем чекать на валид.
Ещё раз спасибо, держи +


Заметил кое-что ещё. Когда попытался закрыть программу, начался бесконечный цикл из открывающихся окон:

Пришлось убить процесс и все с ним связанные, чтобы комп окончательно не завис. Не знаю, может связано с ОС. У меня Win7x64
А другой раз нормально закрылась... В общем, ошибки ещё есть)

И ещё хотелось бы узнать несколько подобных сайтов, мне такие почему-то редко встречаются)

Последний раз редактировалось DRIFT; 12.01.2012 в 08:33.
DRIFT вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Старый 12.01.2012, 09:14   #5 (permalink)
SOCKS5
 
Регистрация: 28.12.2010
Сообщений: 236
Member ID: 10949

Репутация: 126
Репутация: 126
Сказал(а) спасибо: 24
Поблагодарили 48 раз(а) в 36 сообщениях
По умолчанию Re: imGrabber - необычный граббер прокси без порта с паблик сайтов

А зачем номер порта парсить?
buny вне форума   Ответить с цитированием
Старый 12.01.2012, 10:27   #6 (permalink)
HTTP
 
Регистрация: 09.01.2010
Сообщений: 15
Member ID: 5633

Репутация: 18
Репутация: 18
Сказал(а) спасибо: 1
Поблагодарили 10 раз(а) в 7 сообщениях
По умолчанию Re: imGrabber - необычный граббер прокси без порта с паблик сайтов

Нормально работает, только дублей много) Дубли потом легко удалить, впрочем. Мне проще насканить.

Последний раз редактировалось .qwerty; 12.01.2012 в 10:33.
.qwerty вне форума   Ответить с цитированием
Старый 12.01.2012, 10:46   #7 (permalink)
Добрый доктор Хаус
 
Аватар для krasniy
 
Регистрация: 17.10.2009
Сообщений: 255
Member ID: 4595
ICQ 3374377

Репутация: 832
Репутация: 832
Сказал(а) спасибо: 100
Поблагодарили 368 раз(а) в 165 сообщениях
По умолчанию Re: imGrabber - необычный граббер прокси без порта с паблик сайтов

Dizz, а не проще сохранить на компе картинки всех портов, вычислить для них MD5-хэш и потом в граббере сравнивать хэши картинок на странице с базой хэшей, которые ты получил????
krasniy на форуме   Ответить с цитированием
Старый 12.01.2012, 11:45   #8 (permalink)
***VIP***
Proxy-Base.Org Team
 
Аватар для Dizz
 
Регистрация: 03.05.2009
Сообщений: 1,390
Member ID: 5226
ICQ 100783
Jabber dizz@proxy-base.ru

Репутация: 2839
Репутация: 2839
Сказал(а) спасибо: 826
Поблагодарили 1,517 раз(а) в 396 сообщениях
Топикстартер (автор темы) По умолчанию Re: imGrabber - необычный граббер прокси без порта с паблик сайтов

krasniy, может оно и проще так, но для данного сайта а для других хз) Но как вариант можно добавить и это. Мне понравилась сама идея. Всем спасибо за ответы, буду думать дальше
Dizz вне форума   Ответить с цитированием
Старый 13.01.2012, 15:55   #9 (permalink)
HTTP
 
Регистрация: 16.12.2011
Сообщений: 26
Member ID: 22166

Репутация: 3
Репутация: 3
Сказал(а) спасибо: 5
Поблагодарили 1 раз в 1 сообщении
По умолчанию Re: imGrabber - необычный граббер прокси без порта с паблик сайтов

Полезно! Благодарю.
Осталось только найти все те сайты, которые забраковал по причине невозможности парсинга)
webmadter вне форума   Ответить с цитированием
Ответ

Метки
граббер прокси, прокси без порта, прокси грабер

Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск
Опции просмотра

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.
Trackbacks are Вкл.
Pingbacks are Вкл.
Refbacks are Вкл.


Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
[FaceBook] Существует ли ПАБЛИК чекер FaceBook? PakZ Cоциальные сети 1 09.12.2014 18:08
Digrabber - граббер прокси по ссылкам Dizz Proxy SOFT 59 19.01.2014 09:37
P&CTool - граббер прокси со встроенным HTTP/SOCKS4/5 чекером NekitoSP Proxy SOFT 17 19.03.2012 04:37
Прокси граббер на Python neofit SOFT (Варезник) 0 25.07.2011 14:24
Простая прога для проверки порта ZagZag Работа с дедиками 2 09.02.2010 13:08




DDoS Protected



службы мониторинга серверов

Мы в твиттере, Proxy-Base.Org Twitter

Proxy-Base Community - Сообщество по анонимности в сети. Анонимность и заработок в интернете.
Наши партнеры: Prankota.Com, CRC Labs, SEO-Crack.Com, Garsuk.Com, SED Team, Skladchik.com, BSS Family

Powered by vBulletin® | Булка сделана в пекарне®
Copyright © 2000 - , Jelsoft Enterprises Ltd. Перевод: zCarot
Вся информация на сайте выложена исключительно в ознакомительных целях.