Таки граббим много покси - Proxy-Base Community - Анонимность и безопасность в интернете.

Private Proxy Tools [купить доступ]:
Proxy Checker [old] | Proxy Checker [new] | Url Proxy Parser | Multi Proxy Parser
Alive Proxy List (URL, ip:port\n) (~ http/s>=1000, socks4/5>=100) | Proxy List Proxy Statistics (Online)
Free Socks 4/5 (Alive) | Proxy Gear Pro (Proxy Combine: checker, parser, grabber)

 



Информация по хайдам / репутации

Все инфопродукты и приватная информация бесплатно

Вернуться   Proxy-Base Community - Анонимность и безопасность в интернете. > Proxy section - Бесплатные прокси листы, Прокси для серфинга в интернете, Прокси вконтакте, Анонимно > Работа с прокси - вопросы и ответы > Proxy FAQ | Что такое прокси и как ими пользоваться

Ответ
 
LinkBack Опции темы Поиск в этой теме Опции просмотра
Старый 28.02.2016, 14:02   #1 (permalink)
жърный пiся
 
Регистрация: 06.07.2009
Сообщений: 23
Member ID: 1059

Репутация: 76
Репутация: 76
Сказал(а) спасибо: 27
Поблагодарили 52 раз(а) в 32 сообщениях
Топикстартер (автор темы) По умолчанию Таки граббим много покси

Понадобилось тут собрать большой списочек проксей, по пути накатал мануальчик, мне не жалко.
Что будет:
Сборка огромного листа под лич.
Удаление невалида.
Составление списка для сбора свежих прокси без трахоебли в виде сбора новых ссылок каждый раз

Скриншоты для даунов делать лень.

Нам нужно:
Изначальный список прокси в пару тысяч штук
Софт для удаления дубликатов по вкусу. Для примера буду использовать bvsDupDelet от TorBel, ибо ничего быстрее пока не придумали
Граббер ссылок с поиска. Подойдет любой рабочий. Поверхностно погуглив нашел grabber by apex например. Для примера буду использовать его.
Личер по вкусу. Для примера буду использовать proxyfire, ибо он не зависает наглухо как pg и не абасрется со списком в пару лямов. Лучше похоже опять не придумали.(gatherproxy у меня работает через жопу и личит только половину списка)
notepad++
Софт, который сможет граббить используя "глубину поиска" Например gatherproxy

Итак, для начала соберите пару тысяч прокси из свежих проксилистов за последний день.
Запихиваем все это дело в текстовик, прогоняем через программу для удаления дубликатов. В bvs в поле инпут вбиваем имя файла, нажимаем go, создастся файл dest с удаленными дублями.

Запихиваем все это дело в граббер ссылок, ждем.
Зачем именно прокси, а не обычные запросы? Чтобы получить на выходе прокси, которые точно можно отпарсить.

Полученные ссылки из граббера вновь прогоняем через дупделет.

Запускаем proxyfire, переходим на вкладку p-leecher, нажимаем кнопку edit forum list, пихаем туда наши ссылочки. Убираем галочку с loop и autocheck
Настраиваем потоки по желанию, нажимаем go, ждем. По окончанию лича нажимаем кнопку result dir, берем файл leecher_all, опять прогоняем через дупделет.
Получаем внушительный список прокси, который можно прогнать через любимый чекер.

Но это еще не все, нам нужно убрать из списка битые ссылки и ссылки с нулевым количеством прокси.

Берем лог из p-leecher, суем его в нотепад++
Удаляем лишнее сверху, оставив только список формата retrieve %число% from %ссыль%
Нажимаем поиск -> замена
Внизу выбираем регулярные выражения
В поле найти вбиваем retrieve 0 from .*
Поле "заменить на" оставляем пустым и заменяем.
Потом в поле найти пишем retrieve .* from
Поле "заменить на" так же оставляем пустым
Если остались пробелы, то просто в поле найти введите пробел, а поле "заменить на" оставьте пустым
Дальше выбираем в меню сверху "правка" -> оперции со строками -> удалить пустые строки

На выходе получаем полностью валидный список для дальнейшего использования.

Но это опять не все. Мы можем собрать список так, чтобы больше не выполнять вышеперечисленные действия и чтобы прокси были всегда свежими. Ну конечно потратив на это немного времени.

Полученный список нужно отсортировать по алфавиту. Для этого воспользуйтесь любой удобной тулзой, либо прогоните еще раз через дупделет.

Итого получим список ссылок, которые будут сгруппированы по сайтам, будут десятки тем на различных форумах и страниц на сайтах
Дальше нужно потратить немного времени и поработать ручками. Алгоритм действий такой.
Видим кучу ссылок с какого-либо форума. Нам нужно перейти в раздел, в котором находится тема и вместо кучи ссылок оставить только две, которые будут вести на первые две старницы раздела. Так же попутно можно глянуть еще какие разделы есть.
Тратим некоторое время, получаем ссылки на страницы, на которых есть ссылки на темы.
Опять вооружаемся notepad++

Далее описан алгоритм для gatherproxy, для других личеров с поддержкой глубокого поиска он может быть другой.

Открываем наш список в нотепаде и опять открываем замену, опять выбираем регулярные выражения
Пишем в найти $
Пишем в "заменить на" #deep(1)#
отключаем регулярные выражения
Пишем в найти #deep1#
Пишем в "заменить на" #deep(1)#

открываем gather proxy. В разделе gather proxy выбираем "my url", нажимаем кнопку Select, в поле внизу вставляем наш список. Ну и нажимаем старт.

Хм, опять не все. Если заместо форумов, где можно просто выбрать пару первых страниц тем, нам попались сайты со списками прокси, но на которых есть куча страниц, то можно использовать и их, для получения полного списка свежака.

Для примера буду использовать ссылку example.com/proxylist.php?=1
При переходе на вторую страницу меняется цифра example.com/proxylist.php?=2
Т.е счетчик страниц изменяется на единицу. И для примера будет 10 таких страниц.
В gatherproxy есть возможность граббить с нескольких страниц, для этого используется аргумент loop
Используется так: #loop(первое значение,последнее значение,счетчик)#
Т.е для нашего примера будет такой аргумент: #loop(1,10,1)# и вбиваем его заместо #deep(1)# в нужных местах.
__________________
404
shnurd вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Старый 28.02.2016, 18:55   #2 (permalink)
HTTP/S
 
Аватар для Simbioz
 
Регистрация: 14.02.2016
Сообщений: 40
Member ID: 35988

Репутация: 75
Репутация: 75
Сказал(а) спасибо: 15
Поблагодарили 25 раз(а) в 11 сообщениях
По умолчанию Re: Таки граббим много покси

скинь ещё если есть листы для граббинга прокси=)
Simbioz вне форума   Ответить с цитированием
Ответ

Метки
хуй

Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск
Опции просмотра

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.
Trackbacks are Вкл.
Pingbacks are Вкл.
Refbacks are Вкл.


Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Нужно много SOCKS5!!! rover8613 Proxy FAQ | Что такое прокси и как ими пользоваться 7 18.02.2016 21:08
Много разных мануалов. ivr754 Работа и халявные схемы заработка | халявные деньги 0 21.07.2015 13:06
[Покупка] Куплю аккаунты стима МНОГО и ПОСТОЯННО, Срочно. много! BestPrognoz Покупка / продажа 1 26.02.2014 02:24
Socks 4/5 25/01/12 (МНОГО) HELMOS SOCKS 4/5 Proxy Lists | SOCKS 4/5 прокси 0 25.01.2012 19:37
Много фейков zarj-04 SOFT (Варезник) 1 10.08.2009 18:27




DDoS Protected



службы мониторинга серверов

Мы в твиттере, Proxy-Base.Org Twitter

Proxy-Base Community - Анонимность и безопасность в интернете.
Наши партнеры: Prankota.Com, CRC Labs, SEO-Crack.Com, Garsuk.Com, SED Team, Skladchik.com, BSS Family

Powered by vBulletin® | Булка сделана в пекарне®
Copyright © 2000 - , Jelsoft Enterprises Ltd. Перевод: zCarot
Вся информация на сайте выложена исключительно в ознакомительных целях.