![]() | Бесплатные прокси. Количество: Прокси для пользователей форума (API). Количество: Купить доступ к прокси-листам (API). Количество: |
![]() | ![]() | ![]() |
![]() | #1 (permalink) |
Proxy-Base.Org Team Регистрация: 19.05.2009
Сообщений: 960
Member ID: 147
![]() Репутация: 2374 Сказал(а) спасибо: 894
Поблагодарили 2,054 раз(а) в 713 сообщениях
| ![]() ![]() bvsDupDelet v. 0.2.4.24 автор: TorBel Л®вёј/div> http://vizbe.net.ru/img/bvsDupDelet.PNG Описание: Программа создаёт файл на основе исходного путём сортировки строк исходного файла и удаления дубликатов строк с учётом регистра, лидирующих и замыкающих пробелов и/или символов табуляции. При нажатии кнопки Stay on top - программа всегда будет отображаться поверх всех окон. bvsDupDelet.rar Duplicat Remover by Teso v. 1.3.0.0 автор: Teso ![]() Описание:
Duplicat Remover by Teso.rar Fast Duplicates Remover v0.1 автор: M0nty ![]() Описание: Консольная программа. 1-ый способ: перетаскиваем файл в консольное окно и удаляем кавычки из пути к файлу. Жмём Enter. 2-ой способ: закидываем файл в папку с программой и пишем название файла (обязательно вместе с форматом файла) в консольном окне. Жмём Enter. На выходе получаем файл Out.txt Fast Duplicates Remover.rar naRedup автор: .avolver ![]() Описание: Плюсы:
naRedup.rar DupKill v. 0.2.4.24 автор: SPYDER ![]() Описание: Удаляет повторы строк в текстовом файле, в то же время сортирует список по алфавиту. Также есть функция удалить повторы и оригиналом. DupKill.rar DicTool v. 1.1 автор: astako ![]() Описание: Основные функции программы - это работа со словарями, но она также удаляет дубликаты.
DicTool.rar Для удаление дубликатов прокси можно также использовать |
![]() |
![]() |
![]() |
#2 (permalink) |
HTTP
Регистрация: 18.06.2010
Адрес: Пермь
Сообщений: 1
Member ID: 8190
![]() ![]() Репутация: 0
Сказал(а) спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
|
![]()
Попробуйте также программу
|
![]() |
![]() |
![]() |
#3 (permalink) |
VPN
Регистрация: 11.05.2009
Адрес: 05
Сообщений: 1,405
Member ID: 8
![]() ![]() Репутация: 1421
Сказал(а) спасибо: 1,275
Поблагодарили 1,346 раз(а) в 714 сообщениях
|
![]() ![]() Сортировка Удаление дубликатов Сортирует список по алфавиту (Удалить) |
![]() |
![]() |
![]() |
#4 (permalink) |
SOCKS5
Регистрация: 16.08.2009
Сообщений: 214
Member ID: 2173
![]() ![]() Репутация: 281
Сказал(а) спасибо: 153
Поблагодарили 249 раз(а) в 145 сообщениях
|
![]() ![]() Спасибо DDM за алгоритм ![]() Последний раз редактировалось Radzhab; 22.01.2011 в 22:36. |
![]() |
![]() |
![]() |
#5 (permalink) |
HTTP
Регистрация: 08.12.2010
Сообщений: 15
Member ID: 10612
![]() ![]() Репутация: 44
Сказал(а) спасибо: 8
Поблагодарили 32 раз(а) в 8 сообщениях
|
![]()
Radzhab, прогу на делфи накодил?
можно исходники для развития начинающего поколнеия? |
![]() |
![]() |
![]() |
#6 (permalink) |
SOCKS5
Регистрация: 16.08.2009
Сообщений: 214
Member ID: 2173
![]() ![]() Репутация: 281
Сказал(а) спасибо: 153
Поблагодарили 249 раз(а) в 145 сообщениях
|
![]()
kaktus, исходники ушли вместе с виндой, а так там алгоритм несложный. Спроси у КЕКСа . У него аналогичная прога
|
![]() |
![]() |
![]() |
#7 (permalink) | |
HTTP/S
Регистрация: 25.09.2011
Сообщений: 43
Member ID: 19229
![]() Репутация: 9
Сказал(а) спасибо: 10
Поблагодарили 3 раз(а) в 1 сообщении
|
![]()
DupliFind
![]()
|
|
![]() |
![]() |
![]() |
#8 (permalink) |
SOCKS5
Регистрация: 02.05.2011
Адрес: /system32
Сообщений: 272
Member ID: 14219
![]() Репутация: 783
Сказал(а) спасибо: 7
Поблагодарили 261 раз(а) в 138 сообщениях
|
![]() Л®вёј/div> http://www.rusdocs.com/wp-content/uploads/2008/05/text-duplicate-killer.gif Код:
Text Duplicate Killer – программа, предназначенная для удаления из текста повторяющихся строк (не обязательно смежных). В результате создается новый текстовый файл, в котором каждая строка встречается только один раз. Как найти дубликаты 1. У Вас должен быть готов файл формата ASCII, содержащий текст, в котором Вы хотите удалить дублирующиеся строки. Если Вам нужно обработать текст из файлов DOC или RTF, то экспортируйте его в ASCII. 2. После запуска утилиты tdk.exe выберите пункт меню Файл|Открыть исходный файл и укажите файл, в котором необходимо удалить дубликаты. 3. Затем с помощью пункта меню Файл|Задать целевой файл укажите имя нового файла. В этот файл утилита поместит обработанный текст, который уже не будет содержать дубликатов. Вы можете автоматически создать новое имя. Для этого нажмите кнопку с “волшебной палочкой”. 4. Для запуска процесса поиска и удаления дубликатов выберите пункт меню Операции|Убрать дубликаты!. В любой момент Вы можете прервать работу, нажав на кнопку Стоп, находящуюся в правом нижнем углу. При большом объеме текста обработка может занять некоторое время. Имя целевого файла Имя целевого файла можно создать автоматически, нажав на кнопку “волшебная палочка”. В автоматически созданном имени кодируются некоторые настройки. Ниже приведены примеры: Имя исходного файла: test.txt Варианты автоматически создаваемого имени целевого файла: test.txt.no_dupes_w_i.txt – конец строки формата Windows (CR/LF), игнорировать регистр test.txt.no_dupes_u_i.txt – конец строки формата Unix (LF), игнорировать регистр test.txt.no_dupes_w.txt – конец строки формата Windows (CR/LF), не игнорировать регистр test.txt.no_dupes_u.txt – конец строки формата Unix (LF), не игнорировать регистр Внимание! В случае, если файл с целевым именем уже существует, он перезапишется без запроса. Допустимые форматы файлов Text Duplicate Killer корректно обрабатывает только текстовые файлы формата ASCII. Чтобы обработать документы Microsoft Word и прочие файлы, имеющие сложную структуру, необходимо экспортировать их в формат ASCII. Обработка любых двоичных файлов также недопустима. Параметры командной строки Формат параметров командной строки: tdk.exe [/teol=w|u] [/ic+|-] [/ios+|-] [/h=1|2|3|4|5|6] [/so=desc|asc] [/s=none|char|len|loc] [/in=] [/out=] | [/?] Описание параметров: /teol=w – установить для целевого файла конец строки в Windows-формате (#13#10) /teol=u – установить для целевого файла конец строки в Unix-формате (#10) /ic+ – игнорировать регистр (только для латинских букв!) /ic- – учитывать регистр (только для латинских букв!) /ios+ - игнорировать обрамляющие пробелы /ios- – учитывать обрамляющие пробелы /h=X – установить “степень” хеширования равной X символам. X = 1..6 /so=desc – установить для сортировки обратный порядок/по убыванию /so=asc – установить для сортировки прямой порядок/по возрастанию /s=none – без сортировки целевого текста /s=loc – сортировка по национальному алфавиту /s=char – сортировка по кодам символов /s=len – сортировка по длине строки /in= – имя исходного файла (ASCII) /out= – имя нового файла. TDK создает этот файл на основе source, исключая повторяющиеся строки /? - вывести справку по программе Примеры: tdk /in=file1.txt /out=file2.txt – удалить дубликаты из файла file1.txt и записать уникальные строки в файл file2.txt, используя текущие настройки программы. tdk /ic+ /ios+ /so=asc /s=char /in=file1.txt /out=file2.txt Примечания: При запуске с параметрами - если какой-либо параметр не указан, то используется его интерфейсная установка (см. файл tdk.ini) - утилита автоматически начнет обработку и запись нового текста, а по завершении работы – закроется - если исходный файл слишком большой, то найденные дубликаты не отображаются Параметры нечувствительны к регистру. Параметры должны отделяться друг от друга как минимум одним пробелом! Не используйте пробелы в именах файлов Настройки, установленные с помощью параметров командной строки, запоминаются. Меню Меню / Файл Открыть исходный файл – Позволяет выбрать исходный файл (формата ASCII). Задать целевой файл – Позволяет указать имя целевого файла, в который будут записываться уникальные строки из исходного файла. Тип конца строки (Unix/Windows) в целевом файле можно указать в опциях. Меню / Вид Хэш-данные – Эта опция позволяет включить отображение специфических сведений, например, скорость обработки. Найденные дубликаты – Данная опция позволяет включить отображение окна с экземплярами найденных дубликатов. Например, если в тексте будет найдено 10 дубликатов одной строки, то каждый экземпляр добавиться в это окно. При обработке больших текстов рекомендуется отключать отображение этого окна, поскольку найденные дубликаты могут переполнить оперативную память. Меню / Опции Целевой EOL = CR/LF (Windows) – Установить в целевом файле конец строки как CR/LF. Целевой EOL = LF (Unix) – Установить в целевом файле конец строки как LF. Игнорировать регистр (латиница) – Данная опция указывает, что регистр латинских букв не учитывается. В этом случае, например, строки String, string и STRING будут рассматриваться как дубликаты. Игнорировать ведущие и конечные пробелы – При сравнении строк не учитываются “обрамляющие” пробелы. Например, при включенной опции, строки “текст” и ” текст ” будут считаться дубликатами. Внимание: в целевом тексте пробелы не отсекаются! Без сортировки целевого текста – Строки целевого текста не сортируются. Сортировка по национальному алфавиту – Сортировка национальных символов происходит с учетом настроек языка в операционной системе Windows. Сортировка по кодам символов - Сортировка основана на кодах символов (Latin-1, т.е. расширенный 8-битный ASCII-код). Сортировка по длине строки – Строки сортируются по длине (включая пробелы). Сортировать в прямом порядке/по возрастанию – В зависимости от выбранного типа сортировки опция указывает либо на прямой алфавитный порядок, либо на возрастающий порядок кодов или длины строки. Сортировать в обратном порядке/по убыванию – Аналогично предыдущей опции. Хэшировать по N символов - Сколько первых символов использовать для хэширования. Данная настройка важна только в том случае, если вы обрабатываете очень большие файлы, не помещающиеся в оперативную память. Хэш-индекс основан на ASCII-коде, поэтому при хэшировании по одному символу максимальное количество сегментов равно 255. При использовании двух символов количество сегментов становится равным 65536. Так как программа “скидывает” сегменты на жесткий диск, то увеличение количества сегментов может существенно снизить требования к оперативной памяти, хотя нагрузка на дисковую систему увелчивается (и скорость работы соответственно). Если вам понадобилось изменить эту настройку, то определить нужное значение можно экспериментально, но учтите, что для разных текстов эффективность обработки может сильно различаться. По умолчанию установлено 3 символа – это некий компромисс между скоростью работы и требованиями к ОЗУ. Установить первоначальные настройки – Команда устанавливает “заводские” настройки (в том числе положение и размер формы).
__________________ ![]() ![]() |
![]() | ![]() |
![]() | #9 (permalink) |
HTTP/S Регистрация: 14.01.2010
Сообщений: 68
Member ID: 5845
![]() Репутация: 99 Сказал(а) спасибо: 24
Поблагодарили 49 раз(а) в 22 сообщениях
| ![]() TextDup by CyberKrot Программа для удаления дубликатов в файлах. Особенности программ: 1) Не создаёт лишних файлов. 2) Не сортирует. 3) Позволяет выбрать существующий файл для сохранения, удаляет дубликаты с проверкой всех строк в этом файле. 4) Отсутствует графический интерфейс позволяющий наблюдать за процессом удаления дубликатов, в конце своей работы выводит сообщение с результатом и предложением открыть новый файл. Работает по принципу взять строку и сравнить со всеми строками файла. |
![]() | ![]() |
Пользователь сказал cпасибо: |
![]() |
Опции темы | Поиск в этой теме |
Опции просмотра | |
| |