Collect URL 3.6 + Portable

Vovsoft Collect URL — утилита для сбора ссылок, которая работает как веб-краулер и просматривает страницы примерно так же, как это делает поисковый бот. В основе подхода простая идея: вы задаете исходный адрес и получаете перечень всех ссылок, найденных на странице, после чего программа рекурсивно переходит по собранному списку и продолжает сканирование. Такой сценарий удобен, когда нужно быстро собрать структуру сайта, проверить навигацию или подготовить список URL для дальнейшей обработки.

Начать работу можно буквально с одного поля: введите "Start URL" и нажмите кнопку "Start" — Collect URL начнет обход и будет пополнять список найденных адресов. При необходимости сбор можно ограничить одним доменом или конкретным поддоменом, чтобы не уходить на внешние ресурсы. Присутствует редактируемый список игнорируемых расширений файлов (исключений), а также настраиваемые значения connection timeout и response timeout. Отдельно предусмотрена возможность изменить строку user-agent для HTTP и HTTPS подключений.

Для задач, где нужно обрабатывать сразу несколько источников, в программе есть режим параллельной проверки: пункт меню File > "Check Multiple Websites" позволяет вставить несколько адресов (каждый с новой строки), и каждый сайт будет запущен в своем экземпляре приложения. В более новых версиях к этому режиму добавили параметр "Delay (ms)", чтобы при необходимости делать паузы между действиями. Это особенно полезно при аккуратном обходе больших ресурсов или при тестовых прогонах.

Помимо общего списка, Collect URL умеет формировать и "Full URL List", и "Filtered URL List": вы можете фильтровать текст как в самом адресе, так и в HTML-содержимом, чтобы найти страницы, где встречается заданная строка. По сути это превращает сбор ссылок в быстрый поиск нужных разделов по всему сайту без ручного кликанья.

С точки зрения производительности разработчик подчеркивает, что программа экономно расходует память и способна обрабатывать до 100 миллионов URL, не замедляя интерфейс. В журнале версий это связывают с внедрением виртуального ListView, а также с другими доработками стабильности и интерфейса, включая исправления для high-DPI и улучшения UTF-8. Программа, хорошо подходит и для длинных сессий обхода, и для быстрых точечных проверок.

В актуальной ветке также появился переключатель "Use Browser Engine" для работы через Microsoft Edge WebView2, а еще команда "Reset to Defaults" для быстрого возврата настроек к исходным значениям. Для установки доступны установочная и переносимая сборки, а среди поддерживаемых систем перечислены Windows 11, 10, 8/8.1, 7, Vista и XP (как 32-битные, так и 64-битные). Интерфейс программы заявлен как English.

Если подытожить, Collect URL — это практичный инструмент для тех, кому нужно собрать ссылки с сайта автоматически: задать стартовую точку, ограничить интерент рамками домена, отфильтровать результаты по тексту и быстро получить аккуратный список для анализа. Он сочетает понятный запуск, гибкие настройки обхода и масштабируемость на больших объемах, поэтому хорошо закрывает задачу "собрать URL и не утонуть в ручной работе".