Несколько месяцев я провел, вытаскивая данные вручную из кучи сайтов — до тех пор, пока не наткнулся на WebHarvy. Сначала отнёсся скептически: ещё один парсер, ещё одно «автозаматывание» — подумал я. Но за пару недель он стал частью моего рабочего процесса. Программа не претендует на всеобъемлющую сложность, но делает своё дело — тихо, чётко и без лишних телодвижений.
Что такое WebHarvy
WebHarvy — это инструмент для визуального веб-скрейпинга, который позволяет собирать данные с сайтов буквально щелчком по интересующему элементу. Представьте, что вы выделяете текст, как в браузере, а программа сама понимает, что вы хотите извлечь — названия, цены, описания, ссылки. И это действительно работает именно так. Я впервые попробовал его, когда нужно было собрать цены из каталога поставщиков, и сразу почувствовал разницу: не надо писать XPath, не надо включать DevTools, просто… кликаешь. Возьмёт каждый — главное, понять, зачем оно вообще нужно.
Как это работает
Открыл WebHarvy — сразу понятно: слева настройки, справа — браузер с загруженной страницей. Заходишь на нужный сайт, выбираешь элемент — например, строку товара. Программа спрашивает: «Это один элемент или список?» Выбираешь список — она сама находит все аналогичные блоки. Я пару раз проверял — даже с пагинацией справляется. Поддерживает JSON, XML, Excel — что приятно. И, что важно, не нужно лезть в код. Я сам пару раз выручался этим: срочно понадобилось вытащить контакты с нескольких страниц — сделал за полчаса, включая перерыв на чай. С webharvy процесс стал похож на игру: клик — выбираешь тип данных — «Next». Вот и всё.
| Характеристика | Описание |
|---|---|
| Тип | Визуальный парсер данных |
| Поддержка форматов | CSV, Excel, XML, JSON |
| Тип браузера | Встроенный (на базе Chromium) |
| Автоматизация | Есть (по расписанию, экспорт в БД) |
| Требует навыков программирования | Нет |
Достоинства и недостатки
- Интерфейс — настоящий визуальный редактор, разберётся даже новичок
- Не нужно писать код — достаточно понимания, что хочешь забрать
- Хорошо работает с динамическими страницами на JavaScript
- Иногда «путает» структуру, если сайт перегружен
- Долго грузит страницы, если включён встроенный браузер
- Экспорт в Excel с кривыми форматами — бывает геморрой
Кому подойдёт WebHarvy
- Маркетологам, которые собирают конкурентные цены по рынку
- Разработчикам, которым нужно быстро вытащить тестовые данные
- Фрилансерам, которым неохота вручную копировать текст из десятков страниц
- Малым бизнесам — для анализа каталогов и ассортимента
- Аналитикам, которым лень возиться с API и regex
Поначалу показалось странным, что программа не пытается быть «умнее» — она просто делает свою работу. И это, на самом деле, огромный плюс. WebHarvy не хвастается миллионом фич, но делает основное — стабильно и без лишней суеты. Если вам нужно быстро извлечь данные из сайтов без кода, это один из самых адекватных вариантов. Кто-то говорит, что проще взять Python, но я уже пробовал — уходит втрое больше времени. Всё, что нужно — просто начать. Нажмите кнопку «Скачать» на этой странице и внизу этой же страницы скачайте торрент-файл.
Когда я впервые получил нужные данные без единой строки кода — понял, что иногда простота работает лучше любой сложной системы.
