Octoparse

Сбор данных

Octoparse – это комплексное программное решение для массового и автоматизированного сбора (веб-скрейпинга), структуризации и анализа данных, для использования которого не требуется навыков программирования. С его помощью можно превратить любые неструктурированные веб-данные в готовую информационную базу для маркетинга, исследований, продаж, продвижения и решения множества других бизнес-задач.

В зависимости от того, на каких сайтах будет использоваться ПО, можно получить данные и/или контент следующего типа: цены и информация о продуктах (для торговых площадок); посты, публикации, комментарии (социальные сети); цены, рейтинги, отзывы (букинг, недвижимость); вакансии и зарплаты (работа) и т. д.

Рассматриваемое ПО функционирует под управлением уникального алгоритма, в основе которого лежит искусственный интеллект, что и позволяет автоматически находить и извлекать данные веб-страниц по предварительно указанным или шаблонным параметрам.

Шаблоны

Сервис предоставляет более 200 готовых к использованию шаблонов по сбору данных с сайтов следующих категорий:

• Популярные веб-сервисы;

• Интернет-магазины и торговые площадки (Amazon, eBay, Walmart и т. д.);

• Отели и путешествия (Airbnb, Booking, Tripadvisor и т. д.);

• Социальные сети и медиа (Facebook, Instagram, Twitter, YouTube и т. д.);

• Поисковые системы (Google, Yahoo);

• Доски объявлений (Crunchbase, Yellow Pages, Yelp и т. д.);

• Картографические сервисы (Google);

• Обзоры;

• Поиск работы;

• Недвижимость;

• Школьное образование;

• Финансы;

• Ставки.

Создание задач

Помимо шаблонных, в Octoparse можно создать свои собственные задачи по извлечению данных из веба. Выполняется данная процедура в три простых шага: указание URL-адреса страницы сайта, из которой требуется собрать данные, выбор цели и затем запуск и непосредственное извлечение.

Процедура предельно простая и автоматизированная – система распознает ключевые элементы на веб-страницах и выделяет (подсвечивает) их, что не только обеспечивает дополнительное удобство во взаимодействии, но и экономит время. Еще более важно то, что такой подход исключает необходимость знания и использования языка XPath для самостоятельного создания XML-запросов.

Сохранение и изменение настроек задач

В ходе автоматического извлечения информации и на основании обнаруженного на сайте контента Октопарс создает собственные настройки, которые можно как сохранить в виде шаблонных и готовых для дальнейшего использования, так и изменить на свое усмотрение, например, исключив одни категории и добавив другие либо просто изменив их очередность.

Очевидно, что необходимость изменения базовых настроек, которыми и обуславливается конечное представление собранных данных, возникает довольно часто. Изначально они отображаются в виде наглядной таблицы с автоматически определенными категориями и порядком, столбцы в которой можно менять местами, а ненужные попросту удалить.

Помимо этого, можно и зачастую нужно самостоятельно указывать такие параметры, как количество страниц на сайте и интервал обращения к ним.

После автоматического или самостоятельного определения настроек, запуска и завершения непосредственного процесса извлечения создается рабочий шаблон (workflow), состоящий из нескольких блоков – редактируемых элементов, конечный вид которых и определяет то, как будет выглядеть задание в результате.

Представление задач и управление

Готовые задачи добавляются на панель мониторинга (доступна из верхнего и бокового меню), откуда можно выполнять такие действия, как запуск и остановка процесса извлечения, поделиться с коллегами, экспортировать, просматривать локальные данные и те, что хранятся в облаке.

Для более удобного поиска и управления рекомендуется создавать группы, по необходимости можно перемещать задания из одной категории в другую.

Дополнительные инструменты

В составе актуальной (бета) версии Октопарс есть два дополнительных инструмента, которые расширяют функциональные возможности этой программы и позволяют более эффективно взаимодействовать с данными. Так, RegEx Tool предоставляет возможность очистки собранной информации, а Database Auto Export Tool позволяет задавать свое расписание для экспорта в локальную базу.

Экспорт данных

Собранные с помощью Octoparse данные по необходимости могут быть сохранены в форматах XLSX, CSV, JSON и т. д. для последующей их обработки в стороннем программном обеспечении, например, Excel или Ajax. Также имеется возможность экспорта в базы данных.

Прокси-серверы

Рассматриваемая программа предоставляет возможность использования собственного прокси-сервера в процессе сбора данных. Таким образом можно скрыть или автоматически подменять свой IP-адрес, чтобы не попасть в черный список обрабатываемых веб-ресурсов.

Блокировка рекламы

Octoparse содержит в своем составе средства блокировки рекламы, благодаря чему сокращается время загрузки страниц и обращений к ним и, следовательно, оптимизируется и ускоряется решение основных рабочих задач.

Облачные сервисы

Для обеспечения безопасности и надежности процесса веб-скрейпинга Октопарс использует передовые технологии облачных вычислений собственной разработки, а также предоставляет доступ к своим сервисам и серверам, скорость работы которых до 20 раз выше, чем у локальных аналогов.

Уроки по использованию

На официальном сайте Octoparse представлена исчерпывающая библиотека обучающих материалов, благодаря которым можно в кратчайшие сроки освоить все функциональные возможности данного ПО, чтобы максимально эффективно использовать его для организации рабочих процессов и решения бизнес-задач. Перейти к ним можно и из интерфейса программы, ее главного окна.

Техническая поддержка

В случае возникновения каких-либо трудностей в использовании и/или проблем в работе Октопарс всегда можно обратиться в службу технической поддержки сервиса веб-скрейпинга данных. Доступны следующие каналы связи: электронная почта, форум и сообщество, социальные сети и живой чат (есть только в платном тарифе). При этом стоит отметить, что для получения ответов на те или иные вопросы зачастую достаточно обратиться к представленной на сайте базе знаний или уже упомянутым выше обучающим материалам.

Достоинства

• Наличие 14-дневной бесплатной пробной версии;
• Простой и удобный, интуитивно понятный интерфейс;
• Отсутствие необходимости обладания навыками программирования;
• Возможность использования облачных сервисов компании-разработчика;
• Наличие обучающих материалов по использованию ПО;
• Техническая поддержка с несколькими каналами связи;
• Большая библиотека готовых шаблонов, которые по необходимости можно изменять под свои задачи;
• Поддержка наиболее популярных веб-сайтов и сервисов совершенно разных направленностей и тематик.

Недостатки

• Отсутствие русификации;
• Отсутствие шаблонов для отечественных сайтов;
• На момент написания обзора актуальные версии Octoparse для Windows и macOS доступны только в виде beta. Предыдущая (стабильная) отличается от нее интерфейсом и функциональностью.

Скачать пробную версию Octoparse

Загрузить последнюю версию программы с официального сайта

Наш Telegram каналТолько полезная информация