Octoparse 8.1

Сбор данных

Octoparse – это комплексное программное решение для массового и автоматизированного сбора (веб-скрейпинга), структуризации и анализа данных, для использования которого не требуется навыков программирования. С его помощью можно превратить любые неструктурированные веб-данные в готовую информационную базу для маркетинга, исследований, продаж, продвижения и решения множества других бизнес-задач.

Главное окно программы для веб-скрейпинга данных Octoparse

В зависимости от того, на каких сайтах будет использоваться ПО, можно получить данные и/или контент следующего типа: цены и информация о продуктах (для торговых площадок); посты, публикации, комментарии (социальные сети); цены, рейтинги, отзывы (букинг, недвижимость); вакансии и зарплаты (работа) и т. д.

Набор шаблонов одного сайта в программе для веб-скрейпинга данных Octoparse

Рассматриваемое ПО функционирует под управлением уникального алгоритма, в основе которого лежит искусственный интеллект, что и позволяет автоматически находить и извлекать данные веб-страниц по предварительно указанным или шаблонным параметрам.

Пример шаблона для сайта Amazon в программе для веб-скрейпинга данных Octoparse

Шаблоны

Сервис предоставляет более 200 готовых к использованию шаблонов по сбору данных с сайтов следующих категорий:

  • Популярные веб-сервисы;
  • Шаблоны для работы с популярными сайтами в программе для веб-скрейпинга данных Octoparse

  • Интернет-магазины и торговые площадки (Amazon, eBay, Walmart и т. д.);
  • Шаблоны для работы с интернет-магазинами и торговыми площадками в программе для веб-скрейпинга данных Octoparse

  • Отели и путешествия (Airbnb, Booking, Tripadvisor и т. д.);
  • Шаблоны категории отели и путешествия в программе для веб-скрейпинга данных Octoparse

  • Социальные сети и медиа (Facebook, Instagram, Twitter, YouTube и т. д.);
  • Шаблоны категории социальные сети и медиа в программе для веб-скрейпинга данных Octoparse

  • Поисковые системы (Google, Yahoo);
  • Шаблоны категории поисковые системы в программе для веб-скрейпинга данных Octoparse

  • Доски объявлений (Crunchbase, Yellow Pages, Yelp и т. д.);
  • Шаблоны категории доски объявлений в программе для веб-скрейпинга данных Octoparse

  • Картографические сервисы (Google);
  • Шаблоны категории картографические сервисы в программе для веб-скрейпинга данных Octoparse

  • Обзоры;
  • Шаблоны категории обзоры в программе для веб-скрейпинга данных Octoparse

  • Поиск работы;
  • Шаблоны категории работа в программе для веб-скрейпинга данных Octoparse

  • Недвижимость;
  • Шаблоны категории недвижимость в программе для веб-скрейпинга данных Octoparse

  • Школьное образование;
  • Шаблоны категории школьное образование в программе для веб-скрейпинга данных Octoparse

  • Финансы;
  • Шаблоны категории финансы в программе для веб-скрейпинга данных Octoparse

  • Ставки.
  • Шаблоны категории ставки в программе для веб-скрейпинга данных Octoparse

Создание задач

Помимо шаблонных, в Octoparse можно создать свои собственные задачи по извлечению данных из веба. Выполняется данная процедура в три простых шага: указание URL-адреса страницы сайта, из которой требуется собрать данные, выбор цели и затем запуск и непосредственное извлечение.

Создание своей задачи в программе для веб-скрейпинга данных Octoparse

Процедура предельно простая и автоматизированная – система распознает ключевые элементы на веб-страницах и выделяет (подсвечивает) их, что не только обеспечивает дополнительное удобство во взаимодействии, но и экономит время. Еще более важно то, что такой подход исключает необходимость знания и использования языка XPath для самостоятельного создания XML-запросов.

Ход выполнения задачи в программе для веб-скрейпинга данных Octoparse

Сохранение и изменение настроек задач

В ходе автоматического извлечения информации и на основании обнаруженного на сайте контента Октопарс создает собственные настройки, которые можно как сохранить в виде шаблонных и готовых для дальнейшего использования, так и изменить на свое усмотрение, например, исключив одни категории и добавив другие либо просто изменив их очередность.

Начальное представление задачи в программе для веб-скрейпинга данных Octoparse

Очевидно, что необходимость изменения базовых настроек, которыми и обуславливается конечное представление собранных данных, возникает довольно часто. Изначально они отображаются в виде наглядной таблицы с автоматически определенными категориями и порядком, столбцы в которой можно менять местами, а ненужные попросту удалить.

Рабочий процесс в программе для веб-скрейпинга данных Octoparse

Помимо этого, можно и зачастую нужно самостоятельно указывать такие параметры, как количество страниц на сайте и интервал обращения к ним.

Настройка действий по извлечению данных в программе для веб-скрейпинга данных Octoparse

После автоматического или самостоятельного определения настроек, запуска и завершения непосредственного процесса извлечения создается рабочий шаблон (workflow), состоящий из нескольких блоков – редактируемых элементов, конечный вид которых и определяет то, как будет выглядеть задание в результате.

Процесс выполнения созданной задачи в программе для веб-скрейпинга данных Octoparse

Представление задач и управление

Готовые задачи добавляются на панель мониторинга (доступна из верхнего и бокового меню), откуда можно выполнять такие действия, как запуск и остановка процесса извлечения, поделиться с коллегами, экспортировать, просматривать локальные данные и те, что хранятся в облаке.

Панель мониторинга с задачами в программе для веб-скрейпинга данных Octoparse

Для более удобного поиска и управления рекомендуется создавать группы, по необходимости можно перемещать задания из одной категории в другую.

группировка задач в панели мониторинга в программе для веб-скрейпинга данных Octoparse

Дополнительные инструменты

В составе актуальной (бета) версии Октопарс есть два дополнительных инструмента, которые расширяют функциональные возможности этой программы и позволяют более эффективно взаимодействовать с данными. Так, RegEx Tool предоставляет возможность очистки собранной информации, а Database Auto Export Tool позволяет задавать свое расписание для экспорта в локальную базу.

Набор дополнительных инструментов в программе для веб-скрейпинга данных Octoparse

Экспорт данных

Собранные с помощью Octoparse данные по необходимости могут быть сохранены в форматах XLSX, CSV, JSON и т. д. для последующей их обработки в стороннем программном обеспечении, например, Excel или Ajax. Также имеется возможность экспорта в базы данных.

Экспорт собранных в ходе выполнения задачи данных в программе для веб-скрейпинга данных Octoparse

Прокси-серверы

Рассматриваемая программа предоставляет возможность использования собственного прокси-сервера в процессе сбора данных. Таким образом можно скрыть или автоматически подменять свой IP-адрес, чтобы не попасть в черный список обрабатываемых веб-ресурсов.

Блокировка рекламы

Octoparse содержит в своем составе средства блокировки рекламы, благодаря чему сокращается время загрузки страниц и обращений к ним и, следовательно, оптимизируется и ускоряется решение основных рабочих задач.

Облачные сервисы

Для обеспечения безопасности и надежности процесса веб-скрейпинга Октопарс использует передовые технологии облачных вычислений собственной разработки, а также предоставляет доступ к своим сервисам и серверам, скорость работы которых до 20 раз выше, чем у локальных аналогов.

Принцип работы программы для веб-скрейпинга данных Octoparse

Уроки по использованию

На официальном сайте Octoparse представлена исчерпывающая библиотека обучающих материалов, благодаря которым можно в кратчайшие сроки освоить все функциональные возможности данного ПО, чтобы максимально эффективно использовать его для организации рабочих процессов и решения бизнес-задач. Перейти к ним можно и из интерфейса программы, ее главного окна.

Страница поддержки на сайте программы для веб-скрейпинга данных Octoparse

Техническая поддержка

В случае возникновения каких-либо трудностей в использовании и/или проблем в работе Октопарс всегда можно обратиться в службу технической поддержки сервиса веб-скрейпинга данных. Доступны следующие каналы связи: электронная почта, форум и сообщество, социальные сети и живой чат (есть только в платном тарифе). При этом стоит отметить, что для получения ответов на те или иные вопросы зачастую достаточно обратиться к представленной на сайте базе знаний или уже упомянутым выше обучающим материалам.

Страница справки и технической поддержки на сайте программы для веб-скрейпинга данных Octoparse

Достоинства

  • Наличие 14-дневной бесплатной пробной версии;
  • Простой и удобный, интуитивно понятный интерфейс;
  • Отсутствие необходимости обладания навыками программирования;
  • Возможность использования облачных сервисов компании-разработчика;
  • Наличие обучающих материалов по использованию ПО;
  • Техническая поддержка с несколькими каналами связи;
  • Большая библиотека готовых шаблонов, которые по необходимости можно изменять под свои задачи;
  • Поддержка наиболее популярных веб-сайтов и сервисов совершенно разных направленностей и тематик.

Недостатки

  • Отсутствие русификации;
  • Отсутствие шаблонов для отечественных сайтов;
  • На момент написания обзора актуальные версии Octoparse для Windows и macOS доступны только в виде beta. Предыдущая (стабильная) отличается от нее интерфейсом и функциональностью.

Скачать пробную версию Octoparse

Загрузить последнюю версию программы с официального сайта

Поделиться программой в социальных сетях:

Octoparse

Рейтинг: 0 из 5 (0 голосов)
Система: Windows 7, 8, 10; macOS X
Категория: Обзоры программ
Стоимость: Бесплатно
Размер: 75 MB
Язык: Английский
Версия: 8.1
Octoparse – программное обеспечение для массового и автоматизированного веб-скрейпинга, структуризации и анализа данных с сайтов интернет-магазинов и торговых площадок, социальных сетей и медиа и ряда других веб-ресурсов.

Похожие программы и статьи:

Задайте вопрос или оставьте свое мнение

Примечание: если отправленный комментарий не появился на странице, значит он ушел на проверку и скоро будет опубликован. Пожалуйста, не дублируйте вопрос. Мы ответим Вам в ближайшее время.