Как пользоваться Data Miner — пошаговое руководство

Расширение Data Miner — значок кирки на панели инструментов

Кратко: если вы копируете данные вручную из сайтов в таблицы, Data Miner поможет автоматизировать задачу без написания кода. Это особенно полезно для маркетологов, аналитиков и исследователей, которым нужно быстро собрать ссылки, цены, описания продуктов и другие структурированные данные.

Что такое веб‑скрапинг

Веб‑скрапинг — процесс извлечения структурированных данных из веб‑страниц. Простая формулировка: браузер читает HTML, а вы указываете шаблоны, какие элементы собрать. Определение: HTML — язык структуры страниц; CSS селекторы — короткие «адреса» элементов.

Важно: скрапинг отличается от парсинга API. API обычно предоставляет официальные данные; скрапинг — работа по модели визуального или селекторного извлечения с сайта.

Как работает Data Miner

Data Miner анализирует DOM (структуру HTML) загруженной страницы и извлекает повторяющиеся фрагменты, которые вы обозначаете как строки и столбцы. Для большинства задач достаточно базовых знаний HTML и CSS‑селекторов. Для динамических или сильно защищённых сайтов иногда придётся использовать дополнительные шаги: клик‑действия, прокрутку или собственный JavaScript.

Коротко о терминах:

Рецепт — набор правил (строки, столбцы, навигация), который Data Miner выполняет, чтобы получить таблицу.
List Page — страница со списком элементов (много строк).
Detail Page — страница с подробной информацией об одном объекте (несколько полей в одной строке).

1. Установка и первая настройка

Установка расширения Data Miner в Chrome

Откройте Chrome или другой Chromium‑браузер.
Установите расширение Data Miner из магазина Chrome.
Нажмите на значок кирки в панели инструментов. Вас перенаправит на страницу регистрации/входа.
Бесплатный план даёт ограниченное число запросов в месяц — этого обычно хватает для эпизодических задач.

Подсказка: если план закончился, можно экспортировать уже собранные данные и затем отключить автоматический сбор.

2. Подготовка страницы и выбор примера

Загрузка целевой страницы в браузере

Перейдите на страницу, откуда нужно собрать данные. Желательно иметь репрезентативный пример — страницу, на которой есть несколько элементов, похожих на те, что вы будете собирать. Если данные распределены по страницам, начните с первой.

Совет: отключите блокировщики контента и логины, которые мешают отображению элементов.

3. Поиск готового рецепта

Вкладка публичных рецептов Data Miner

Откройте Data Miner и посмотрите вкладку «Public» (Публичные рецепты). Для популярных сайтов часто уже есть готовые рецепты. Если есть — запустите их кнопкой “Run” (Запустить) и проверьте превью таблицы. При необходимости нажмите “Edit” (Редактировать) и скорректируйте.

Когда использовать готовый рецепт: при работе с крупными платформами (Google, Amazon, Twitter, маркетплейсы). Это экономит время и снижает вероятность ошибок.

4. Выбор типа страницы

Выбор типа страницы: List Page или Detail Page

Выберите “List Page” если вы собираете множество похожих записей (каждая запись — отдельная строка). Пример: результаты поиска, список товаров, лента постов.

Выберите “Detail Page” если на странице содержится большое количество полей об одном объекте (требуется собрать все в одну строку).

Mermaid: выбор типа страницы

flowchart TD
  A[Начало] --> B{Есть ли повторяющиеся элементы?}
  B -- Да --> C[List Page]
  B -- Нет --> D[Detail Page]
  C --> E[Создать строки и столбцы]
  D --> E
  E --> F[Настроить навигацию и действия]
  F --> G[Запустить рецепт]

5. Создание строк (блоки записи)

Выделение блока строки в Data Miner

Нажмите “Find” (Найти).
Наведите мышь и удерживайте Shift, чтобы выделить прямоугольник вокруг данных, которые должны составлять одну запись таблицы (например заголовок, URL и описание).
В разделе “Element’s Classes” или “HTML Element Type” отметьте соответствующие классы/типы, чтобы селектор применялся ко всем похожим элементам на странице.

Если селектор не покрывает все записи:

Попробуйте выделить один элемент и нажать “Select Parent” (Выбрать родителя). Это расширит область.
Откройте “View Element’s HTML” чтобы увидеть структуру.
При необходимости укажите собственный CSS‑селектор, например a.product.

Data Miner покажет “Row Count” — сколько строк будет получено. Если число меньше ожидаемого, проверьте селектор.

Подбор родительского элемента для захвата всей записи

6. Разбиение на столбцы

Выделение колонок в Data Miner

Каждая колонка должна быть подмножество блока записи. Процесс:

Создайте колонку и задайте ей имя (например “Название”, “Ссылка”, “Цена”, “Описание”).
Нажмите “Find” и выделите элемент внутри выбранной строки для этой колонки.
Укажите тип данных: текст, URL, image URL.

Пример селектора для ссылок: a.product — означает все с классом product.

Проверьте превью колонки, нажав на иконку глаза справа от названия колонки. Это покажет все значения по строкам.