Как создать фильтр RSS с помощью Yahoo Pipes

TL;DR

Yahoo Pipes позволяет фильтровать RSS‑ленты и получать только те обновления, которые вам нужны. В статье показано пошагово, как собрать Pipe для поиска вакансий или выгодных предложений, какие модули использовать и как сохранить результат как RSS для чтения в Feedly или отправки через IFTTT. Если Yahoo Pipes недоступен, в разделе «Альтернативы» описаны подходящие заменители и миграционные советы.

Краткое описание и назначение

Интернет содержит огромные объёмы информации. RSS и Yahoo Pipes дают два простых средства, чтобы отбирать нужные сообщения автоматически. RSS (Really Simple Syndication) — это формат каналов, которые публикуют обновления сайтов. Yahoo Pipes — визуальный конструктор потоков данных, где вы берёте входные RSS‑ленты, фильтруете их по ключевым словам и получаете на выходе уже «отфильтрованный» RSS.

Важно: Yahoo Pipes был закрыт в 2015 году; описанная техника полезна как концепция и применима в современных решениях-заменителях (см. раздел «Альтернативы»).

Одно предложение о подходе

Соберите Pipe из трёх модулей: Fetch Feed → Filter → Pipe Output. Fetch Feed подхватывает RSS, Filter оставляет только нужные элементы, Pipe Output экспортирует итог как RSS.

Обзор: из чего состоит Pipe

Yahoo Pipes использует интерфейс с двумя основными областями: панель модулей слева и рабочая область справа. Чтобы создать Pipe, перетащите модули из левой панели в основное окно и соедините их линиями.

В Pipe участвуют три базовых модуля:

1. Fetch Feed — принимает RSS‑URL и загружает элементы.
2. Filter — оставляет или отбрасывает элементы по ключевым словам.
3. Pipe Output — точка выхода, откуда вы экспортируете итоговый RSS.

Подготовка: сбор RSS‑источников

Любой сайт с RSS или XML‑лентой подойдёт. Лучше использовать прямую ссылку на RSS (URL обычно содержит rss или xml). Прямые ссылки надёжнее встроенных генераторов.

Примеры RSS‑url из исходного текста (служат как образец):

• http://www.fatwallet.com/rssfeed.php?c=18&deals=50
• http://www.fatwallet.com/rss_bestdeals.php
• http://www.fatwallet.com/rssfeed.php?c=63&deals=50

Совет: если лента короткая или обновляется редко, увеличьте частоту опроса (если инструмент позволяет) или добавьте несколько связанных источников.

Пошаговая инструкция — создание Pipe

Шаг 1. Создайте Pipe

Нажмите «Create a pipe» в верхней панели. Это создаст пустую рабочую область.

Шаг 2. Добавьте Fetch Feed

Перетащите модуль “Fetch Feed” из левой панели в рабочую область. Вставьте в него один RSS‑URL. Для нескольких источников добавьте столько Fetch Feed, сколько нужно.

Совет: давайте каждому Fetch Feed понятное имя (например «FatWallet — deals»). Это упростит отладку.

Шаг 3. Добавьте Filter

Перетащите модуль “Filter” и соедините его с выходом Fetch Feed. В Filter вы задаёте правила — разрешать (Permit) или блокировать (Block) предметные слова.

Правила поведения фильтра:

• All + Block: блокирует элементы, которые содержат все перечисленные ключевые слова.
• All + Permit: пропускает элементы только если они содержат все указанные слова.
• Any + Block: блокирует элементы с любым из указанных слов.
• Any + Permit: пропускает элементы с любым из указанных слов.

Я предпочитаю Any + Permit — он подходит для поиска вакансий, товаров и акций: вы получаете любой элемент, содержащий хотя бы одно совпадение.

Шаг 4. Настройка поля для фильтрации

Выберите поле, по которому будет идти проверка. Часто это item.Title, потому что заголовок обычно содержит самые релевантные ключевые слова. В Filter установите проверку на item.Title, либо item.Description если нужно искать в описании.

Шаг 5. Сохраните Pipe и экспортируйте

Когда правила заданы, нажмите “Save” в правом верхнем углу. После сохранения вы можете опубликовать выход как RSS и использовать его в любом RSS‑ридере или отправлять через IFTTT.

Playbook: быстрый SOP для поиска вакансий или сделок

1. Соберите 3–7 релевантных RSS‑источников.
2. Создайте Pipe, добавив Fetch Feed для каждого источника.
3. Добавьте один общий Filter или индивидуальные фильтры для каждого источника.
4. Установите Filter в режим Any + Permit и введите ключевые слова (например: nurse, RN, медсестра; или coupon, deal, скидка).
5. Тестируйте: проверьте 10–20 последних элементов, чтобы убедиться в точности фильтра.
6. Сохраните и экспортируйте результат как RSS. Подключите RSS к ридеру или IFTTT.

Критерии приёмки

• Вы получаете не менее 5 релевантных уведомлений в первые 48 часов (если источники активны).
• Доля ложных срабатываний меньше 30% после первой итерации фильтрации.

Роль‑ориентированные чеклисты

• Новичок:

  • Найти 3 RSS‑ленты.
  • Настроить один Fetch Feed и один Filter.
  • Проверить вывод в ридере.

• Рекрутер:

  • Собрать ленты вакансий и корпоративных блогов.
  • Использовать набор синонимов и должностных названий.
  • Отправить результат в почту через IFTTT.

• Охотник за скидками:

  • Подключить сайты с купонами и разделы «Best Deals».
  • Иметь не менее 10 ключевых слов для брендовых товаров.
  • Настроить частый опрос, если инструмент позволяет.

Когда этот подход не работает

• Сайт не предоставляет RSS. В этом случае нужно либо искать альтернативные ленты, либо использовать парсеры.
• Динамически генерируемый контент без RSS (включая AJAX) — стандартный Fetch Feed не найдёт такие элементы.
• Платный контент и закрытые разделы — без доступа к API или авторизации вы не получите элементы.
• Переизбыток слов‑помех: очень общие ключевые слова дают много шума. Решение — уточнить фразы или использовать исключения.

Альтернативы и миграция

Поскольку Yahoo Pipes больше не работает, рассмотрите современные альтернативы:

• IFTTT — простые автоматизации и интеграции с почтой/SMS.
• Inoreader — продвинутые фильтры и правила на уровне ридера.
• Feedly — удобный ридер, поддерживает интеграции.
• Huginn — self‑hosted агент, аналог Yahoo Pipes для тех, кто хочет полный контроль.
• Zapier — бизнес‑ориентированные триггеры и действия.

Миграционные советы

• Экспортируйте список источников (RSS URLs) и перенесите их в новый инструмент.
• Тестируйте фильтры на небольшом наборе данных прежде чем масштабировать.
• Для сложных логик рассмотрите Huginn или написание собственного скрипта на Python для регулярного сбора и фильтрации.

Мини‑методология для точных фильтров

1. Соберите семантический набор слов: основное слово, синонимы, аббревиатуры, возможные опечатки.
2. Протестируйте на истории: проверьте последние 50 публикаций источника на совпадения.
3. Добавьте исключения (Block) для частых ложных срабатываний.
4. Итеративно корректируйте набор слов раз в 1–2 недели.

Пример правил фильтрации (шаблон)

• Permit Any:

  • nurse
  • медсестра
  • “registered nurse”

• Block Any:

  • internship
  • unpaid

Примечание: кавычки вокруг фраз требуются в инструментах, которые поддерживают точные совпадения.

Decision flow (Mermaid)

flowchart TD
  A[Есть RSS‑лентa?] -->|Да| B[Добавить Fetch Feed]
  A -->|Нет| E[Поиск альтернативной ленты или парсер]
  B --> C[Добавить Filter]
  C --> D{Any или All}
  D -->|Any| F[Настроить Permit Any]
  D -->|All| G[Настроить Permit All]
  F --> H[Save и экспорт]
  G --> H
  E --> H

Безопасность и конфиденциальность

• Не публикуйте приватные RSS‑URL в открытом доступе. Некоторые ленты содержат уникальные токены, которые дают доступ к персональным данным.
• При использовании сторонних сервисов (IFTTT, Zapier) проверьте политику конфиденциальности и место хранения данных.
• Если вы обрабатываете персональные данные граждан ЕС, учитывайте требования GDPR: минимизируйте объём собираемой информации и убедитесь в правовой основе обработки.

Короткий глоссарий

• RSS — формат лент с обновлениями сайта.
• Feed — отдельная RSS‑лента.
• Fetch Feed — модуль, загружающий элементы из RSS.
• Filter — модуль, позволяющий разрешать или блокировать элементы.
• Pipe Output — итоговый экспорт как RSS.
• IFTTT — сервис для автоматизаций между приложениями.

Частые ошибки и способы их исправления

• Много шума: сузьте ключевые слова, добавьте блокирующие фразы.
• Нету обновлений: проверьте, действительно ли источники активны, или увеличить частоту опроса.
• Пропуск нужных результатов: добавьте синонимы и альтернативные формулировки.

Заключение

Создать фильтр RSS с помощью концепции Yahoo Pipes просто: вам нужны входные ленты, фильтры по ключевым словам и точка выхода. Этот подход ускоряет поиск вакансий, выгодных предложений и любых других сообщений, которые вы хотите отслеживать автоматически. Если Yahoo Pipes недоступен, используйте перечисленные альтернативы и переносите ту же логику в новый инструмент.

Важно: регулярно проверяйте точность фильтров и обновляйте словари ключевых слов — потребности и лексика источников меняются со временем.

Image Credits: Green Pipes via pixabay.com