Фильтрация RSS: Yahoo Pipes и альтернативы

Краткое описание идеи

Интернет даёт доступ к огромным объёмам информации, но сортировка может занимать много времени. Два приёма, которые упрощают эту задачу: RSS‑ленты (источники обновлений) и системы, умеющие фильтровать эти ленты. Раньше это делал Yahoo Pipes — визуальный конструктор «труб», по которым шёл поток элементов из RSS. Сегодня ту же логику можно реализовать в других инструментах.

Определение в одну строку: RSS — это формат для публикации регулярно обновляемого содержимого; Pipe — граф соединённых блоков, которые извлекают, фильтруют и переадресуют эти элементы.

Обзор: как работает «Pipe» (логика)

Идея проста: RSS‑лента содержит записи (новости, объявления, товары). Pipe извлекает одну или несколько RSS‑лент, пропускает элементы через фильтры (по заголовку, описанию, категории и т.д.) и отдаёт результирующую ленту на выход.

Ключевые элементы классического Pipe:

Fetch Feed — модуль, который принимает RSS/ATOM‑URL;
Filter — модуль, который разрешает или блокирует элементы по правилам (ключевые слова, поля);
Pipe Output — конечная точка, где доступен результат.

Графическое изображение интернет-потока данных

Важно: состояние Yahoo Pipes

Yahoo Pipes как публичный сервис был отключён в 2015 году. Описание интерфейса и логики в этой статье взято из классического подхода, применимого к любому инструменту, который умеет читать RSS и применять правила. Ниже приведены пошаговый метод и современные альтернативы для тех, кто хочет повторить функциональность сегодня.

Пошаговое руководство по созданию Pipe (классика)

Сбор RSS‑источников

Pipes работают с любыми RSS/ATOM/прямыми XML‑ссылками, если сайт их предоставляет. Прямые ссылки надёжнее, чем автоматический генератор. В URL часто встречается «rss» или «xml».

Пример нескольких RSS‑фидов (в исходной статье использовались):

Соберите свои URL и держите их под рукой.

Интерфейс и перетаскивание модулей

Классический интерфейс Yahoo Pipes делился на левую панель с модулями и основное рабочее поле. Чтобы создать Pipe, перетяните модуль Fetch Feed в основное поле и укажите URL фида.

Главное окно интерфейса Yahoo Pipes с панелями

Модули соединяются кликом по маленьким кругам на границе блока.

Кнопка соединения модулей в интерфейсе Yahoo Pipes

Итоговая структура обычно включает три блока: Fetch Feed → Filter → Pipe Output.

Три модуля, соединённые в Pipe: Fetch Feed, Filter, Pipe Output

Создание Fetch Feed и добавление источников

Нажмите «Create a pipe» в тулбаре (в классическом интерфейсе) и перетащите модуль Fetch Feed. Вставьте собранные RSS‑URLы в список модуля.

Кнопка 'Create a pipe' в тулбаре Yahoo Pipes

Модуль Fetch Feed, перетаскиваемый в рабочую область

Настройка Filter: Permit vs Block, Any vs All

Добавьте модуль Filter. В нём вы будете указывать правила:

All + Block — блокирует статьи, которые содержат все указанные ключевые слова;
All + Permit — пропускает только статьи, содержащие все указанные слова;
Any + Block — блокирует статьи с любым из указанных слов;
Any + Permit — пропускает статьи, содержащие любое из указанных слов.

Я рекомендую «Any + Permit» для типичных задач: отслеживания объявлений (работа, товары), потому что это разрешает элементы, которые содержат хотя бы одно совпадение — проще ловить релевантные записи.

Модуль Filter с опцией Block

Опции Any и All в модуле Filter

Вставьте ключевые слова в поля ввода. Обычно выбирают поле item.Title, так как заголовок чаще всего содержит краткую релевантную информацию.

Поле ввода ключевых слов для фильтра

Выбор поля item.Title в настройках фильтра

Добавляйте правила кнопкой «+» и сохраняйте Pipe кнопкой Save.

Кнопка Save для сохранения Pipe

Вывод и дальнейшие действия

После сборки Pipe вы получаете результирующую RSS‑ленту, которую можно открыть в любом RSS‑читалке (Feedly, Inoreader и т.д.) или передать через IFTTT/Zapier для уведомлений по почте, SMS или в мессенджер.

Когда такой подход не срабатывает (ограничения и подводные камни)

Сайт не предоставляет прямого RSS/ATOM — придётся использовать генераторы или парсер HTML, что ненадёжно;
Ключевые слова дают ложные срабатывания из‑за многозначности слов;
Частые обновления и большое число источников могут приводить к дублирующимся элементам и к лимитам у сервисов;
Структура RSS может отличаться: нужные поля (категория, описание) могут быть пустыми.

Совет: протестируйте фильтр на небольшой группе источников и корректируйте списки слов, добавляя стоп‑слова и исключения.

Современная альтернатива и план миграции

Поскольку Yahoo Pipes как публичный сервис недоступен, вот краткий план перехода к современным инструментам и примеры:

Пошагово (миграция):

Соберите все ваши RSS‑URLы в один список (CSV или текст).
Выберите целевой инструмент по требованиям: простые правила — Inoreader/Feedly; триггеры и интеграции — IFTTT/Zapier; самохостинг и гибкость — Huginn; сложный парсинг — RSS‑Bridge + скрипты.
В выбранном инструменте воспроизведите логику: создать источник → создать правило/агента → обработать → вывести/отправить.
Настройте уведомления: почта, Webhook, Telegram/Slack через интеграцию.
Протестируйте и отладьте 1–2 недели, прежде чем отключать старый поток.

Короткая сводка по инструментам (без утверждений о тарифах):

Inoreader — поддерживает правила фильтрации и пересылку;
Feedly — современная читаемая платформа с некоторой автоматизацией;
IFTTT / Zapier — триггеры на появление элемента в ленте и пересылка в сервисы;
Huginn — самохостируемая альтернатива с агентами для произвольной логики;
RSS‑Bridge — генерирует RSS из сайтов без официального фида.

Выбор зависит от требований: если важна приватность и гибкость — рассмотрите Huginn; если нужна простая интеграция со службами — IFTTT или Zapier.

Мини‑методология: быстрый playbook для поиска работы или скидок

Сбор: найдите RSS всех сайтов вакансий/купонников.
Фильтрация: составьте список «плюс‑слов» (например, «медсестра», «registered nurse») и стоп‑слов (например, «intern», «volunteer»).
Правила: используйте Any+Permit для ловли релевантных объявлений; добавьте исключения через Block.
Вывод: отправляйте совпадения на почту или в Telegram.
Проверка: ежедневно просматривайте первые 5 совпадений в течение недели и корректируйте список слов.

Модель принятия решений (Mermaid)

flowchart TD
  A[Нужна автоматизация RSS?] --> B{Есть прямые RSS‑URL?}
  B -- Да --> C{Нужна интеграция с почтой/чатом?}
  B -- Нет --> D[Попробовать RSS‑Bridge или HTML‑парсер]
  C -- Да --> E[IFTTT/Zapier или Inoreader]
  C -- Нет --> F[Feedly / Miniflux для чтения]
  E --> G[Настроить триггер и действие]
  D --> G
  F --> H[Использовать локальные фильтры]

Критерии приёмки (как понять, что всё работает)

Система получает новые элементы в течение 10–30 минут после появления в исходном фиде (в зависимости от инструмента);
Более 80% получаемых элементов релевантны (по вашим ожиданиям);
Отсутствуют дубли более 1 раза в час; если появляются — добавьте дедупликацию;
Уведомления приходят в желаемой форме (почта/Telegram) без заметных задержек.

Роли и чеклисты

Роль: Искатель работы

Собрать RSS вакансий (минимум 5 источников);
Составить 8–15 ключевых слов и 5 стоп‑слов;
Настроить уведомления в почту и Telegram;
Проверить релевантность 3 дня.

Роль: Охотник за скидками

Подписаться на RSS магазинов и форумов с выгодными предложениями;
Включить «Any + Permit» с названиями товаров и брендов;
Настроить минимум одну интеграцию для немедленных уведомлений;
Регулярно добавлять исключения для спама.

Роль: Разработчик/админ

Рассмотреть Huginn для гибкой автоматизации;
Настроить дедупликацию и логирование;
Убедиться в наличии ограничений API/частоты запросов у источников.

Тестовые сценарии и приёмка

Добавить тестовый RSS, где публикуется тестовое слово «foobar».
Включить правило Any+Permit с «foobar». Ожидаем: запись проходит фильтр.
Добавить стоп‑слово «skipme» и опубликовать элемент с обоими словами. Ожидаем: если правило Block приоритетнее — элемент блокируется.
Проверить дедупликацию: два одинаковых элемента подряд — на выходе должен быть один.

Заключение

Классическая идея Yahoo Pipes — извлечение RSS → фильтрация → вывод — остаётся жизнеспособной и сегодня. Хотя сам Yahoo Pipes был закрыт, вы можете воспроизвести его функциональность с помощью современных инструментов: Inoreader/Feedly для простых правил, IFTTT/Zapier для автоматических действий и Huginn для полной самохостируемой гибкости. Начните с малого: соберите фиды, протестируйте фильтры, затем расширяйте правила и автоматизации.

Важно: проверяйте источники и корректируйте ключевые слова — фильтрация часто требует итерации. Удачной автоматизации!

Сводка изображений и их назначение (подписи):

Главное окно интерфейса — где вы перетаскиваете модули;
Круги‑соединители — как связать модули между собой;
Модули Fetch Feed / Filter / Pipe Output — основная тройка для большинства задач.

Image Credits: Green Pipes via pixabay.com