Конвертация XML в JSON с помощью xq

Иллюстрация: структура XML и преобразование в JSON

Быстрые ссылки

Использовать утилиту xq
Возможная проблема при преобразовании XML → JSON

Использование утилиты xq

XML часто содержит вложенные элементы, атрибуты и повторяющиеся ключи. Парсить его регулярными выражениями — плохая идея. Вместо этого лучше использовать специализированную утилиту. xq отлично подходит для этой задачи.

Краткое описание установки и зависимости:

xq устанавливается вместе с yq, утилитой для YAML.
Для установки yq через pip используйте:

pip install yq

Под капотом xq использует jq для работы с JSON. Скачайте бинарник jq и поместите его в директорию, которая есть в вашем PATH, например /usr/local/bin/.

После установки вы можете передавать XML в xq через конвейер:

cat xml | xq .

Оператор . означает «преобразовать весь документ в JSON». Полная мощь jq доступна и здесь: вы можете применять селекторы jq к результату преобразования, чтобы получать только нужные подэлементы.

Если нужно сохранить результат в виде XML, используйте флаг -x:

xq -x

Это позволяет пользоваться синтаксисом селекторов jq, но выводить XML. Обратите внимание: xq ожидает вход в XML-формате для таких операций; обратное преобразование (полный парсинг JSON в корректную XML-структуру с восстановлением исходных особенностей) не всегда тривиально.

Проблема: порядок и дублирующиеся ключи

XML допускает повторяющиеся элементы с одинаковым именем и порядок элементов может иметь смысл. JSON в стандартной форме не допускает дублирующихся ключей в одном объекте; при конвертации логичным решением является превращение повторяющихся элементов в массивы. Это корректно, но иногда меняет модель данных и поведение.

Пример XML:


  some
  textual
  content

При преобразовании xq выдаст JSON примерно такого вида:

{
  "e": {
    "a": [
      "some",
      "content"
    ],
    "b": "textual"
  }
}

Это технически корректно: оба элемента собраны в массив a. Но при этом может потеряться исходный смысл порядка, если вы рассчитываете на точную последовательность узлов смешанных типов (например, текстовые узлы между тегами). Поэтому всегда следует:

Проверять результат преобразования на тестовых фрагментах.
Определять заранее схему данных и ожидания (куда допускаются массивы, где нужен одиночный элемент).

Когда это вызывает проблемы (кратко)

Если порядок элементов важен для семантики (параграфы, смешанный текст и т.д.).
Если у вас есть повторяющиеся ключи, но вы ожидаете одно значение (входные данные неконсистентны).
Если downstream-система требует определённой структуры JSON без массивов.

Важно: в таких случаях рассмотрите альтернативные подходы (ниже).

Альтернативные подходы

xmlstarlet — утилита для работы с XML на командной строке; хорошо подходит для выборки и трансформаций XSLT.
xml2json (python-пакеты) — дают большую гибкость при написании кастомной логики преобразования.
XSLT — мощный способ явно задать правила трансформации XML → XML/JSON.
Собственный парсер на языке с поддержкой DOM или SAX (например, lxml на Python) для тонкого контроля над порядком и атрибутами.

Выбор зависит от требований: простая конверсия — xq; тонкая логика и контроль порядка — SAX/DOM или XSLT.

Практическая методика преобразования (мини‑методология)

Проанализируйте входной XML. Определите повторяющиеся теги и критичность порядка.
Пропишите ожидаемую JSON‑структуру (схема или примеры).
Запустите пробную конверсию xq на нескольких фрагментах.
Сравните результат с ожидаемой схемой. Если есть расхождения — решите, кто должен менять данные: преобразователь или источник.
Для автоматизации добавьте тесты/валидаторы (см. Критерии приёмки).

Шпаргалка команд (cheat sheet)

Преобразовать XML из файла в JSON и вывести в терминал:

cat file.xml | xq .

Отфильтровать элементы с помощью jq-селекторов, например взять только e.a:

cat file.xml | xq . | jq '.e.a'

Вывести обратно в XML (используя -x):

cat file.xml | xq -x '.e'

Установить yq (если не установлен):

pip install yq

Роль‑ориентированные чеклисты

Для разработчика:

Проверить, что jq доступен в PATH.
Запустить xq на примерах и сохранить результаты.
Написать трансформацию/фильтр с jq селекторами.

Для QA:

Сравнить ключевые узлы исходного XML и результирующего JSON.
Проверить порядок элементов там, где это критично.
Валидировать структуру против ожидаемой схемы (JSON Schema или другие тесты).

Критерии приёмки

Все ожидаемые элементы присутствуют в результирующем JSON.
Повторяющиеся теги корректно преобразованы в массивы, если это требуется.
Для критичных последовательностей порядок узлов сохранён или явно обработан.
Автоматические тесты проходят на репрезентативном наборе XML-файлов.

Ментальные модели и эвристики

Повторяющийся XML‑тег → массив в JSON.
Текст между тегами и соседние элементы → возможно потребуется объединять в структуру, чтобы сохранить порядок.
Если нужен строгий порядок — думайте о последовательности как о массиве записей.

Небольшая диаграмма принятия решения

flowchart TD
  A[Нужно конвертировать XML] --> B{Порядок важен?}
  B -- Да --> C[Использовать DOM/SAX или XSLT, писать кастомную логику]
  B -- Нет --> D[Можно использовать xq]
  D --> E{Есть повторяющиеся теги}
  E -- Да --> F[Ожидаем массивы в JSON]
  E -- Нет --> G[Получите простую объектную структуру]