Распознавание рук и голос на Meta Quest 2

Мужчина в гарнитуре Quest 2, говорит и жестикулирует.

Если вы хотите управлять Meta Quest 2 без контроллеров — для навигации по меню, изменения размера виртуальных экранов или использования голосовых команд — включите отслеживание рук и голосовой вызов в настройках. Отслеживание рук использует жест «щипок» (pinch) для выбора и перетаскивания, а голосовые команды активируются фразой «Hey Facebook» и работают в ограниченном наборе контекстов.

Что вы получите

Управление меню и базовые действия без контроллеров.
Быстрая регулировка громкости, запуск приложений и запись через голос.
Возможность изменять размер и позицию виртуальных экранов рукой.

Включение отслеживания рук (Hand Tracking)

Меню настроек Quest 2, включая Отслеживание движения и Экспериментальные функции.

Откройте домашний экран Quest и нажмите значок сетки в правой части панели инструментов, чтобы открыть «Библиотеку приложений».
В «Библиотеке приложений» откройте «Настройки» (Settings).
Найдите раздел «Отслеживание движения» (Movement Tracking) и откройте его.
Переключите первый тумблер, чтобы включить отслеживание рук на устройстве.

В разделе есть дополнительные опции:

Автоматическое переключение между контроллерами и отслеживанием рук в зависимости от наличия контроллеров в поле зрения камер.
Разрешение включать отслеживание рук через нажатие на контроллер (полезно, если вы время от времени хотите быстро переключаться).

Важно: если вы не увидите нужных пунктов — убедитесь, что ПО гарнитуры обновлено до последней версии.

Как пользоваться отслеживанием рук

Основной жест — «щипок» (pinch): сомкните большой и указательный пальцы.

Щипок выбирает пункты меню и нажимает кнопки.
Щипок и удержание позволяет тянуть виртуальные экраны, прокручивать списки и перетаскивать объекты.
В некоторых приложениях можно захватить противоположные углы экрана и растянуть их для масштабирования; в других достаточно захватить одну сторону и двигать её к центру или от него.
Удержание щипка запускает луч (ray), который используется для рисования границы защитной зоны (guardian) или выбора дополнительных опций.

Примечание: не все приложения поддерживают отслеживание рук. Если запускаемое приложение требует контроллеров, появится диалог с предложением включить контроллеры или перейти в режим Passthrough для их поиска.

Типичные проблемы и способы их решения

Плохое отслеживание рук при слабом освещении — улучшите освещение в комнате.
Руки вне поля обзора камер — держите ладони повернутыми к передним камерам гарнитуры.
Толстые перчатки, длинные ногти или телесный оттенок кожи не должны влиять сильно, но экстремальные случаи могут снизить точность.

Включение голосовых команд

Меню Экспериментальных функций Quest 2.

Откройте «Настройки» (Settings) на вашем Quest 2.
Перейдите в «Экспериментальные функции» (Experimental Features).
Включите переключатель «Say “Hey Facebook”».

После этого гарнитура будет слушать ключевую фразу «Hey Facebook» и ожидать команд — подобно Siri или Alexa, но с ограниченным набором поддерживаемых действий.

Частые голосовые команды

«Hey Facebook, find puzzle games» — поиск в магазине Quest (пример команды поиска).
«Hey Facebook, open a browser page» — открыть браузер.
«Hey Facebook, open [название приложения]» — запуск приложения по имени (требуется точное совпадение названия).
«Hey Facebook, adjust the volume to five» — установка уровня громкости (номер от 0 до 10 в зависимости от версии ПО).
«Hey Facebook, start recording» / «stop recording» — начать/остановить запись сессии.
«Hey Facebook, take a photo» — сделать скриншот.
«Hey Facebook, shut down» — выключение гарнитуры.

Важно: распознавание голосовых команд может быть чувствительным к произношению и контексту. Если имя приложения произнесено с ошибкой, система попытается поискать похожие приложения в магазине, вместо того чтобы открыть уже установленное приложение.

Когда эти способы управления полезны и когда нет

Полезно:

Для навигации по меню и быстрого запуска приложений.
Для просмотра контента (Meta Quest TV, фильмы, 360° видео) без необходимости держать контроллеры.
Для регулировки громкости и управления записью, не прерывая игрового процесса.

Ограничения:

Большинство полноценных игр требуют контроллеров — отслеживание рук там не заменит контроллеры.
Голосовые команды работают не во всех контекстах и зависят от локализации и версии ПО.

Альтернативные подходы

Использовать контроллеры для игр и переключаться на руки только в интерфейсах и приложениях для просмотра.
Применять внешние аксессуары (например, док-станцию с зарядкой) для удобного хранения контроллеров, если часто переключаетесь.
Для разработчиков: добавить в приложение гибридную поддержку ввода — и контроллеры, и жесты/голос, чтобы пользователи могли выбирать удобный метод.

Мини-методология для тестирования ввода (для домашнего QA)

Обновите ПО гарнитуры до последней версии.
Включите отслеживание рук и голосовые команды в настройках.
Проверьте базовые жесты: щипок, щипок+удержание, захват угла экрана.
Запустите несколько приложений: просмотр, утилита, игра — фиксируйте, где ввод работает, а где нет.
Проверьте голосовые команды для запуска приложений, регулировки громкости и записи.
Повторите тест в разном освещении и с разным положением головы.

Роль‑ориентированные контрольные списки

Для зрителя (просмотры и приложения):

Включить отслеживание рук.
Попрактиковаться в жесте щипка.
Убедиться, что виртуальные экраны удобно масштабируются.

Для игрока (частые переключения между играми и меню):

Использовать контроллеры для основного управления.
Включить автоматическое переключение в настройках, если хотите кратковременные действия руками.
Протестировать голосовые команды для изменения громкости и записи.

Для разработчика приложений:

Реализовать fallback на контроллеры, если жесты недоступны.
Добавить подсказки по использованию жестов в интерфейсе.
Локализовать голосовые команды и имя активации для целевых рынков.

Диаграмма принятия решения

flowchart TD
  A[Нужно ли играть в игру?] -->|Да| B[Используйте контроллеры]
  A -->|Нет — просмотр/меню| C[Включить отслеживание рук]
  C --> D{Приложение поддерживает жесты?}
  D -->|Да| E[Используйте щипок и захват]
  D -->|Нет| B
  E --> F{Хочется голосом?}
  F -->|Да| G[Включить 'Hey Facebook' и тестировать команды]
  F -->|Нет| H[Работайте руками]

Глоссарий (в одной строке)

Щипок (pinch): сомкновение большого и указательного пальцев для выбора или захвата объекта.
Passthrough: режим, показывающий реальное окружение через камеры гарнитуры.
Guardian: виртуальная граница безопасной зоны в VR.

Частые ошибки и варианты их исправления

Система не распознаёт щипок: убедитесь, что пальцы попадают в поле обзора камер и освещение достаточное.
Голос не активируется: проверьте настройки конфиденциальности и микрофон, перезапустите устройство.
Приложение требует контроллеров: ищите уведомление с предложением включить контроллеры или перейти в Passthrough.

Критерии приёмки

Отслеживание рук включено в настройках и активируется при отсутствии контроллеров.
Простые жесты (щипок, удержание) выполняют ожидаемые действия в меню.
Голосовая активация распознаёт базовые команды: поиск, открыть приложение, регулировка громкости.

Короткое резюме

Отслеживание рук и голосовые команды на Meta Quest 2 позволяют упростить ряд задач: от навигации по меню до управления воспроизведением и громкостью. Однако для полноценных игр контроллеры по‑прежнему остаются основным методом ввода. Используйте гибридный подход: контроллеры для игр и руки/голос для просмотра и управления интерфейсом.