Visual Look Up на iPhone: как это работает и как пользоваться

Кратко

Visual Look Up — функция iOS 15, которая распознаёт объекты на фотографиях прямо на устройстве и подсказывает полезную информацию. Она работает в Фото, Safari, Сообщениях и Почте и доступна с iPhone XS/XR и новее, а также на ряде iPad.

Важно: функция доступна только в США и требует iOS 15 или новее.

Что такое Visual Look Up

Visual Look Up — это локальная (on-device) система машинного обучения. Она анализирует изображение на вашем iPhone или iPad, определяет объекты — например, памятники, животных, растения, книги или цветы — и показывает релевантную информацию: похожие изображения в интернете, данные из Siri Knowledge, карты и ссылки.

Коротко: функция помогает искать по картинке, когда сложно сформулировать запрос в строке поиска.

Поддерживаемые устройства и требования

• Требуется iOS 15 или новее.
• Доступно только в США.
• Поддерживаемые iPhone: iPhone XS, iPhone XR и более новые модели.
• Поддерживаемые iPad:
  • iPad 8-го поколения и новее
  • iPad mini 5-го поколения и новее
  • iPad Pro 12.9 3-го поколения и новее
  • iPad Pro 11-inch
  • iPad Air 3-го поколения и новее

Примечание: список поддерживаемых устройств совпадает с устройствами, способными выполнять на‑устройстве обучение и инференс для этой модели.

Что показывает Visual Look Up

• Похожие изображения в вебе.
• Рекомендованные сайты или справочные карточки Siri.
• Информацию из карт (для памятников и мест).
• Краткие описания для животных, растений, предметов и книг.

Как пользоваться Visual Look Up в Фото

1. Откройте приложение Фото.
2. Найдите снимок и посмотрите на панель инструментов. Ищите значок Visual Look Up — он похож на кнопку «Инфо (i)», но со вспышками/искрением. Если видите только обычную кнопку «i», для этой фото Visual Look Up недоступен.
3. Нажмите на значок Visual Look Up либо проведите пальцем вверх, чтобы открыть карточку с информацией.
4. На фото появится значок, отражающий распознанный объект: например, штифт/пин для достопримечательностей и отпечаток лапы для животных. Тапните по значку, чтобы посмотреть результаты.

Как пользоваться Visual Look Up в Safari и Почте

В Safari или Почте найдите изображение, которое хотите исследовать. Нажмите и удерживайте картинку, затем выберите «Посмотреть» или «Look Up» в контекстном меню. Если поиск не отображается, скорее всего, на изображении нет понятного для модели объекта.

Как пользоваться в Сообщениях

1. Откройте Сообщения.
2. Тапните фотографию, чтобы открыть её на весь экран.
3. Нажмите значок Visual Look Up в тулбаре, чтобы увидеть информацию.

Когда Visual Look Up может не сработать

• Размытые или очень маленькие объекты.
• Сложная композиция с большим количеством мелких объектов.
• Редкие или плохо документированные предметы (например, малоизвестные местные сортовые растения).
• Изображения с сильными фильтрами или артефактами.

Совет: для лучших результатов используйте чёткие снимки с хорошо освещённым объектом.

Альтернативные подходы

• Google Lens: похожая функция в Google Фото и приложении Google. Работает как локально, так и с облачными запросами.
• Специализированные приложения для растений/питомцев (например, приложения-идентификаторы растений) дают более узкую, но более точную информацию.
• Поиск по обратному изображению в поисковике через Safari.

Ментальная модель: как думать о Visual Look Up

Представьте Visual Look Up как «быстрый помощник по картинкам». Он умеет:

• Выделять заметный объект на фото.
• Сопоставлять признаки объекта с локальной моделью знаний.
• Возвращать релевантные карточки и ссылки без отправки вашего снимка в облако (см. раздел приватности).

Приватность и обработка данных

Visual Look Up использует преимущественно обработку на устройстве. Это значит:

• Большая часть анализа выполняется локально; изображения не обязательно отправляются в облако для распознавания.
• Результаты поиска могут использовать интернет (например, для отображения веб-карт или похожих изображений). В этих случаях ваш запрос может взаимодействовать с внешними сервисами.

Важно: если вам критична конфиденциальность, проверяйте настройки конфиденциальности и ограничивайте доступ приложений к Фото.

Роль‑ориентированные чеклисты

• Для обычного пользователя:
  • Убедитесь, что устройство обновлено до iOS 15+.
  • Проверьте, что вы находитесь в регионе с доступной функцией (США).
  • Используйте чёткие снимки и нажимайте значок Visual Look Up.
• Для админа или родителя:
  • Отключите доступ к Фото для приложений, которым вы не доверяете.
  • Объясните детям, что функция использует интернет для некоторых результатов.
• Для разработчика мобильных приложений:
  • Тестируйте поведение при включённом и выключенном доступе к Фото.
  • Учтите, что не все пользователи в мире увидят функцию (региональные ограничения).

Быстрый справочник (глоссарий, одна строка)

• Visual Look Up — функция распознавания объектов на фото в iOS.
• On-device ML — обработка и вывод модели машинного обучения непосредственно на устройстве.
• Siri Knowledge — агрегированная справочная информация, которую использует Siri.

Небольшая методология работы функции

1. Детектор находит заметный объект на изображении.
2. Локальная модель классифицирует объект по категориям (животное, растение, достопримечательность и т.д.).
3. Система предлагает карточки с информацией и ссылки на внешние ресурсы при необходимости.

Примеры, когда стоит использовать Visual Look Up

• Вы не знаете породу найденной собаки.
• Вы увидели редкое растение и хотите узнать, опасно ли оно.
• Вы сфотографировали памятник и хотите узнать его название и местоположение.

Краткая сводка

Visual Look Up на iPhone — удобный инструмент для визуального поиска и быстрого получения сведений об объектах на фотографиях. Он экономит время и часто даёт достаточно информации для повседневных нужд. Однако функция не универсальна: она может ошибаться на плохих снимках или с редкими объектами.

Ключевые выводы:

• Работает локально на iOS 15+ и доступна на перечисленных моделях.
• Лучшие результаты на чётких, хорошо освещённых фото.
• Альтернативы: Google Lens и специализированные приложения.

Спасибо за чтение. Если хотите, могу подготовить небольшой чеклист по проверке совместимости вашего устройства или инструкцию для IT‑администратора.