Foundry Local: как запустить LLM локально на Windows

TL;DR

Foundry Local — бесплатный инструмент от Microsoft для запуска языковых моделей (LLM) локально на ПК. Устанавливается через командную строку, работает офлайн после установки моделей; подойдёт для экспериментов и приватных задач, но не заменит облачные сервисы по качеству и актуальности знаний.

Важно: на этапе публичного превью функционал ограничен. Для стабильной работы лучше иметь >8 ГБ RAM и несколько гигабайт свободного места на диске.

Что такое Foundry Local AI

Foundry Local — инструмент от Microsoft, ориентированный прежде всего на разработчиков и продвинутых пользователей. Он позволяет запускать модели генеративного ИИ прямо на вашем компьютере без постоянного интернет‑соединения. Это упрощённая локальная среда для экспериментов с LLM: модели обычно ориентированы на чат‑комплит и имеют ограничения по объёму знаний и свежести данных.

Короткое определение: LLM — большая языковая модель, обученная предсказывать текст и отвечать на запросы; в контексте Foundry Local это модели разного размера и точности, оптимизированные для локального запуска.

Для кого подходит Foundry Local

• Разработчики, тестирующие локальные сценарии и интеграции.
• Пользователи, которым нужна приватность и офлайн‑работа.
• Обучающиеся, желающие понять работу LLM без облака.

Не подходит, если вам нужны актуальные новости, сложные расчёты с внешними данными или гарантированно высококачественные ответы уровня крупного облачного сервиса.

Требования к системе

Перед установкой убедитесь, что ваш ПК удовлетворяет базовым требованиям. Microsoft рекомендует более мощные машины (Copilot+), но базовая конфигурация ниже позволит начать эксперименты:

• Операционная система: 64‑бит Windows 10/11, Windows Server 2025 или macOS.
• Место на диске: минимум 3 ГБ; рекомендуется 15 ГБ и более, если планируется несколько моделей.
• Оперативная память: минимум 8 ГБ; рекомендуется 16 ГБ для комфортной работы.
• Видеокарта (необязательно, но рекомендуется): NVIDIA 2000‑й серии или новее, AMD 6000‑й серии или новее, Qualcomm Snapdragon X Elite с ≥8 ГБ памяти, или Apple silicon.

Требуется доступ в Интернет только во время установки Foundry и загрузки моделей; после этого работа возможна офлайн. Для установки также нужны права администратора.

Установка Foundry Local

Foundry устанавливается через пакетный менеджер или вручную с GitHub. Для Windows проще всего использовать winget.

Откройте терминал с правами администратора (Win + X → Terminal (admin)) и выполните:

winget install Microsoft.FoundryLocal

Согласитесь с лицензионными условиями и дождитесь окончания установки — это может занять несколько минут.

Для macOS используйте Homebrew:

brew tap microsoft/foundrylocal
brew install foundrylocal

Если вы хотите запускать модели на Raspberry Pi или нестандартной платформе, ищите инструкции и сообщество для конкретной архитектуры.

Установка первой модели

Для первого запуска Microsoft рекомендует лёгкую модель phi-3.5-mini — она экономит место и даёт представление о поведении локального LLM.

В терминале выполните:

foundry model run phi-3.5-mini

Инструмент автоматически подберёт оптимальную версию модели для вашей конфигурации. Время загрузки зависит от модели и скорости диска; для phi-3.5-mini это часто занимает несколько минут.

Список всех доступных моделей можно получить командой:

foundry model list

Каждая запись в списке показывает рекомендуемый объём хранения и назначение модели. На текущем этапе большинство моделей оптимизированы для задач чат‑комплита.

Взаимодействие с моделями

Foundry Local не предлагает графического интерфейса для чат‑взаимодействия — общение происходит через терминал. После запуска модели вы увидите приглашение вида «Interactive mode, please enter your text»; введите запрос и получите ответ.

Практические советы по взаимодействию:

• Формулируйте короткие, конкретные вопросы.
• Избегайте запросов, требующих актуальной информации после 2023 года — многие модели имеют данные до ранних стадий 2023.
• Для тестов используйте эталонные prompt’ы, чтобы сравнить поведение разных моделей.

Если нужно переключиться на уже установленную модель:

foundry model run modelname

Замените modelname на имя выбранной модели. Обратите внимание: в интерактивном режиме выхода из сессии может не быть встроенной команды; при необходимости закройте и откройте новый терминал.

Основные команды Foundry Local

Для базовой работы достаточно знать несколько команд:

foundry --help
foundry model --help
foundry service --help
foundry cache --help

Эти подсказки показывают опции для работы с моделями, сервисами и кешем. По мере развития сервиса список команд может расширяться.

Лучшие практики и методика выбора модели

Мини‑методика для выбора и оценки модели:

1. Оцените ограничения среды: диск, RAM, GPU.
2. Выберите легкую модель для первого запуска (например, phi-3.5-mini).
3. Прогоните набор типовых запросов и зафиксируйте время отклика и качество ответа.
4. По необходимости попробуйте более крупные модели и сравните latency/качество.

Критерии приёмки локального развёртывания:

• Модель запускается и отвечает на запросы в интерактивном режиме.
• Время отклика укладывается в приемлемые для вашего сценария рамки.
• Возможность работы офлайн после загрузки модели.

Ментальная модель: думайте о локальных моделях как о «контейнере для эксперимента» — они позволяют тестировать и прототипировать, но не всегда подходят для продакшена или задач, требующих свежих данных.

Когда Foundry Local не подходит

• Нужна высокая точность и актуальные данные в режиме реального времени.
• Требуются интеграции с облачными сервисами, которые зависят от постоянного соединения.
• Планы по масштабированию на множество пользователей и постоянной доступности — для этого лучше облачные провайдеры.

Чеклист ролей при развёртывании

• Для разработчика: установить, протестировать несколько моделей, подготовить примеры использования и CI‑тесты.
• Для power‑юзера: проверить требования к железу, протестировать локальные сценарии приватности.
• Для администратора: обеспечить права установки, проверить политику антивируса и доступность диска/резервного копирования.

Диагностика и восстановление

Если модель не запускается или работает нестабильно:

1. Проверьте свободное место на диске.
2. Запустите установку снова с правами администратора.
3. Проверьте версию Foundry и обновите пакетный менеджер.
4. Обновите драйверы GPU и системные обновления ОС.
5. Посмотрите подсказки командой foundry –help и foundry service –help.

Если проблема сохраняется, временно отключите антивирус/файрвол (только для проверки) или посмотрите сообщество/Issues на GitHub для конкретной модели.

Примеры тестовых запросов и критерии приёмки

Тестовые запросы — короткие и разные по типу:

• Вопрос фактического характера (но не после 2023).
• Переформулирование и суммаризация текста.
• Генерация кода (короткие фрагменты).

Критерии приёмки:

• Модель отвечает без аварийных завершений.
• Выход понятен и не содержит бессмысленных повторов.
• Время отклика регулярно соответствует требованиям (например, <5 с для интерактивных задач).

Быстрая памятка команд

• Установка Foundry (Windows): winget install Microsoft.FoundryLocal
• Установка Foundry (macOS): brew tap microsoft/foundrylocal && brew install foundrylocal
• Запуск модели: foundry model run <имя_модели>
• Список моделей: foundry model list
• Подсказка команд: foundry –help

Решение: использовать локальную модель или облако

flowchart TD
  A[Нужно ли офлайн?
'Приватность/Конфиденциальность'] -->|Да| B[Использовать Foundry Local]
  A -->|Нет| C[Рассмотреть облачный сервис]
  B --> D{Требуется высокая точность
и актуальность данных?}
  D -->|Да| C
  D -->|Нет| E[Foundry подходит для экспериментов]

Безопасность и приватность

Foundry Local повышает контроль над данными, так как модели и запросы остаются на вашей машине. Тем не менее следует учесть общие рекомендации:

• Ограничьте доступ к машине и терминалу.
• Не храните чувствительные данные в незашифрованном виде рядом с моделью.
• Регулярно обновляйте систему и драйверы.

Короткий анонс для соцсетей (100–200 слов)

Foundry Local от Microsoft позволяет запускать языковые модели прямо на вашем ПК — офлайн и бесплатно. Инструмент ориентирован на эксперименты и прототипирование: установка через winget или Homebrew, быстрый запуск лёгких моделей вроде phi‑3.5‑mini и управление через терминал. Идеально подходит для тех, кто ценит приватность и хочет тестировать модели без облака. Учтите, что это публичный превью: модели имеют ограничения по объёму знаний и не всегда заменяют облачные сервисы по точности и свежести данных.

Часто задаваемые вопросы

Можно ли полностью отключить Интернет после загрузки модели?

Да — доступ в Интернет нужен только для установки Foundry и загрузки моделей; после этого можно работать офлайн.

Нужен ли обязательно GPU?

Нет, но наличие GPU ускорит работу и позволит запускать более крупные модели. При отсутствии GPU модели работают на CPU, но медленнее.

Как переключаться между моделями?

Запустите команду foundry model run <имя_модели> из нового терминала.

Глоссарий (одна строка)

• LLM — большая языковая модель для генерации и понимания текста.
• Интерактивный режим — режим в терминале для ввода запросов и получения ответов.

Итог и рекомендации

Foundry Local — удобный инструмент для локальных экспериментов с LLM: простой старт через командную строку, возможность работы офлайн и контроль над данными. Подойдёт для прототипирования и личного использования, но требует компромисса в качестве ответов по сравнению с облачными сервисами. Если вы планируете перейти в продакшен или нуждаетесь в актуальных данных, рассмотрите гибридный подход: локальные тесты + облако для конечных сценариев.