Decrypt опубликовал руководство по запуску открытых ИИ-моделей непосредственно на компьютере. В статье рассмотрены бесплатные программы Ollama и LM Studio, которые помогают загружать файлы весов и работать с моделями локально, без обязательной подписки на облачный чат-бот.
Открытыми в материале названы модели, разработчики которых публикуют веса — файлы, содержащие результат обучения. Их можно скачать и запустить самостоятельно, если компьютер соответствует требованиям. При полностью локальной работе запросы и разговоры остаются на компьютере, а LM Studio после загрузки файлов модели может работать полностью автономно.
Требования к памяти зависят от модели
Размер модели связан с числом параметров, а сама модель должна помещаться в видеопамять (VRAM) или unified memory на компьютерах Mac. В качестве общего ориентира Decrypt приводит около 8 ГБ VRAM или сопоставимый объём unified memory для небольших моделей. LM Studio рекомендует не менее 16 ГБ оперативной памяти для компьютеров Apple Silicon с macOS 14 или новее; системы с 8 ГБ могут работать с меньшими моделями.
Квантование уменьшает размер модели за счёт хранения весов в форматах с меньшей точностью. Согласно приведённым в статье данным Hugging Face, это сокращает использование памяти, но может снижать точность. В библиотеке Ollama версии Gemma 4 26B занимают примерно 16–19 ГБ, а версии 31B — около 19–20 ГБ. Для OpenAI gpt-oss-20b в материале указана потребность в 16 ГБ памяти.
Ollama и LM Studio предлагают разные способы работы
LM Studio представлена как приложение с графическим интерфейсом: пользователь выбирает модель внутри программы, загружает её веса и открывает чат. Ollama ориентирована на командную строку и предоставляет локальный API, через который другие приложения на компьютере могут обращаться к запущенной модели. Обозначения моделей с суффиксом :cloud относятся к облачному режиму Ollama и не требуют локальной загрузки.
Локальный запуск имеет ограничения по оборудованию. Alibaba Qwen3.8-Max, например, описана как модель с 2,4 трлн общих параметров, из которых одновременно активны 95 млрд. Если модель не помещается в VRAM и часть нагрузки переносится в оперативную память, ответы могут работать заметно медленнее. В статье также отмечается, что облачные системы сохраняют преимущество на наиболее сложных тестах.
Первоисточник
Материал подготовлен по публикации Decrypt от 1 ноября 2026.