Decrypt рассказал, как запускать открытые ИИ-модели локально | LegalCoin
BTC$58 446−5,82%ETH$1 606−8,64%USDT$0,9989−0,02%BNB$534,83−7,95%SOL$68,20−6,74%XRP$0,8959−6,83%GRAM$0,9726−4,43%DOGE$0,0532−8,63%

Decrypt рассказал, как запускать открытые ИИ-модели локально

Опубликовано: Автор: Издание: Legal Coin Обновлено:
Decrypt рассказал, как запускать открытые ИИ-модели локально

Decrypt опубликовал руководство по запуску открытых ИИ-моделей непосредственно на компьютере. В статье рассмотрены бесплатные программы Ollama и LM Studio, которые помогают загружать файлы весов и работать с моделями локально, без обязательной подписки на облачный чат-бот.

Открытыми в материале названы модели, разработчики которых публикуют веса — файлы, содержащие результат обучения. Их можно скачать и запустить самостоятельно, если компьютер соответствует требованиям. При полностью локальной работе запросы и разговоры остаются на компьютере, а LM Studio после загрузки файлов модели может работать полностью автономно.

Требования к памяти зависят от модели

Размер модели связан с числом параметров, а сама модель должна помещаться в видеопамять (VRAM) или unified memory на компьютерах Mac. В качестве общего ориентира Decrypt приводит около 8 ГБ VRAM или сопоставимый объём unified memory для небольших моделей. LM Studio рекомендует не менее 16 ГБ оперативной памяти для компьютеров Apple Silicon с macOS 14 или новее; системы с 8 ГБ могут работать с меньшими моделями.

Квантование уменьшает размер модели за счёт хранения весов в форматах с меньшей точностью. Согласно приведённым в статье данным Hugging Face, это сокращает использование памяти, но может снижать точность. В библиотеке Ollama версии Gemma 4 26B занимают примерно 16–19 ГБ, а версии 31B — около 19–20 ГБ. Для OpenAI gpt-oss-20b в материале указана потребность в 16 ГБ памяти.

Ollama и LM Studio предлагают разные способы работы

LM Studio представлена как приложение с графическим интерфейсом: пользователь выбирает модель внутри программы, загружает её веса и открывает чат. Ollama ориентирована на командную строку и предоставляет локальный API, через который другие приложения на компьютере могут обращаться к запущенной модели. Обозначения моделей с суффиксом :cloud относятся к облачному режиму Ollama и не требуют локальной загрузки.

Локальный запуск имеет ограничения по оборудованию. Alibaba Qwen3.8-Max, например, описана как модель с 2,4 трлн общих параметров, из которых одновременно активны 95 млрд. Если модель не помещается в VRAM и часть нагрузки переносится в оперативную память, ответы могут работать заметно медленнее. В статье также отмечается, что облачные системы сохраняют преимущество на наиболее сложных тестах.

Первоисточник

Материал подготовлен по публикации Decrypt от 1 ноября 2026.

Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском потери средств: решения принимайте самостоятельно.