ИИ для компьютера: что считает ваша машина, а что — чужой сервер

«ИИ для компьютера» — это два разных продукта под одним названием. В первом файл с весами лежит у вас на диске, а считает ваша видеокарта. Во втором на компьютере стоит окно, а считает чужой сервер. Выбирать приходится между ними, а не между «умной» и «глупой» нейросетью.

Путаница идёт не от читателя: вендоры сами мешают одно с другим. Ollama ставят, чтобы нейросеть работала на своей машине и никуда не ходила. А в документации Ollama написано: «To use only local models, disable cloud features». Локальный режим тут отдельная настройка, а не состояние по умолчанию.

Разберём по порядку: где проходит граница между продуктами, какие требования вендоры публикуют числами и что делать, когда ничего не запускается. Всё ниже взято из документации производителей, страницы открыты 18 сентября 2026 года.

Локальная модель и приложение-клиент: почему это разные вещи

Локальная модель устроена так:

• ●где лежат веса: файл на вашем диске
• ●что считает: ваша видеокарта или процессор
• ●нужен ли интернет: только на скачивание
• ●во что упирается: видеопамять, оперативная память, место на диске
• ●кто меняет условия: никто, файл уже у вас

Приложение-клиент устроено иначе:

• ●где лежат веса: на сервере компании
• ●что считает: чужое железо
• ●нужен ли интернет: всегда
• ●во что упирается: тариф и доступность сервиса
• ●кто меняет условия: вендор, не спрашивая вас

Так эту границу обычно и проводят. Но она проходит и внутри инструментов, и пишут об этом сами вендоры.

• ●Ollama: «Run models in Ollama's cloud from your apps or terminal», и отдельной строкой «Cloud models do not need to be downloaded».
• ●LM Studio, в блоке «Explore the open frontiers.»: «Our cloud services are Zero Data Retention (ZDR) across the board».
• ●Jan: «Choose from open models or plug in your favorite online models».
• ●Open WebUI: «provider-agnostic interface for both local and cloud-based models».
• ●ComfyUI: два продукта рядом. Comfy Desktop — «Run ComfyUI on your own hardware», Comfy Cloud — «The full power of ComfyUI from anywhere».

Ошибка та же, из-за которой путают GPT-4 и ChatGPT: языковая модель и сервис, который её подаёт, — разные вещи.

А крайний случай видно в библиотеке Ollama. У строки qwen3.5:397b-cloud в графе размера прочерк: модель стоит в каталоге локального инструмента, а скачивать в ней нечего.

Что вендоры пишут про железо числами

Гадать не нужно. Требования опубликованы, и это не «мощная видеокарта», а номера версий.

• ●Ollama, Windows: «Windows 10 22H2 or newer, Home or Pro», драйвер NVIDIA «551.61 or newer», для AMD — стек «ROCm v7 / HIP7» либо драйвер Radeon с Vulkan.
• ●Ollama, macOS: «MacOS Sonoma (v14) or newer», «Apple M series (CPU and GPU support) or x86 (CPU only)».
• ●LM Studio, macOS: «Apple Silicon (M1/M2/M3/M4)», «macOS 14.0 or newer is required», «16GB+ RAM recommended», «Intel-based Macs are currently not supported».
• ●LM Studio, Windows: «AVX2 instruction set support is required (for x64)», «At least 16GB of RAM is recommended», «at least 4GB of dedicated VRAM is recommended».
• ●LM Studio, Linux: AppImage, «Ubuntu 20.04 or newer is required», версии «newer than 22 are not well tested».

В требованиях Ollama для Windows любопытно и то, чего в них нет: про оперативную память не сказано ничего. А системы с картами класса RX 6800 «may not expose ROCm v7».

Как проверить видеокарту по таблице Ollama

Compute capability говорит о поколении архитектуры, а не о мощности. Порог такой: «Ollama supports Nvidia GPUs with compute capability 5.0+ and driver version 550 and newer». А для карт от 5.0 до 6.2 планка выше: «driver version 570 or newer».

Перечень поколений вендор публикует сам:

• ●12.0, 8.9 и 8.6: GeForce RTX 50xx, 40xx и 30xx
• ●7.5: GeForce RTX 20xx, TITAN RTX и GTX 1650 Ti
• ●6.1: GeForce GTX 10xx, TITAN X и TITAN Xp
• ●5.2: GeForce GTX 9xx и GTX TITAN X
• ●5.0: GeForce GTX 750 и GTX 750 Ti

Нижние строки интереснее верхних. GTX 750 и 750 Ti стоят в официальном списке рядом с RTX 5090. Есть ваша карта в списке или нет — минутный вопрос.

Что отсекает сразу

• ●Процессор x64 без AVX2: LM Studio не запустится, у него это «required».
• ●Мак на Intel: LM Studio его не поддерживает, а Ollama работает в режиме «x86 (CPU only)».
• ●Драйвер NVIDIA старее 550: Ollama такую карту не поддерживает.

Чаще всего ошибаются дальше, на графе размера. В карточках моделей Ollama есть колонки Name, Size / Usage, Context и Input. Про видеопамять — ни слова. Значит, «9,6 ГБ» в карточке означают место на диске, а не видеопамять.

А цифры такие. gemma4:e4b занимает 9,6 ГБ, gemma4:12b — 7,6 ГБ. У второй параметров втрое больше, а места она просит меньше. То же с пометкой MLX: qwen3.5:9b весит 6,6 ГБ, qwen3.5:9b-mlx — 8,9 ГБ.

Квантизация: откуда берутся 4 бита на параметр

Почему так? Дело в том, как хранят веса. Один и тот же вес записывают с разной точностью. Называется это квантизацией.

Термин расшифровывает LM Studio. Квантизация, пишет вендор, «roughly means compressing model files in size, while giving up some degree of quality». Там же рекомендация: «Choose a 4-bit option or higher if your machine is capable enough for running it».

Насколько мелко режут, видно в карточке gpt-oss: веса «quantized to 4.25 bits per parameter». И там же фраза, которой нет больше ни в одной карточке модели: производитель называет требование к памяти. Сжатие «enables the smaller model to run on systems with as little as 16GB memory, and the larger model to fit on a single 80GB GPU».

Набор разрядностей шире, чем кажется по именам файлов. llama.cpp перечисляет все: «1.5-bit, 2-bit, 3-bit, 4-bit, 5-bit, 6-bit, and 8-bit integer quantization».

Сжимают не только веса. Вторая квантизация — кэша K/V, того самого, который растёт вместе с длиной диалога. Тип q8_0 берёт «approximately 1/2 the memory of f16 with a very small loss in precision». У q4_0 — «approximately 1/4 the memory of f16 with a small-medium loss in precision».

Нужен включённый Flash Attention: он «can significantly reduce memory usage as the context size grows».

Отсюда и парадокс с e4b и 12b: файл весит не по числу в названии, а по выбранному сжатию.

Чем запускать: инструменты и что у них под капотом

Инструменты запуска легко свалить в одну кучу, хотя ролей у них три. Движок считает. Приложение даёт окно и витрину моделей. Фронтенд сам не считает ничего и подключается к чужому движку.

Ollama и LM Studio

Ollama — движок с командной строкой и приложением. На Windows ставится без прав администратора. Работает на Windows 10 22H2 и новее, на чипах Apple M и на маках с Intel в режиме «x86 (CPU only)». Что остановит: драйвер NVIDIA старее 550 — такая карта не поддерживается.

LM Studio — приложение с витриной: «a built-in model downloader that let's you download any supported model from Hugging Face». Свои движки вендор перечисляет сам: «MLX and llama.cpp under the hood». Порог входа выше: маки на Intel не поддерживаются, на x64 обязателен AVX2.

GPT4All, Jan и Open WebUI

GPT4All описан однозначно: «private, high-performance AI right on your device». Работает на «Windows, macOS, and Linux», есть сборка для Windows ARM и локальный чат с документами.

Jan называет себя «Personal Intelligence that answers only to you». А рядом, в перечне возможностей, стоит подключение «your favorite online models». Это два режима, а не оговорка мелким шрифтом.

Open WebUI — не движок вообще: платформа, «built to run entirely offline». Считает движок, к которому она подключена: «Ollama and OpenAI-compatible APIs».

llama.cpp — то, на чём работает остальное

Загляните под витрины и окна: чаще всего там лежит одна и та же библиотека. Цель проекта сформулирована так: «inference with minimal setup and state-of-the-art performance on a wide range of hardware - locally and in the cloud». Даже у фундамента граница локального и облачного размыта.

Оттуда же: «Plain C/C++ implementation without any dependencies», «Apple silicon is a first-class citizen», «AVX, AVX2, AVX512 and AMX support for x86 architectures».

Победителя тут не назначают, и не из вежливости. Лучшего инструмента в вакууме не бывает, как не бывает и лучшей модели: есть подходящий под то, что вы собираетесь делать.

• ●Нужен терминал, API и запуск из скриптов? Берите движок.
• ●Нужно окно, витрина моделей и поиск по Hugging Face? Берите приложение.
• ●Нужен один интерфейс на несколько движков? Берите фронтенд.

Картинки, видео и звук: другие инструменты и другие требования

Посмотрим на соседние задачи. Дома запускают не только текстовые модели, и требования там публикуют иначе.

ComfyUI перечисляет железо длинным списком: NVIDIA с «stable pytorch with CUDA 13.0», AMD на Windows через «ROCm 10.0» с поддержкой «RDNA 2, RDNA 3, RDNA 3.5, and RDNA 4», Intel Arc и Apple Silicon «with Metal acceleration». Замыкает перечень строка «CPU - Use the --cpu parameter (slower)».

Требования есть и к тому, о чём обычно не думают. К языку: «Python 3.13 is very well supported and recommended». К браузеру: «use Google Chrome version 143 or later».

Stable Diffusion web UI планку по видеопамяти называет прямо: «4GB video card support (also reports of 2GB working)». Зато к версии языка привязывает намертво: «Install Python 3.10.6 (Newer version of Python does not support torch)».

А Whisper публикует то, чего в карточках текстовых моделей нет вовсе: требование к видеопамяти по каждому размеру. Колонка так и называется, Required VRAM: tiny — ~1 GB, base — ~1 GB, small — ~2 GB, medium — ~5 GB, large — ~10 GB, turbo — ~6 GB.

Слабая машина без видеокарты: что обещает производитель

Начнём с хорошего: режим без видеокарты описан почти у всех. А скорость не обещает никто.

• ●Ollama для macOS поддерживает «x86 (CPU only)»: старый мак на Intel не отсекается.
• ●Ollama в разделе про неполадки выстраивает процессорные библиотеки по скорости: «cpu_avx2 will perform the best, followed by cpu_avx an the slowest but most compatible is cpu».
• ●llama.cpp даёт гибридный режим: «CPU+GPU hybrid inference to partially accelerate models larger than the total VRAM capacity».
• ●У ComfyUI это ключ --cpu с пометкой «slower».
• ●Буква E в названиях Gemma 4 E2B и E4B «stands for "effective" parameters, and are made for edge device deployments».
• ●gpt-oss 20b после сжатия в MXFP4 идёт «on systems with as little as 16GB memory».
• ●whisper.cpp объявляет «Support for CPU-only inference», и памяти модели просят немного: base около 388 MB, tiny около 273 MB.

Разберитесь отдельно со словом «recommended». У LM Studio 16 гигабайт оперативной памяти и 4 гигабайта видеопамяти помечены именно так. Слова «minimum» на странице требований нет ни разу. А «required» стоит ровно в трёх местах: версия macOS, набор инструкций AVX2 и версия Ubuntu.

Рекомендация — это уровень, за который производитель готов отвечать, а не порог, ниже которого ничего не работает.

Куда легла модель, показывает команда ollama ps: «100% GPU means the model was loaded entirely into the GPU», «100% CPU means the model was loaded entirely in system memory», «48%/52% CPU/GPU means the model was loaded partially onto both the GPU and into system memory».

Не запускается: симптом, причина, действие

Шесть ходовых отказов. Причину и действие для каждого называет документация.

1. Модель отвечает медленно, а ollama ps показывает «100% CPU». Карта простаивает: проверьте compute capability и версию драйвера.
2. На Linux после спящего режима карта NVIDIA исчезла. Баг драйвера: Ollama «will fail to discover your NVIDIA GPU, and fallback to running on the CPU». Помогает перезагрузка модуля nvidia_uvm.
3. В журнале «failure during GPU discovery» на машине с AMD под Linux. Вендор объясняет: «the system's AMD GPU driver is too old». Нужен ROCm v7.
4. В журнале коды ошибок NVIDIA: «"3" (not initialized), "46" (device unavailable), "100" (no device), "999" (unknown)». Что делать, смотрите в разделе про неполадки NVIDIA на Linux.
5. Вместо индикатора прогресса в терминале Windows лезут квадраты или строки вида ←[?25h. Баг старого терминала: «Older versions of Windows 10 (e.g., 21H1) are known to have a bug». Рецепт вендора — «update to Win 10 22H1 or newer». А в требованиях та же компания называет «Windows 10 22H2 or newer»: две страницы расходятся.
6. ComfyUI не стартует в портативной сборке или рисует артефакты. Причина в драйвере или браузере: «Update your Nvidia drivers if it doesn't start», а версии Chrome «142 and below» дают «visual glitches». У Stable Diffusion web UI то же с Python: новее 3.10.6 «does not support torch».

Ещё два отказа приходят не от железа. Модель перестаёт влезать, когда растягиваете контекст: «Setting a larger context length will increase the amount of memory required to run a model». И сервер отвечает кодом 503, если «too many requests are sent to the server».

Само «по умолчанию» у контекста, кстати, спорное. В ответах на частые вопросы Ollama пишет «By default, Ollama uses a context window size of 4096 tokens». А на странице про длину контекста значение зависит от видеопамяти: «< 24 GiB VRAM: 4k context», «24-48 GiB VRAM: 32k context», «>= 48 GiB VRAM: 256k context». Две страницы одного вендора, два ответа.

Что уходит наружу и как это выключить

Что компании говорят про ваши данные? Вот их формулировки о самих себе, дословно и рядом. Открытые веса тут ничего не решают: они про то, что вы вправе делать с файлом, а не про то, куда уходит запрос.

• ●Ollama в ответах на частые вопросы: «Ollama runs locally. We don't see your prompts or data when you run locally». Про облачные модели там же: «we process your prompts and responses to provide the service but do not store or log that content and never train on it».
• ●Ollama на странице про облако: «Ollama processes cloud prompts and responses to answer your requests».
• ●LM Studio про облачные сервисы: «Our cloud services are Zero Data Retention (ZDR) across the board». Про голосовой ввод отдельно: «Your voice and audio data is processed locally and never leaves your device».
• ●GPT4All: «no cloud required, no data leaves your machine».

Выключатель у Ollama конкретный. В файле ~/.ollama/server.json поставьте ключ disable_ollama_cloud либо задайте переменную OLLAMA_NO_CLOUD=1. После перезапуска в журнале появляется строка «Ollama cloud disabled: true». Цену вендор называет сам: «you will lose the ability to use Ollama's cloud models and web search».

С LM Studio порядок обратный: «LM Studio can operate entirely offline, just make sure to get some model files first». Сначала скачать, потом отключаться.

Частые вопросы

С чего начать

Порядок обратный привычному: сначала компьютер, потом модель.

1. Найдите видеокарту в таблице compute capability и сверьте драйвер: порог «5.0+ and driver version 550 and newer».
2. Проверьте, поддерживает ли процессор AVX2: для LM Studio на x64 это «required».
3. Откройте карточку модели и посмотрите графу Size / Usage: это место на диске, а не видеопамять.
4. Решите про локальный режим заранее: у Ollama он включается отдельной настройкой.

А дальше посмотрите, что умеют сегодняшние модели: сравнение LLM 2026 года. И последнее: карточки правят постоянно, у Gemma 4 и Qwen3.5 стоит «Updated 2 weeks ago». Числа в карточке всегда свежее любой статьи.