Смотри, чего нашел!

Локальный ИИ без интернета — гайд по моделям

Источник: Web3nity · ~25 мин

Основная идея: понятный гайд «с нуля» — как поставить локальный ИИ на свой ПК/ноутбук, чтобы он работал без интернета, бесплатно и без отправки личных файлов в облако (в отличие от ChatGPT / Claude / Gemini).

• Три кита: сама модель (мозг) + приложение-«плеер» (Ollama, также упоминаются LM Studio / Open WebUI) + ваше железо (RAM/CPU/GPU ограничивают размер модели).
• Где брать модели: Hugging Face (каталог) и библиотека Ollama; уметь читать имя вроде Gemma-4B-IT-Q4_K_M.gguf.
• Термины в названии: семейство (Qwen, Gemma, Llama, Phi, Mistral, SmallLM) · B = млрд параметров · IT/Instruct = умеет выполнять команды · Q4/Q5/Q8 = квантование (сжатие) · GGUF = формат под локальный запуск.
• Как выбирать: сначала размер мозга под ПК (старт ~4B), потом квантование (старт Q4_K_M); на HF можно указать железо и смотреть зелёные/жёлтые/красные метки совместимости.
• Практика: поставить Ollama → скачать модель → если дефолт тяжёлый — взять легче из библиотеки или через HF (+ помощь агента вроде Codex/Claude для команд установки).
• Кому что: Qwen — текст/русский/рутина; Gemma — часто ещё и картинки/чеки/скрины; Phi — компактнее, цифры/математика; SmallLM — совсем слабое железо.
• Зачем вообще: офлайн (самолёт/дача), приватность документов, саммари/письма/заметки, разбор скринов — не замена облачному GPT, а отдельный инструмент «под рукой».