Смотри, чего нашел!

Критическая база знаний LLM за час

Источник: Дмитрий Березницкий · ~55 мин

Основная идея: «критическая база» по LLM для инженеров — не магические промпты, а понимание механики, контекста, затрат и архитектуры, чтобы AI в production работал предсказуемо, а не «иногда».

Основные понятия

• Токены / tokenizer / embeddings — единица текста ≠ слово; у каждой модели свой разбор; русский часто в 1.5–2× «дороже» английского по токенам.
• Attention / multi-head / Transformer — связи «каждый с каждым»; квадратичная сложность → длинный контекст медленнее и дороже.
• Контекстное окно — рабочая память: system + история + запрос + tools + файлы/вывод команд; переполнение → забывание, повторы, автосуммаризация с потерей деталей.
• Prefill vs decode — промпт параллельно, ответ токен за токеном; KV-cache; output обычно в 3–5× дороже input.
• Training vs inference — веса не учатся от чата; «память» ChatGPT — фича приложения, не дообучение.
• Temperature / Top-P / Top-K — контроль креативности и фильтрация кандидатов следующего токена.
• LLM → Reasoning → Agent — ответ / пошаговое рассуждение (CoT) / цикл observe→reason→act (ReAct) + tools + state.
• Prompt vs Context Engineering — формулировка запроса vs всё, что система уже знает (память, retrieval, state, tools, сборка промпта).
• Vibe coding vs Agentic coding — контекст собрали за вас (Lovable/Replit-like) vs вы управляете контекстом (Cursor, Claude Code, Windsurf…).
• Foundation Models, MCP, MoE — готовые базы вместо обучения с нуля; единый протокол tools/resources/prompts; эксперты + роутер (активируется часть параметров).

Методы

• Управление контекстом: новый чат + резюме на сложных задачах; не полагаться только на автосжатие.
• Экономия API: prompt caching (до ~70–90%), Batch API для неспешных задач.
• Дать знания модели: in-context learning → RAG (векторная БД + embeddings) → fine-tuning (LoRA / QLoRA); порядок внедрения: простое → сложное; данные часто меняются → RAG/in-context; стабильный стиль/термины → FT.
• API vs self-hosted: удобство/качество vs предсказуемая цена и приватность.
• AI Security: prompt injection, Shadow AI, supply-chain моделей (отравление/бэкдор) → фильтры, политики, проверка источника модели.

Инструменты / экосистема

• Ассистенты: Cursor, Claude Code, Windsurf, ChatGPT / Claude / Gemini.
• Провайдеры API: OpenAI, Anthropic, Google; open models: Llama, Mistral, Phi, IBM Granite.
• Интеграции агентов: MCP (Model Context Protocol).
• Знания: векторные БД, embedding-модели, RAG; адаптация: LoRA/QLoRA.