сбежавшая нейросеть

ИИ-агенты не чувствуют боли

Глава OpenAI Сэм Альтман в этом году принял участие в “летнем лагере миллиардеров”, который Allen & Co каждый июль проводит в Айдахо. По словам Альтмана, на конференции ему раз за разом задавали один вопрос – как сократить расходы на токены?

Я уже рассказывал, что токенмаксинг стал одной из главных проблем внедрения ИИ. Подталкивая сотрудников использовать новую технологию, компании начали всячески стимулировать расход токенов – и столкнулись с тем, что сотрудники просто стали “максить” эту метрику. С помощью ИИ выполнялась любая ерунда, не важно, приносит она результат или нет. А для бизнеса это вылилось в астрономические счета за токены.

Токенмаксинг придушат в ближайшие месяцы – компании уже начали вводить строгие системы оценки, где смотрят на результат, а не количество израсходованных токенов. А тем временем создатель Flask Армин Ронахер в эссе The Tower Keeps Rising предупреждает: за скачком трат на токены компании не видят более серьезную проблему.

Ронахера нельзя назвать луддитом – он сам глубоко сидит в агентной разработке и согласен, что ИИ радикально ускоряет написание кода. Но он напоминает, что большие проекты редко упираются в скорость написания кода – они упираются в общее понимание системы: что значат концепции, где границы, почему архитектура такая.

Это понимание нигде не записано целиком: оно прячется в код-ревью, созвонах, необходимости пойти и задать вопрос коллеге из соседнего отдела. То есть живет в трении.

Агенты это трение убирают: каждый правит систему со своим персональным переводчиком, а разговаривать с людьми больше и не нужно. Код компилируется, тесты проходят – однако команда постепенно перестает понимать, что строит.

Ронахер сравнивает ситуацию с притчей о Вавилонской башне: в Библии у людей отняли не кирпичи и технологию, а общий язык, на котором они общались. И стройка встала. Сейчас ситуация даже хуже: общее понимание уже ушло, но стройка не останавливается – и башня из кода продолжает расти.

Красивая фраза из эссе: “агенты не чувствуют боли – боль чувствуют только люди”. Раньше боль от непонятного кода заставляла людей договариваться, агенту же все равно.

У эссе Ронахера открытый финал. Он не предлагает какого-то решения, не дает прогнозов, а только подсвечивает проблему. Да и решение вряд ли будет простым: нельзя взять и прописать в регламенте требование “работайте медленно, общайтесь друг с другом вживую”.

Это право Ронахера, но от себя все-таки добавлю две вещи.

Первая – проблема касается не только кода. Мой личный пример: ссылку на эссе Ронахера я увидел в новостной подборке, которую мне каждое утро присылает ИИ-агент. Краткое содержание мне показалось интересным, я закинул линк в Claude Fable 5 с инструкцией пересказать текст тезисно, поискать, как это эссе пересекается с моими прошлыми постами, и предложить углы подачи.

То есть сделал то самое, о чем предупреждает Ронахер – убрал трение. В моем случае это было бы прочтение эссе на английском языке, проверка источников, поиск альтернативных мнений. Поделился наблюдением с Fable 5 (картинка в начале) – он возразил аргументом, что зато ИИ я гонял по тексту несколько раз. Трение с оригиналом я заменил на трение с моделью.

Второй момент – трение с ИИ тоже находится в зоне риска. Вчера я выпустил лонгрид про loop engineering – это настройка циклов, новый способ выполнения задач нейросетями. Циклами активно пользуются создатели Claude Code и OpenClaw, а суть простая: чтобы выполнить поставленную задачу, ИИ промптит сам себя, раз за разом улучшая процесс.

Главная проблема циклов – они ломаются, если не настроить правильно оценку результата. А это обычно происходит, когда из процесса исчезает живой человек – то есть уходит то самое трение.

Зато правильно настроенный цикл с человеческим участием заметно повышает эффективность ИИ на многих задачах. Причем не только в коде: умение строить циклы поможет и при работе с контентом, офисными задачами и даже при диалоге в чат-боте. Хотите научиться строить циклы – читайте мой лонгрид.