keepsimple logo
W O L F ’ S · T E R M I N A L · 天
Ключевой тезисПродукт и бизнес

Вайбкодинг сократил разрыв между инженерами и остальными, так что преимущество теперь у того, кто в одиночку, с ИИ-агентами, решает самые сложные задачи.

Даже там, где инженеры всё ещё впереди, отрыв стал короче. Год назад это были лет десять форы, сейчас, может быть, два. И закрыл этот разрыв вайбкодинг. По сути, ты строишь софт тем, что объясняешь ИИ-агенту, чего хочешь, а это позволяет одному человеку собрать продукт от начала до конца.

Для рынка ещё год назад ты стоил ровно столько, насколько сложные задачи умел разглядеть как человек из продукта или бизнеса. Но чтобы их решить, нужна была целая команда. Теперь этого ограничения нет: задачу, которую ты увидел, ты можешь решить сам.

Поэтому сегодня ты стоишь ровно столько, насколько сложные задачи можешь решить.

А сложные задачи, в свою очередь, требуют другого уровня мастерства в работе с LLM-агентами. Начинается оно с вопросов, потому что с вопросов начинается любой серьёзный софт. Что спрашивать, подсказывает опыт в бизнесе и продукте. Как спрашивать, это второй навык. То есть поставить вопрос, разобрать ответ на части и выбрать следующий вопрос.

Потом в какой-то момент до тебя доходит: LLM работает на связности, примерно как мозг. На любой вопрос модель отвечает тем, что лучше всего склеивается с полученным, и идёт за твоей постановкой вопроса. Поэтому тот, кто не научится правильно разговаривать с LLM, уходит в иллюзии. Лечится это эвалами и бенчмарками. Эвалы проверяют твою работу, бенчмарки проверяют твой выбор модели.

Дальше ты упираешься в контекстное окно. Один запуск агента на задачу назовём прогоном. Прогон видит только то, что влезло в его контекстное окно, а сложная задача в одно окно не влезает. После какого-то предела окно забито всем, чего задача касалась, модель тупеет и начинает галлюцинировать. Это гниение контекста.

Поэтому ты режешь работу на прогоны, и результат одного агента становится входом для следующего. Потом решаешь, что каждый прогон видит, а чего не увидит никогда. Это маршрутизация контекста. Прогоны, передачи между ними и маршрутизация контекста вместе и есть оркестрация. Так решается задача, которая в одно контекстное окно не помещается. Но в какой-то момент ты понимаешь, что оркестрация без эвалов на каждом шаге превращается в иллюзию промышленного масштаба. Прежде всего потому, что ошибка первого прогона становится фактом для всех следующих. Поэтому ты ставишь эвал на каждый шаг и ещё один на всю цепочку.

Со временем часть шагов становится рутиной, и модель им больше не нужна, так что ты заменяешь её кодом. Код дешевле и детерминирован, то есть каждый раз даёт один и тот же результат. Там, где шагу модель всё ещё нужна, бенчмарки подсказывают, какая именно и не добавить ли вторую.

Но каждый прогон всё равно стартует с нуля, и всё, до чего система додумалась вчера, к следующему прогону пропало. Поэтому ты даёшь системе память, которая живёт дольше одного контекстного окна и общая для всех прогонов. Туда уходят решения, подводные камни, что ты пробовал и что не сработало. В память попадает только то, что прошло эвал, а провал записывается как провал. Иначе система начинает помнить собственные ошибки как факты.

До этого момента оркестратор ты сам: решаешь, какой прогон идёт следующим, что этот прогон видит и куда уходит результат. Потом ты пишешь протокол онбординга, короткий файл, из которого новый агент узнаёт свою роль и как войти в систему. И теперь агенты начинают вызывать друг друга вместо тебя. Один пишет черновик, другой возражает, первый правит, и всё это сходится на твоих эвалах. Кто просыпается следующим, теперь выбирает программа, она же собирает результаты, а ты вмешиваешься только там, где нужно настоящее решение.

В какой-то момент система начинает работать сама. Ты просыпаешься, читаешь, что система построила за ночь, проверяешь, что вы с агентами усвоили подводные камни, и ставишь следующую пачку задач. Большая часть твоего времени теперь уходит на то, чтобы собрать задачу, которую система сможет выполнить сама. То есть ты снова задаёшь вопросы, только теперь всей системе, а не одной модели. Это и есть сложная оркестрация, и это позволяет одному человеку решать задачи, для которых раньше нужна была целая команда.