1 строка сократил счёт за агента на 72%
На тренинге была домашка: провести аудит токенов своего агента. Посчитать, куда уходят деньги, и срезать лишнее.
Андрей гонял своего Телеграмм-агента на 12 задачах по 10 раз, до и после правок. Прогон подешевел с $1,27 до $0,35. Все задачи по-прежнему решаются.
Деньги уходили совсем не на то, что он думал:
92% токенов, которые агент отправляет в модель, — это одно и то же:
Инструкции, описания инструментов, скиллы. Он отправляет их заново на каждом шаге.
Спасла одна строка - cache_control на постоянной части запроса.
Но мне больше понравился второй его вывод:
- скиллы по требованию -46%
- кэш -71%
- оба вместе - всего -55%
Префикс стал короче минимума, который модель кэширует, и кэш перестал создаваться. Ошибки нет, в usage просто нули 😁️️️️️
А Денис на той же домашке сократил потребление 38% токенов на 20 задачах и ни одну не сломал.
Ждать, что это сделает за вас Anthropic, я бы не стал. Чем больше токенов вы сожжёте, тем больше они заработают.
Начать проще всего с RTK. Он ужимает вывод консольных команд, прежде чем отдать его модели. На лекции я прогнал через него ls -la, и токенов ушло процентов на 60 меньше.
Ставится RTK минут за 5.
— Вы уже знаете, сколько стоит одна задача вашего агента? Посчитайте и напишите в комментариях, сколько вышло👇
#нейросети · yt · tg · ig
