New Yorko Times
tg10 тыс. подписчиков
Открыть пост ↗
Вести с полей: у друга в лондонском хедж-фонде разработчики скоро потеряют доступ к ручному редактированию кода. Теперь только через клода. Пузырь?
Телеграм
New Yorko Times
РКН: проверяем
Не иноагент
Юрий Кашницкий (Yorko, тут @yurycorn) – про машинное обучение, науку, галеры, матан, фэйлы и прочие интересности. Рекламы нет.
https://www.linkedin.com/in/kashnitskiy
https://www.linkedin.com/in/kashnitskiy
Статистика обновлена 12.11.2026 в 21:45 · 1 просмотр страницы · Хотите больше просмотров?
Подписчики10 731
Охват поста5 046
47% от подписчиков
ERR за месяц47,02%
ERR за 24 часа47,51%
Динамика за 30 дней
Истории пока нет. График появится после следующих обновлений статистики.
Рекламные публикации
Рекламных публикаций не найденоЗа последнее время мы не нашли на площадке ни одного рекламного поста.
Последние публикации
Все посты канала →
New Yorko Times
tg10 тыс. подписчиков
Открыть пост ↗
Tokenomics на практике: улучшение навайбкоженного агента
#llm #ai #fde
Сходил в букинг (всем привет!), рассказал немного про кухню FDE (Forward Deployed Engineering) и про паттерн, который мы сейчас видим у клиентов. CFO проснулись, так что теперь вместо токенмаксинга – токеномикс. Ну.. здравый смысл подсказывал, что это произойдет.
Доклад для смешанной аудитории – PM-ов, менеджеров, но и разрабов. Так что в hands-on части я взял типичный навайбкоженный проект – travel assistant, похожий на то, что мы с Букингом сделали прошлым летом – и показал, как можно оптимизировать потребление токенов для этого агента. В целом месседж: особо хитрые инструменты или скилы не нужны, достаточно того же кодинг-ассистента попросить провести "аудит" сжигания токенов, и уже должно быть немало инсайтов: например, динамические части промпта перенести в конец, так что бОльшая часть промпта кэшируется по цене в 10 раз меньше. Или вместо открытого цикла, в котором агент использует тулы как хочет, сделать один тул с детерминированным циклом – так меньше контекста (системный промпт, скиллы, декларации тулов и тд) надо пересылать. В случае ассистента для путешествий пример с циклом построения маршрута через N городов: вместо тула get_route между точками A и B, который будет вызываться N-1 раз, лучше переопределить этот get_route, так чтоб он вызывался всего один раз, но строил маршрут сразу между N городами. Где-то Аргон мне подсказал free wins, где-то трейдоффы, всего 7 улучшений.
Показал, как обычно визуализирую сочетание quality – latency - cost, в этом игрушечном примере агент стал в 2.5 раза быстрее, 3 раза дешевле по токенам, за счет просадки в 5% по точности.
Общий посыл: кодинг ассистенты могут сами неплохо подсказывать, как вам экономить на токенах. Для PM-ов: не тащите в прод все, что только что с конвейера клода сошло, можно посидеть вместе с инженерами, оптимизировать сочетание качества, скорости и цены.
Слайды
#llm #ai #fde
Сходил в букинг (всем привет!), рассказал немного про кухню FDE (Forward Deployed Engineering) и про паттерн, который мы сейчас видим у клиентов. CFO проснулись, так что теперь вместо токенмаксинга – токеномикс. Ну.. здравый смысл подсказывал, что это произойдет.
Доклад для смешанной аудитории – PM-ов, менеджеров, но и разрабов. Так что в hands-on части я взял типичный навайбкоженный проект – travel assistant, похожий на то, что мы с Букингом сделали прошлым летом – и показал, как можно оптимизировать потребление токенов для этого агента. В целом месседж: особо хитрые инструменты или скилы не нужны, достаточно того же кодинг-ассистента попросить провести "аудит" сжигания токенов, и уже должно быть немало инсайтов: например, динамические части промпта перенести в конец, так что бОльшая часть промпта кэшируется по цене в 10 раз меньше. Или вместо открытого цикла, в котором агент использует тулы как хочет, сделать один тул с детерминированным циклом – так меньше контекста (системный промпт, скиллы, декларации тулов и тд) надо пересылать. В случае ассистента для путешествий пример с циклом построения маршрута через N городов: вместо тула get_route между точками A и B, который будет вызываться N-1 раз, лучше переопределить этот get_route, так чтоб он вызывался всего один раз, но строил маршрут сразу между N городами. Где-то Аргон мне подсказал free wins, где-то трейдоффы, всего 7 улучшений.
Показал, как обычно визуализирую сочетание quality – latency - cost, в этом игрушечном примере агент стал в 2.5 раза быстрее, 3 раза дешевле по токенам, за счет просадки в 5% по точности.
Общий посыл: кодинг ассистенты могут сами неплохо подсказывать, как вам экономить на токенах. Для PM-ов: не тащите в прод все, что только что с конвейера клода сошло, можно посидеть вместе с инженерами, оптимизировать сочетание качества, скорости и цены.
Слайды
Новый список