На этой неделе я сделал прикольную штукуНужно было
проанализировать большой объем текстовых данных о компании (32GB) с точки зрения очень дорогих консультантов. На входе текст вперемешку с JSON, на выходе - комплексный анализ состояния компании, ужатый в небольшой отчет.
Процесс анализа -
собираем небольшой пайплайн из агентов с подключением к общему мозгу проекта. Агенты запускаются последовательно - каждый отвечает за свой шаг.
Первые шаги делались Fable 5.2 в режиме исследования - “а найди мне лучшие практики того, как вот компания такого типа должна работать, дистиллируй в отчет со ссылками на кейсы и исследования”.
Последующие шаги - агенты под Codex прочесывали весь массив информации для сбора кейсов, строили карту процессов компании, анализировали разрывы (gap analysis) между идеальным построением процесса и реальным, а на основе этого выкатывали приоритизированный отчет для executives с тем, что нужно править в первую очередь и почему.
Все эти агенты грузили в самое начало контекстного окна - моего Марка и контекст происходящего в целом (
своего рода загрузка ядра из моего Company Brain), а потом уже уходили в задачу.
Входных данных было 32GB, что не влезет ни в один контекст. Поэтому я сделал оптимизированный формат представления данных и по принципу старого доброго Map Reduce раскидал работу между агентами. Данные хранились в company brain в файловом режиме (a la control center/personal OS) с
progressive disclosure и
docs/tools/tree.py,
outline.py. Ну и еще для координации работы и передачи контекста между агентами
добавил новый инструмент для работы с тикетами. В итоге система завела внутри себя более 30k тикетов и проработала в сумме более суток.
В процессе отладки и сам
пайплайн и структуру его мышления приходилось допиливать напильником под приоритеты executives, которые отчет читать будут. А для этого, пришлось
перестроить сам процесс анализа процессов так, чтобы было понятно, как его вообще оптимизировать (поэтому
для векторов и аналогичных черных ящиков тут места не было - только oldschool в виде тикетов, читаемых и перекладываемых текстовых файлов).
Это все база, которую можно свести самостоятельно, если отслеживать публичные рассказы и видео топовых компаний (от OpenAI/Anthropic до разных внедренцев), дистиллировать агентами в свою базу знаний и получившийся рычаг уже прикладывать к текущей работе.И все это затеялось ради того, чтобы выдать один небольшой отчет людям. Смотрим, что будет дальше.
Но пока вывод машины сводится к этому:
С точки зрения дорогих консультантов, вот то, что в компании надо делать в первую очередь (детализация почему и ссылки на исходники прилагаются). Но как машина, которой приходится работать с людьми, я бы посоветовала разослать вот этот маленький список вопросов вот этим людям в первую очередь, собрать их ответы и загрузить в меня
И вот смотрю я на весь этот комбайн и понимаю, что ведь можно было прогонять весь этот массив данных не через одного агента с одной перспективой (дорогой консультант в предметной области), а
через несколько разноплановых и не менее дорогих консультантов - самого понимающего в мире HR-а, самого параноидального безопасника, топового специалиста по операционке итп. Бери себе лучшие книги и исследования, дистиллируй в методологии анализа и прогоняй.
Как я уже говорил, методологии всего этого можно сформировать под себя, если натравить ChatGPT/Claude на последние статьи/видео импонирующих компаний и попросить все систематизировать. Все есть публично.
От возможностей захватывает дух!Ваш,
@llm_under_hood 🤗