Телеграм

LLM под капотом

@llm_under_hood IT и нейросети
РКН: проверяем Не иноагент
Канал про разработку продуктов на базе LLM/ChatGPT. Выжимка важных новостей и разборы кейсов. Чтобы писать - напишите боту @llm_under_hood_bot

Рекламы в канале - нет. За комменты от ботов баним вместе с хозяином.

Статистика обновлена 22.11.2026 в 21:03 · 6 просмотров страницы · Хотите больше просмотров?

Подписчики30 617 +241 за 7 дней
Охват поста8 306 27% от подписчиков
ERR за месяц27,13%
ERR за 24 часа12,18%

Динамика за 30 дней

Рекламные публикации

Рекламных публикаций не найденоЗа последнее время мы не нашли на площадке ни одного рекламного поста.

Последние публикации

Все посты канала →
LLM под капотом tg30 тыс. подписчиков
Открыть пост ↗
Пора ускорять реакцию на изменения через агентов

На днях взломали сайт отеля, в котором мы останавливались прошлой зимой. И взломщики быстро прислали через WhatsApp фишинговое сообщение.

Отель среагировал письмом-предупреждением сильно позже - через девять дней после начала фишинга. Причем, подозреваю, что они даже не знают точной даты взлома.

Когда слышишь истории про активные взломы от безопасников серъезных компаний - это одно. А когда все касается тебя - это все-таки другое. Я понимаю, что уже банально не успеваю все это пасти и контроллировать.

В итоге я ускорил темпы запуска автономных агентов в BitGN. Завел двух безопасников: братьев Холмсов - Майкрофта и Шерлока (4+2 eyes principle).

Майкрофт (Claude) постоянно прочесывает новости на новые уязвимости и сверяет их с реестром установленного софта. Если нашел - сразу пишет мне в TG и вносит записи в Company Brain. У Шерлока (Codex) есть доступ к внутренним системам, он держит карту системы актуальной, перепроверяет автоматически выводы, отвечает на запросы Майкрофта, предлагает какие-то апдейты, которые я мог упустить.

На картинке - калибровочный запуск таймлайна. Я откатил назад карту систем на состояние до фикса CVE-2026-97032 и запустил агента, который прислал алерт.

Второй запуск с актуальной картой системы ничего не нашел. Майкрофт сказал "можешь спать спокойно, но вот мне этих деталей про систему докинь на будущее".

Заодно и начал заводить реестр агентов, чтобы не упускать все происходящее из виду. Потратил на все минут 15 времени.

Ваш, @llm_under_hood 🤗
👁 5.4 тыс. 🔥 36👍 22❤ 10 💬 22 ↻ 130 вчера в 12:07
LLM под капотом tg30 тыс. подписчиков
Открыть пост ↗
Если вы заметили один из моих серверов был недоступен в течение секунд 20 - это я хожу Астрой по всем серверам и патчу их на предмет последних уязвимостей.

Идет обновление, ядер, userland и конкретных приложений. Поскольку почти все работает под NixOS, то агенту доверять не страшно. Если что-то сломается - загрузим прошлый образ системы.

А то понаслушаешься рассказов компаний о том, как их ломать пытаются, и становится тоскливо. Поэтому и запустил все с таким промптом:

I'm a bit of scared of recent hack stories from the companies (see latest conversations in the brain). Review our serves (the ones linked via bitgn_platform and fleet control centers) to see if there are any big internet facing vulnerabilities that we should patch really fast.

Give me a priority list of top 3


ну и дальше по списку. Нашел только CVE-2026-97032 (не страшно, но неприятно - сервера можно перезагружать удаленно) и мелочи в NPM стэке, который давно не обновлял.

Вот сейчас пофиксил все и попросил автоматически сделать аудит через пару недель и написать в TG, если что-то новое всплывет.

Ваш, @llm_under_hood 🤗
👁 4.8 тыс. 👍 24😁 2 💬 26 ↻ 66 19 ноября
LLM под капотом tg30 тыс. подписчиков
Открыть пост ↗
На этой неделе я сделал прикольную штуку

Нужно было проанализировать большой объем текстовых данных о компании (32GB) с точки зрения очень дорогих консультантов. На входе текст вперемешку с JSON, на выходе - комплексный анализ состояния компании, ужатый в небольшой отчет.

Процесс анализа - собираем небольшой пайплайн из агентов с подключением к общему мозгу проекта. Агенты запускаются последовательно - каждый отвечает за свой шаг.

Первые шаги делались Fable 5.2 в режиме исследования - “а найди мне лучшие практики того, как вот компания такого типа должна работать, дистиллируй в отчет со ссылками на кейсы и исследования”. Последующие шаги - агенты под Codex прочесывали весь массив информации для сбора кейсов, строили карту процессов компании, анализировали разрывы (gap analysis) между идеальным построением процесса и реальным, а на основе этого выкатывали приоритизированный отчет для executives с тем, что нужно править в первую очередь и почему.

Все эти агенты грузили в самое начало контекстного окна - моего Марка и контекст происходящего в целом (своего рода загрузка ядра из моего Company Brain), а потом уже уходили в задачу.

Входных данных было 32GB, что не влезет ни в один контекст. Поэтому я сделал оптимизированный формат представления данных и по принципу старого доброго Map Reduce раскидал работу между агентами. Данные хранились в company brain в файловом режиме (a la control center/personal OS) с progressive disclosure и docs/tools/tree.py, outline.py. Ну и еще для координации работы и передачи контекста между агентами добавил новый инструмент для работы с тикетами. В итоге система завела внутри себя более 30k тикетов и проработала в сумме более суток.

В процессе отладки и сам пайплайн и структуру его мышления приходилось допиливать напильником под приоритеты executives, которые отчет читать будут. А для этого, пришлось перестроить сам процесс анализа процессов так, чтобы было понятно, как его вообще оптимизировать (поэтому для векторов и аналогичных черных ящиков тут места не было - только oldschool в виде тикетов, читаемых и перекладываемых текстовых файлов).

Это все база, которую можно свести самостоятельно, если отслеживать публичные рассказы и видео топовых компаний (от OpenAI/Anthropic до разных внедренцев), дистиллировать агентами в свою базу знаний и получившийся рычаг уже прикладывать к текущей работе.

И все это затеялось ради того, чтобы выдать один небольшой отчет людям. Смотрим, что будет дальше.

Но пока вывод машины сводится к этому:

С точки зрения дорогих консультантов, вот то, что в компании надо делать в первую очередь (детализация почему и ссылки на исходники прилагаются). Но как машина, которой приходится работать с людьми, я бы посоветовала разослать вот этот маленький список вопросов вот этим людям в первую очередь, собрать их ответы и загрузить в меня


И вот смотрю я на весь этот комбайн и понимаю, что ведь можно было прогонять весь этот массив данных не через одного агента с одной перспективой (дорогой консультант в предметной области), а через несколько разноплановых и не менее дорогих консультантов - самого понимающего в мире HR-а, самого параноидального безопасника, топового специалиста по операционке итп. Бери себе лучшие книги и исследования, дистиллируй в методологии анализа и прогоняй.

Как я уже говорил, методологии всего этого можно сформировать под себя, если натравить ChatGPT/Claude на последние статьи/видео импонирующих компаний и попросить все систематизировать. Все есть публично.

От возможностей захватывает дух!

Ваш, @llm_under_hood 🤗
👁 5.2 тыс. ❤ 34👍 17🔥 10 💬 25 ↻ 132 19 ноября