что-то на DL-ском

Буду на нипс в Париже со статьей (статьей икс 3). Пишите че как – сконтачимся на social💅

В чем прикол статьи (1/3), которая родилась из моей идеи. Когда-то у меня была команда персонализации LLM-ов и с того момента я никак не могу оставить эту точку интереса в прошлом. Мне постоянно хочется добавить где-то в агентов что-то персональное | заставить модель удивить пользователя. На мой взгляд это в корне отсутствует сейчас в рексисе/персонализации/в чем угодно. По сути все, что мы делаем это используем тему + коллаборативный сигнал. Это ок, но вау эффекта как будто не даст, в котором модель угадает что вы хотите за вас + на мой взгляд это могло бы быть частью формализации задачи искоренения нейрослопа, но эта немного другая тема

Наша статья делает проверку того, будет ли метрика классификации выше на предсказании категории новости для вас при видении вашей истории в сравнение с историей очень похожего пользователя. Почему это важно? В основном я видела, что проверяют персонализацию заменой истории целиком, но вместе с ней меняется и топик, поэтому мы не можем сказать с уверенностью, что дело тут именно в эффекте персонализации. Меряем мы все это дело на эмбедингах, которые передаются через префиксы или кросс-аттеншен в модельку

Почему?
💛в основном уже давно используют подобные подходы, из-за выигрыша контекста
💛это похоже на тот подход, который является ключевым сейчас в рексисе с их semantic ids подходами (иерархические латенты)

Бонусом мы еще проверяем на сколько глубоко стоит зашивать эмбеды пользователя в ллм

Эффект получили ожидаемый, что все в основном зависит от топика. Что это дает? Ну во-первых если хочется запилить в модель персонализацию, может вам хватать сжатых тегов, чтобы чисто задать фон ✨вайба✨ пользователя. Во-вторых, это дает сигнал для дальнейших экспериментов, как в целом можно учить модель на глубинную персонализацию, а не только запоминание фактов о вас. В моем видении это должно находиться на стадии RL-я с четким сигналом отличия вас от похожих пользователей

Еще мы везем 2 статьи на темы:
💛Мониторинги очень распространены сейчас за счет харнесов, которые работают днями напролет. Помереть можно если не перепроверять действия агента. Но подбирают их в основном по AUROC, которая по сути показывает, насколько хорошо мы отделяем опасные траектории от безопасных. А в проде нужен порог срабатывания, и в статье мы проверяем, переносится ли он между задачами. Спойлер порог стоило бы переподбирать для каждой новой задачи. И вообще мониторы на хидденах сомнительная штука, линейные мониторы и j space мониторы в реальности детектируют обычно не то, что мы хотим

💛Представьте у вас есть голова поверх замороженного энкодера, обученная на дорогущих лабораторных замерах. Выходит энкодер получше, переезжать хочется, а размечать заново никто не даст. Можно прогнать оба энкодера на небольшом наборе неразмеченных последовательностей, выучить между ними линейный мостик и оставить голову как есть. Вопрос, какие последовательности брать в этот набор.
Почему это важно? Обычно думают, что хватит набрать побольше и похожих. Но оказывается, что роляет где именно будет стоять мутация у кандидатов. На мой взгляд, это история не только про белки. При любой замене на эмбеддинг модели замороженной головы калибровать надо на тех направлениях, где голову реально будут использовать