В октябре interp-тусовка переругалась из-за эссе Neural Networks Are Already Clean. Автор утверждает, что нейроны внутри моделей вовсе не такие запутанные, как все думали, но многие не согласны. Проверить сложно: никто до конца не знает, какие признаки на самом деле есть внутри реальных моделей, а игрушечные датасеты слишком плоские — в признаках намного меньше иерархии, чем в настоящих данных 🎲
Наши любимые PrincInt (ex-PIBBSS) предложили подход в своей летней статье: генерировать синтетические датасеты с помощью критической перколяции.
На пороге фазового перехода перколяция дает фрактальные кластеры всех размеров, каждый из которых можно разбить на подкластеры поменьше. Похоже на то, как общие понятия в данных делятся на более частные. Только здесь устройство данных известно заранее, и можно честно проверить, находят ли его инструменты интерпретируемости 🔎
Теперь PrincInt ищет ресерчера как раз на это направление!
Вы будете создавать искусственные данные, которые похожи на настоящие, но устроены заранее известным образом. Затем — обучать на них модели. Из лучших датасетов соберут бенчмарки, на которых инструменты смогут проверять все, кто занимается интерпретируемостью.
Что нужно:
🌟 mech interp бэкграунд;
💡 PhD или сопоставимый исследовательский опыт в математике, физике, ML, нейробиологии, CS или теории сложных систем;
🐍 опыт научных вычислений на Python;
🗺 умение доносить сложное даже нетехнической аудитории;
📺 знание DL и опыт обучения моделей.
И пламенный интерес к AI Safety, конечно же!
Хорошо, если у вас есть что-то из этого: опыт ведения исследовательского направления и менторства, публикации в ML или других точных науках, а также знание статфизики (особенно перколяции и ренормализации), коалесцентных процессов, комбинаторики, теории сетей и графов, фракталов, законов масштабирования или когнитивистики.
Удаленка, но приоритет тем, кто готов основательно тусить в Лондоне / Bay Area 🧋
Есть визовое спонсорство, бюджет на страховку и ништяки, команду ведет PhD по астрофизике и ex-постдок NASA 🐌 Платят $125k-170k.
Не откладывайте в долгий ящик, осталось дней десять: @heyyyanna 🦙