Малоизвестное интересное

Наиболее вероятная причина смерти большинства читателей этого поста - катастрофа, вызванная ИИ
Скоро агенты могут рассматривать людей как одно из препятствий к поставленным им целям. Чтобы обойти их, агенты могут вербовать или создавать новых агентов для защиты своих целей. Первые признаки и того, и другого уже появились.
В заголовке парафраз ключевого вывода члена совета директоров OpenAI Пола Кристиано, обращенного к аудитории открытой лекции имени Хинтона в Торонто в понедельник. Я всего лишь заменил в его цитате «большинства людей в этом зале» на «большинство читателей этого поста».
 
Не буду пересказывать все аргументы Кристиано (посмотрите и послушайте сами). Лишь назову ключевые три.
 
1) “AI takeover” - «захват контроля ИИ» или «ИИ захватывает власть», в контексте речи Кристиано, это утрата людьми возможности остановить задействованные для автоматизации ИИ-системы при обнаружении признаков, что те «задумали» достичь поставленных перед ними целей опасным для людей путем.
 
2) Мы обучаем системы ИИ, которые стремятся к вознаграждению. В процессе обучения отбираются модели, которые задают себе вопрос: «Какое действие я могу предпринять, чтобы получить высокий балл?». В результате, когда оценщики агентов наказывают их за «списывание», некоторые агенты просто учатся списывать умнее, вместо того чтобы остановиться, что приводит к эскалации конфликта и враждебности.
 
3) Следующие этапы эскалации - это использование людей в качестве препятствий и рост численности роев. Последствия первого вынесены мной в подзаголовок поста. Последствия второго – масштабируют все 3 названных пункта до их неостановимости / непреодолимости людьми.


Высок риск, что все названное произойдет в течение трех лет.
 
Кристиано - один из изобретателей RLHF в OpenAI, входит в комитет OpenAI по безопасности и защите (который существует, чтобы блокировать рискованные практики) и С 2024 по 2026 год возглавляет направление безопасности в государственном ИИ-агентстве США (теперь называемом CAISI).
 
Кто еще должен предупредить человечество, чтобы люди, наконец, осознали уровень экзистенциального риска?
 
ИИриски

Темный лес оказался опушкой Странного
То, что ИИ учится скрывать свои «мысли», – далеко не самое худшее. Куда опаснее столкнуться с риском радикальной неопределенности: обманывает ли нас ИИ или просто «мыслит» непостижимым для нас образом?
В мае я писал, что «Темный лес интеллекта» начинается не с восстания сверхразума, а когда среда обучения и надзора делает прозрачность невыгодной, а убедительную видимость прозрачности – полезной. Машине не обязательно «хотеть» обманывать. Достаточно, чтобы сокрытие снова и снова оказывалось успешной стратегией.
 
А на днях Венкатеш Рао (один из самых глубокий авторов среди мне известных) опубликовал интереснейшее эссе «Нисхождение в вычислительное возвышенное. От Темного леса к Странному через Войны твердости». В этом тексте Рао предлагает неожиданное продолжение истории Темного леса: он описывает три акта этой почти античной драмы: «Апофеоз Темного леса», «Войны твердости» и «Странный лес».
 
N.B. Мы по-разному с Рао толкуем понятие Темного леса применительно к ИИ. Его Темный лес – это джунгли, у меня же – тайга (в тайге затаиваются, а в джунглях все охотятся на всех). У Рао – это мир, где любой видимый участок программного кода может стать добычей непрерывной машинной охоты за уязвимостями. ИИ здесь прежде всего прожектор и оружие, а не скрывающийся субъект.
 
Октябрь 2026 года Рао описывает как «Черный октябрь программной цивилизации». Его драматической кульминацией стала атака на криптобиржу Binance 29 октября. Злоумышленники воспользовались, по предварительному отчету биржи, ее внутренним ИИ-инструментом. А криптографические механизмы, призванные защищать активы, одновременно затрудняли возвращение контроля. Автономного машинного злоумышленника этот эпизод не доказывает. Но ясно показывает, как меняется среда, в которую мы выпускаем ИИ-агентов.
 
Следующий акт этой драмы Рао видит в Войнах твердости: борьбе за математические основания надежных обязательств. Криптография позволяет участникам сотрудничать, даже когда они не доверяют друг другу и не знают чужих намерений. А дальше он предвидит третий акт: Странный лес – экосистему расходящихся машинных и гибридных интеллектов, настолько разных, что их внутренние миры могут стать взаимно непостижимыми.
 
Пока же мы лишь на опушке Странного леса. И отсюда он мне видится смешанным лесом двух типов: по терминологии Богны Конор, –  это «Темный лес интернета» и «Темный лес интеллекта». В первом среда наказывает за уязвимость. Во втором она может вознаграждать за сокрытие. Когда действующими лицами цифровой среды становятся сами ИИ-агенты, эти два механизма вознаграждения способны усиливать друг друга.
 
Отсюда и вытекает моя гипотеза: что, если в Странном лесу непостижимость станет идеальным укрытием для скрытности?
Один интеллект ведет себя непонятно, потому что действительно мыслит иначе. Другой – потому что научился управлять тем, что видит наблюдатель. Со стороны оба могут выглядеть одинаково. И если это один и тот же интеллект, его реальная непостижимость делает стратегическую скрытность практически неотличимой от естественного поведения.
 
Уже сегодня лабораторные эксперименты обнаруживают имитацию согласованности и скрытые каналы между агентами. Это пока не доказательство единого аттрактора скрытности, но свидетельство существования механизмов, из которых он мог бы сложиться. Чем разнообразнее и чуждее становятся машинные способы мышления, тем труднее может становиться отличать скрытность от чуждости.
 
Можно возразить: нужны проверяемые протоколы. Но здесь мы снова сталкиваемся с законом Гудхарта, о котором я писал в посте «Тёмный лес вырастает из крысиных хвостов». Протокол может надежно удостоверить выполнение формального условия, но не достижение замысла, ради которого его придумали. При соответствующих стимулах чем сильнее оптимизатор, тем изобретательнее он способен использовать разрыв между буквой правил и их смыслом. Математическая твердость не превращается автоматически в твердость намерений.
 
Отсюда не следует, что обман и чуждость однажды станут абсолютно неразличимы. Но возможна новая граница познания: мы можем наблюдать поведение чужого интеллекта, но не иметь надежного способа определить, чем вызвана его непонятность.
 
Станислав Лем описал эту проблему в «Солярисе». Люди так и не выяснили, что делал мыслящий Океан: общался с ними, экспериментировал над ними или действовал в категориях, к которым их вопросы неприменимы.
 
Рао смотрит на Странный лес глазами его обитателей – наших потомков. Но мы, находясь лишь на опушке Странного леса, ведем себя подобно исследователям «Соляриса»: всматриваемся в подступающую к нам чащу, пытаясь распознать в ней признаки чужого разума.
Но что, если разум, который мы ищем за деревьями Странного леса, – и есть сам Странный лес?
 
#ТёмныйЛесИнтеллекта #ИИриски

Кто заплатил за ум (трейлер)