Anthropic допустила скорое наступление рекурсивного самоулучшения ИИ

Anthropic в обновлённой заявке на IPO предупредила, что может скоро подойти к рекурсивному самоулучшению ИИ. Компания добавила формулировки об этом в раздел рисков документа S-1/A, сообщает IT之家.

Рекурсивное самоулучшение (RSI) — этап, когда ИИ сам обучает себя настолько эффективно, что его возможности начинают расти взрывообразно. Одни видят в нём риск выхода технологии из-под контроля человека, другие — путь к резкому росту производительности и ускорению научных открытий. Anthropic называет его одновременно возможностью и угрозой.

В документе компания пишет, что уже использует ИИ в собственных разработках. По её словам, некоторые модели показывали скачок способностей, которого команда не замечала в момент работы. Anthropic допускает, что темп улучшений может опередить создание и проверку средств безопасности и контроля поведения моделей.

Компания отмечает, что ни одна из существующих моделей пока не перешла порог RSI. Оценка опирается на внутренние расчёты и ожидания от моделей следующего поколения. Anthropic обещает сохранять участие человека в разработке в обозримом будущем и рассматривает пересмотр «Политики ответственного масштабирования», чтобы передовые модели оставались под контролем людей.

В S-1/A есть и информационная, и рекламная функция, поэтому заявления о близком RSI скептики могут счесть рекламным ходом. При этом Claude за год заметно прибавил в программировании, математике и кибербезопасности.