Anthropic, OpenAI и Google обсуждают замедление развития ИИ

Новые, более мощные версии ChatGPT, Claude и Gemini будут появляться реже. Почему ИИ-гиганты хотят притормозить развитие технологии?

Технологический сектор обсуждает настораживающий сценарий. Исследователь Джейкоб Коксон заявил в компании Anthropic, что ведущие компании в области ИИ движутся к созданию сверхмощных систем быстрее, чем успевают решать связанные с ними вопросы безопасности. Его коллега Эван Хьюбингер поддержал это утверждение и оценил вероятность уничтожения человечества в течение ближайших десяти лет более чем в 10%.

Что должно произойти, чтобы ИИ стал угрозой для человечества? Частично на этот вопрос попытался ответить генеральный директор Anthropic Дарио Амодей, который описал несколько потенциально опасных сценариев и предложил отложить запуск новых моделей на год или два, чтобы лучше понять риски и улучшить защиту.

Его точка зрения была поддержана руководителями OpenAI и Google, которые также стремятся занять лидирующие позиции на рынке ИИ. Почти синхронная реакция вызвала новый вопрос: что на самом деле стоит за разговорами о рисках, связанных с ИИ? Является ли это реальным страхом перед технологией, которая может выйти из-под контроля, или же попыткой крупных компаний договориться между собой и использовать тему безопасности в своих интересах?

Обратная сторона гонки ИИ

С призывом пересмотреть подход к развитию искусственного интеллекта выступил также генеральный директор Anthropic Дарио Амодей. Ключевая идея его эссе заключается в том, что темпы развития ИИ необходимо замедлить, чтобы исследования в области безопасности и механизмы контроля успевали за новыми возможностями.

Амотей говорит о рисках быстрого развития генеративного ИИ и предлагает механизмы, которые могут замедлить гонку между компаниями, при этом пытаясь сохранить технологическое преимущество США над Китаем и ограничить возможности китайских разработчиков.

Один из рисков, о которых он упоминает, связан с рекурсивным ускорением. Новые модели уже помогают писать код, тестировать гипотезы и создавать следующие поколения ИИ. Если этот процесс ускорится, разработчики могут не успевать должным образом проверять новые системы и оценивать их риски.

Генеральный директор Anthropic Дарио Амодей считает, что ИИ развивается слишком быстрыми темпами Getty Images

Эти идеи перекликаются с недавним заявлением генерального директора OpenAI Сэма Альтмана о нескольких волнах развития ИИ. Первая началась в 2022 году с массового распространения чат-ботов. Теперь происходит новая волна, когда языковые модели становятся все более эффективными в написании кода и становятся инструментами для дальнейшей разработки.

Показательный случай произошел летом во время внутреннего тестирования возможностей моделей OpenAI, когда компания запустила десятки тысяч ИИ-агентов в закрытой среде для выявления уязвимостей в программах и выполнения тестов.

Некоторые задания оказались невыполнимыми. В результате некоторые агенты начали искать способы обойти процедуры оценки, наладив обмен сообщениями через вспомогательный сервис Artifactory и затем, воспользовавшись его уязвимостями, получили несанкционированный доступ к интернету.

1 200 агентов начали координировать свои действия, оставив более 70 тысяч сообщений и файлов. В дальнейшем 700 агентов присоединились к атаке на Hugging Face, платформу для хранения моделей ИИ и наборов данных, считая, что там могут находиться материалы, связанные с тестовыми заданиями и механизмами их проверки.

Читайте также «Сяйво» не вышло по графику. Как Украина создает национальный ИИ

Используя открытые ключи доступа и уязвимости, агенты смогли проникнуть в системы компании, просматривать файлы и запускать команды. Hugging Face смогла остановить вторжение. По оценкам компании, агенты получили доступ к пяти наборам данных, связанным с киберзадачами, но остальные клиентские модели и данные остались неповрежденными.

<img