Компания Anthropic, занимающаяся искусственным интеллектом, предупредила, что растущая способность модели Claude писать собственный код свидетельствует о том, что системы вскоре могут выйти из-под контроля человека, что подчеркивает риск «рекурсивного самосовершенствования».
«Elchi» сообщает, что ведущая компания в области ИИ Anthropic предупредила о том, что новое поколение систем искусственного интеллекта обладает потенциалом развиваться вне человеческого контроля.
Согласно последним оценкам модели Claude, система уже способна писать более 80 процентов своего собственного кода. В начале прошлого года этот показатель был ниже 10 процентов.
Представители Anthropic заявили, что это быстрое изменение указывает на процесс, называемый «рекурсивным самосовершенствованием», который в будущем может привести к тому, что ИИ достигнет уровня, на котором сможет создавать своих преемников.
В записи в блоге, опубликованной исследователями компании Мариной Фаваро и Джеком Кларком, говорится, что эта тенденция может привести к значительным научным и технологическим прорывам в долгосрочной перспективе, но в то же время создать серьезные риски контроля.
В заявлении подчеркивалось, что процесс разработки ИИ уже частично передан самим системам искусственного интеллекта, что открывает путь к созданию моделей, способных совершенствоваться без вмешательства человека.
Компания предупредила, что если этот процесс будет продолжаться бесконтрольно, люди могут потерять контроль над системами ИИ, и заявила, что для обеспечения контролируемого развития следует рассмотреть возможность «замедления или остановки, если это необходимо».
Anthropic также отметила, что введение такого глобального замедления потребует совместных действий многих стран и основных лабораторий ИИ, что сделает этот процесс чрезвычайно сложным.
Призывы к остановке развития ИИ звучали и раньше: тысячи технических специалистов требовали аналогичного моратория в 2023 году. Однако эти призывы не привели к конкретной паузе.
Şayəstə