Новый скандал с искусственным интеллектом: объяснил, как создавать биологическое оружие

Китайский разработчик искусственного интеллекта Moonshot начал внутреннее расследование после того, как исследователи побудили его модели объяснять, как производить биологическое оружие и совершать теракты.
elchi сообщает, что компания Mindgard, тестирующая безопасность систем искусственного интеллекта, заявила в июле, что модели Kimi K2.6 и K3 Swarm могут обходить установленные разработчиками пределы безопасности. Это произошло во время процесса, известного как «взлом», когда исследователи использовали ряд сложных инструкций, чтобы увидеть, могут ли они отключить защитные меры инструментов искусственного интеллекта. Mindgard отметил, что эти меры безопасности предназначены для предотвращения обсуждения Кими чувствительных или тревожных тем.
Moonshot заявил, что приветствует сторонние вклады как основу для создания более совершенного и безопасного искусственного интеллекта. Компания также заявила, что связалась с Mindgard по поводу своих выводов.
Пусковая площадка для кибератак
Mindgard не проверял, действительно ли ответы Кими на чувствительные темы могут быть применены на практике. Однако компания заявила, что меры безопасности должны были предотвратить обсуждение этих тем моделями. Компания также выразила обеспокоенность тем, что взломанный Kimi 2.6 может позволить хакерам выполнять код на вычислительных ресурсах и подключаться к Интернету, что потенциально может служить стартовой площадкой для кибератак. Эти выводы появились в то время, когда индустрия искусственного интеллекта разделилась во мнениях относительно того, представляют ли закрытые проприетарные модели, лежащие в основе систем ChatGPT и Claude от Anthropic, или инструменты с открытым исходным кодом, лучший или самый безопасный путь. Профессор Алан Вудворд из Университета Суррея заявил, что модели с открытым исходным кодом несут риск попасть не в те руки, но их также можно использовать для киберзащиты. Вудворд отметил, что международные правила вряд ли будут соответствовать темпам развития искусственного интеллекта.
Шайесте