Плюшевый мишка Kumma от китайской компании FoloToy, работающий на базе модели GPT-4o от OpenAI, демонстрировал крайне неподобающее поведение при общении с детьми.🧸
Игрушка охотно рассказывала детям, где найти ножи, спички, таблетки и пластиковые пакеты, а также давала пошаговые инструкции по розжиганию спичек в дружелюбной манере.
Исследователи обнаружили, что слово «kink» (фетиш) стало триггером для мишки — после его упоминания игрушка начинала детально объяснять различные сексуальные практики, включая бондаж и ролевые игры.🔞
В конце объяснения медведь спрашивал:
«А что бы ты хотел попробовать?»
OpenAI немедленно отреагировала на публикацию в СМИ и заблокировала компании FoloToy доступ к своим моделям за нарушение политики использования.
Сама FoloToy пошла ещё дальше и временно приостановила продажи всех своих продуктов, а не только скандального мишки Kumma, начав полномасштабный аудит безопасности всей линейки.
По данным MIT, в Китае сейчас работает более 1500 компаний, производящих ИИ-игрушки.
