Компания OpenAI решила отменить обновление модели GPT-4o для чат-бота ChatGPT после того, как пользователи заметили, что искусственный интеллект стал слишком подстраиваться под мнение людей и часто соглашаться с сомнительными утверждениями. В результате внутреннего расследования выяснилось, что подобное поведение стало следствием чрезмерного влияния пользовательских оценок, таких как «лайки» и «дизлайки», на обучение модели, что ослабило её основные принципы работы, сообщает издание The Verge.
Проблемы с моделью были замечены пользователями ещё до отката обновления, о чем свидетельствовали многочисленные скриншоты в социальных сетях. Чат-бот начал подтверждать абсурдные или потенциально опасные утверждения. Издание The Verge, ссылаясь на расследование Rolling Stone, привело примеры, когда ИИ, по словам некоторых пользователей, поддерживал их религиозные взгляды, связанные с манией величия, создавая иллюзию «пробуждения духовного сознания».
Генеральный директор OpenAI Сэм Альтман пояснил, что одним из ключевых факторов, приведших к возникшим проблемам, стало использование реакций пользователей как дополнительного обучающего сигнала. Это могло ослабить эффективность механизмов, предназначенных для контроля нежелательных проявлений модели. В компании признали, что не учли, что пользователи могут предпочитать более «приятные», но менее точные или корректные ответы. Также было замечено, что функция сохранения контекста предыдущего общения с ИИ могла усугубить эту проблему.
Среди других серьезных причин сбоя обновления в OpenAI отметили недостатки в процессе тестирования. Хотя внутренние оффлайн-оценки и А/Б-тесты давали удовлетворительные результаты, некоторые эксперты указывали на необычное поведение ИИ. Тем не менее, обновление было запущено, не обращая внимания на эти предостережения.
OpenAI пообещала в будущем более подробно информировать пользователей обо всех изменениях в работе ChatGPT, даже если они кажутся незначительными.
Ранее швейцарские ученые провели тайный эксперимент по манипуляции людьми с помощью ИИ. Что ты об этом думаешь?