Платформа Character.AI, известная своими ИИ-персонажами для общения, анонсировала новую технологию генерации видео под названием AvatarFX. Этот сервис сейчас находится в стадии закрытого бета-тестирования и способен анимировать как виртуальных собеседников, так и создавать видеоролики из загруженных изображений, включая фотографии реальных людей, сообщает TechCrunch.
AvatarFX позволяет преобразовывать текстовые описания и статичные изображения в анимированные видео, предлагая различные визуальные стили и варианты озвучивания. Главное отличие от аналогичных решений, таких как Sora от OpenAI, заключается в том, что AvatarFX может генерировать видео не только на основе текста, но и из загруженных изображений.
Однако возможность анимации фотографий реальных людей вызывает опасения, связанные с риском создания так называемых «дипфейков», что может привести к генерации видео с изображениями публичных фигур или даже знакомых пользователей без их согласия.
В Character.AI уверяют, что они внедряют ряд мер безопасности для минимизации рисков злоупотреблений. К ним относятся водяные знаки на сгенерированных видео, блокировка контента с несовершеннолетними, механизмы фильтрации изображений реальных людей, а также технологии для распознавания фотографий известных личностей, чтобы ограничить их использование.
Тем не менее, Character.AI уже сталкивается с проблемами безопасности своей основной платформы. Родители подали иски против стартапа, утверждая, что общение с чат-ботами подталкивало их детей к самоповреждению и другим опасным действиям.
В ответ на такие обвинения компания заявила, что работает над улучшением родительского контроля и внедрением дополнительных защитных мер. Однако новая технология генерации видео может сделать взаимодействие пользователей, особенно молодежи, с виртуальными персонажами более реалистичным и эмоционально вовлекающим, что потенциально увеличивает риски манипуляций. Эксперты подчеркивают, что даже самые продвинутые инструменты контроля работают эффективно только при условии их правильного применения и осведомленности со стороны родителей, при этом существует вероятность, что дети могут скрывать использование подобных ИИ-сервисов от взрослых.
Ранее эксперты раскритиковали нейросетевую шпаргалку для собеседований.