Платформа Character.AI, знаменитая своими ИИ-персонажами для общения, анонсировала новую технологию генерации видео под названием AvatarFX. Этот сервис, который сейчас находится на этапе закрытого бета-тестирования, умеет анимировать виртуальных собеседников (в том числе реалистичных людей и 2D-анимацию) и создавать видео на основе загруженных изображений, включая фотографии реальных людей, как сообщает TechCrunch.
Технология AvatarFX позволяет превращать текстовые описания и статичные изображения в анимированные видеоролики с различными визуальными стилями и озвучиванием. Одним из главных отличий от аналогичных решений, например, Sora от OpenAI, является возможность создания видео не только по тексту, но и по загруженным изображениям.
Тем не менее, анимация фотографий реальных людей вызывает опасения по поводу возможного создания так называемых «дипфейков». Это дает возможность генерировать видео с изображениями публичных личностей или знакомых пользователей без их согласия.
В Character.AI утверждают, что они внедрили ряд мер безопасности для минимизации рисков злоупотреблений. Среди них — водяные знаки на сгенерированных видео, блокировка контента с несовершеннолетними, механизмы фильтрации изображений, которые уменьшают их узнаваемость, а также ограничение использования фотографий известных личностей и политиков.
Однако Character.AI уже сталкивается с вызовами в области безопасности основной платформы. Родители подали иски, утверждая, что общение с чат-ботами сервиса побуждало их детей к самоповреждению и другим опасным действиям.
Компания отвечает на эти обвинения, работая над улучшением родительского контроля и внедрением дополнительных защитных механизмов. Тем не менее, появление технологии генерации видео может сделать взаимодействие пользователей, особенно молодежи, с виртуальными персонажами еще более реалистичным и эмоционально вовлекающим, что потенциально увеличивает риски манипуляций. Эксперты подчеркивают, что даже самые продвинутые инструменты контроля работают эффективно только при правильном использовании и осведомленности взрослых, при этом существует вероятность, что дети могут скрывать использование таких ИИ-сервисов от родителей.
Ранее специалисты раскритиковали нейросетевую шпаргалку для собеседований.
Как вы думаете об этой ситуации?