Компания Microsoft значительно улучшила возможности своего ИИ-помощника Copilot, включив в него функцию Copilot Vision. Эта новая функция позволяет пользователям бесплатно сканировать и анализировать содержимое веб-страниц прямо в браузере Edge. Как сообщает The Verge, генеральный директор Microsoft AI Мустафа Сулейман поделился этой новостью в своем аккаунте на платформе Bluesky.
Copilot Vision дает пользователям возможность взаимодействовать с ИИ через так называемый «разговорный интерфейс». Это предоставляет возможность задавать вопросы голосом и получать ответы, основанные на визуальной информации, отображаемой на экране.
По словам Сулеймана, соглашающийся на активацию этой функции пользователь получает возможность иметь ИИ, который «буквально видит то, что у него на экране». Среди предложенных применений — помощь в приготовлении блюд по рецепту или анализ вакансии для подготовки к собеседованию и написанию сопроводительного письма. При этом, как подчеркивается на странице поддержки Microsoft, Copilot Vision может выделять важные части экрана для облегчения поиска нужной информации, однако он не выполняет действий за пользователя, таких как нажатие на ссылки.
Расширенные и более глубокие функции Copilot Vision доступны только для подписчиков Copilot Pro. Эта подписка позволяет использовать Vision не только в Edge, но и в других приложениях, таких как Photoshop, программы для видеомонтажа, а также дает подсказки в играх, включая Minecraft.
Microsoft также отмечает, что они фиксируют ответы Copilot, однако не сохраняют пользовательские запросы, изображения или содержимое страниц при использовании Copilot Vision. Пользователь может прекратить доступ к экрану для Copilot, завершив сеанс или закрыв браузер.
Ранее в WhatsApp была добавлена новая функция, основанная на ИИ.