Несмотря на впечатляющие достижения, крупные языковые модели, такие как ChatGPT, по-прежнему подвержены ошибкам и могут уверенно предоставлять как правильные, так и заведомо неверные ответы. Основная проблема заключается в неопределенности, с которой работают эти модели. Однако швейцарские исследователи разработали метод, позволяющий снизить этот уровень неопределенности. Они представили способ «подпитки» ИИ дополнительной релевантной информацией, что повышает точность ответов. Препринт их работы доступен на портале arxiv.
Алгоритм сосредоточен на выборе данных, которые наиболее эффективно дополняют запрос, а не просто повторяют известную информацию. Это достигается через анализ векторов смысловой связи слов в многомерном пространстве: чем ближе направления векторов, тем сильнее их корреляция. В отличие от традиционного метода «ближайшего соседа», SIFT выбирает разносторонние, но взаимодополняющие сведения.
Например, отвечая на вопрос «Сколько лет Роджеру Федереру и сколько у него детей?», традиционная модель может застрять на дате рождения, упуская информацию о детях. В то же время SIFT способен извлечь как возраст, так и данные о семье, связывая оба аспекта.
Этот подход не только улучшает качество ответов, но и снижает избыточность информации, что уменьшает нагрузку на систему. SIFT способен адаптировать объем вычислений в зависимости от сложности вопроса, что позволяет создавать надежные модели с меньшими ресурсными затратами. В ходе тестов исследователи достигли производительности, превосходящей лучшие ИИ, при этом их модель была в 40 раз компактнее.
Исследователи отмечают, что SIFT может быть применен и для анализа данных, например, для выявления ключевых лабораторных показателей для диагностики. Это открывает новые возможности в таких областях, как медицина, наука и бизнес.
Ранее ученые обсуждали возможности поиска свидетельств существования инопланетной жизни. Как ты считаешь, насколько это важно?