Китайская компания Alibaba представила новый инновационный метод, который значительно снижает затраты на обучение больших языковых моделей (LLM). Эта технология, названная ZeroSearch, по заявлению компании, позволяет уменьшить расходы на сбор данных до 88% по сравнению с классическими методами, использующими внешние поисковые сервисы, сообщает South China Morning Post (SCMP).
Обучение мощных моделей искусственного интеллекта требует значительных ресурсов, включая производительное оборудование, большие объемы данных и немалые финансовые вложения. Одним из самых затратных этапов является сбор и подготовка обучающих наборов данных, что часто связано с использованием поисковых систем.
Суть метода ZeroSearch заключается в том, что генерация данных для обучения новых моделей осуществляется с помощью уже существующих, хорошо обученных LLM компании. Эти модели эффективно имитируют процесс поиска и сбора информации, при этом работают внутри системы и не требуют дополнительных затрат на доступ к сторонним API или внешней поисковой инфраструктуре.
Экономический эффект от нового подхода впечатляющий. Например, обработка 64 000 запросов через стандартный поисковый API обходится разработчикам примерно в $586,70. В то же время использование внутренней ИИ-модели с 14 миллиардами параметров для выполнения аналогичной задачи стоит всего $70,80. Таким образом, затраты на этом этапе снижаются более чем в восемь раз.
Разработчики уверены, что такой прорыв в снижении расходов сделает разработку и совершенствование ИИ-систем более доступным, особенно для небольших компаний и исследовательских групп с ограниченными бюджетами и недостаточной инфраструктурой. Alibaba уже активно использует гибридные методы, сочетая свои передовые модели семейства Qwen с традиционными технологиями поиска для повышения точности и актуальности ответов на сложные запросы пользователей.
Ранее Nvidia нашла способ обойти ограничения Трампа на поставки чипов в Китай. Каковы твои мысли по этому поводу?