Facebook разработал новую ИИ-платформу, которая сможет создавать более интеллектуальные NLP-модели, генерирующие точные ответы на вопросы без постоянного переобучения.
Обработка естественного языка (NLP) — это одна из старейших задач, которые решаются с помощью искусственного интеллекта. В рамках ее исследования уже было пройден долгий путь и созданы различные модели, которые можно настраивать для выполнения множества частных задач, включая анализ медицинских текстов или ответы на запросы клиентов.
По словам Facebook, сегодня самая большая проблема в NLP заключается в создании модели, которая может исследовать и контекстуализировать то, что она «слышит» и «читает». На этой неделе компания объявила, что добилась «существенного прогресса» в этой области с помощью своей новой архитектуры Retrieval Augmented Generation (RAG), которая выпускается как программное обеспечение с открытым исходным кодом в виде элемента библиотеки обученных моделей Hugging Face.
Архитектура RAG — это, по сути, своего рода экстрактор знаний, который может генерировать ответы на поставленные перед ним вопросы, просто читая документы, доступные в интернете. Исследователи Facebook заявили, что она может делать это, даже если прочитанные документы, не содержат дословного ответа, а только подсказки к нему.
Ответы RAG по различным темам также показали, что она смогла скорректировать свои ответы на основе нового набора данных. По словам исследователей Facebook, эта возможность будет неоценимой для таких ИИ-приложений, которым нужно иметь доступ к огромным объемам информации и при этом определять, какая информация является правильной.
Это является проблемой для существующих обученных моделей, поскольку они требуют постоянного переобучения, чтобы оставаться актуальными, тогда как с помощью RAG можно создавать более адаптивные NLP-модели, которые могут пропустить этап переобучения, просто получив доступ и анализируя более свежую информацию.
Источник: robogeek.ru
