Microsoft и NVIDIA представили крупнейшую в мире генеративную языковую ИИ-модель с 530 миллиардами параметров

Москва, 15 октября 2021 г. – Microsoft и NVIDIA объединили свои усилия для создания модели генерации естественного языка Megatron-Turing Natural Language Generation, которая содержит 530 миллиардов параметров. Это самая большая и самая мощная монолитная трансформаторная языковая модель, обученная на сегодняшний день.

MT-NLG имеет в 3 раза больше параметров по сравнению с существующей крупнейшей моделью такого типа и демонстрирует непревзойденную точность в широком наборе задач естественного языка, таких как:

-Предсказание завершения текста по смыслу;

-Понимание прочитанного;

-Генерация логических выводов;

-Создание заключений на естественном языке;

-Различение смысла слов с несколькими значениями.

Обучение столь мощной модели стало возможным благодаря многочисленным инновациям. Например, NVIDIA и Microsoft объединили современную инфраструктуру обучения на основе GPU с передовым программным стеком распределенного обучения. Были созданы базы данных естественного языка, включающие сотни миллиардов единиц контента, а также разработаны методы обучения для повышения эффективности и стабильности оптимизации.

Материал подготовлен  Microsoft