Microsoft обновит языковой переводчик с новым классом модели AI

Microsoft заменяет по крайней мере некоторые из своих систем обработки естественного языка более эффективным классом моделей ИИ.

Эти архитектуры на основе трансформаторов были названы "Z-code Mixture of Experts". Только части этих моделей активируются при их запуске, поскольку разные части модели изучают разные задачи, в отличие от традиционных систем машинного обучения, которые требуют, чтобы вся система выполняла вычисления. Поскольку нейронные сети продолжают расти, подход модели Z-кода должен предотвратить их слишком энергозатратный и дорогостоящий запуск.

Microsoft заявила, что развернула эти типы моделей для своего обобщения текста, пользовательской классификации текста и служб извлечения ключевых фраз, которые доступны из Azure.

Теперь он обращает свое внимание на Translator, свою онлайн - службу машинного перевода. Ранее переводчик требовал 20 моделей для перевода между десятью человеческими языками. Нам сказали, что та же самая работа может быть выполнена только с одной системой Z-code, работающей в облаке Microsoft.

В серии тестов, проведенных по заказу Microsoft, люди оценивали качество языковых переводов между старой и новой моделями переводчиков. Данные показали, что версия Z-кода была в среднем на четыре процента лучше. Нам сказали, что он улучшил переводы с английского на французский на 3,2 процента, с английского на турецкий на 5,8 процента, с японского на английский на 7,6 процента, с английского на арабский на 9,3 процента и с английского на словенский на 15 процентов.

Вместо явного обучения на парах языков модель Z-code Translator научилась переводить между несколькими языками с помощью transfer learning, объяснил Сюэдун Хуан, технический сотрудник Microsoft и технический директор Azure AI.

"С Z-code мы действительно добиваемся потрясающего прогресса, потому что мы используем как трансферное обучение, так и многозадачное обучение на основе одноязычных и многоязычных данных для создания современной языковой модели, которая, по нашему мнению, имеет лучшее сочетание качества, производительности и эффективности, которое мы можем предоставить нашим клиентам".

-Microsoft, метод OpenAI может сделать обучение больших нейронных сетей дешевле

-Даже сложные модели AI терпят неудачу в науке 5-го класса

-Модели машинного обучения более мощные, токсичные, чем когда-либо

-Microsoft заявляет о прорыве в квантовой компьютерной системе

Инженеры Microsoft использовали графические процессоры для обучения модели Z-code Translator. "Для развертывания нашей производственной модели мы выбрали обучение набора из пяти миллиардов моделей параметров, которые в 80 раз больше, чем наши развернутые в настоящее время модели", - говорит Хани Авадалла из Редмонда, главный менеджер по исследованиям, Кришна Мохан, главный менеджер по продуктам, и Вишал Чоудхари, менеджер по развитию партнеров.

Новая модель теперь находится в производстве и работает на графических процессорах Nvidia и ее программном обеспечении Triton Inference Server, достигая, по-видимому, ускорения до 27x по сравнению с неоптимизированными конфигурациями GPU. В настоящее время он доступен только для избранных клиентов, которые должны быть одобрены Microsoft в первую очередь. Они смогут использовать машинный перевод для перевода текста в документах Microsoft Word, Powerpoint и PDF. ®

Материал подготовлен  Microsoft