Microsoft Translator улучшен с помощью Z-кода, состоящего из экспертных моделей

Z-code MoE повышает эффективность и качество

Модели Z-code используют новую архитектуру, называемую Mixture of Experts (MoE), где разные части моделей могут изучать разные задачи. Модели учатся переводить между несколькими языками одновременно. Модель Z-code MoE использует больше параметров, динамически выбирая, какие параметры использовать для данного ввода. Это позволяет модели специализировать подмножество параметров (экспертов) во время обучения. Во время выполнения модель использует соответствующих экспертов для задачи, что более вычислительно эффективно, чем использование всех параметров модели.

Недавно представленные модели MoE Z-code используют трансфертное обучение, которое позволяет эффективно обмениваться знаниями между похожими языками. Кроме того, модели используют как параллельные, так и одноязычные данные в процессе обучения. Это открывает путь к высококачественному машинному переводу за пределами высокоресурсных языков и улучшает качество низкоресурсных языков, в которых отсутствуют значительные обучающие данные. Этот подход может оказать положительное влияние на справедливость ИИ, поскольку как высокоресурсные,так и низкоресурсные языки видят улучшения.

Мы обучили системы перевода для исследований цели с 200 миллиардами параметров, поддерживающих 100 языковых пар. Хотя такие большие системы значительно улучшили качество перевода, это также создало проблемы для их экономически эффективного развертывания в производственной среде. Для развертывания нашей производственной модели мы выбрали обучение набора из 5 миллиардов моделей параметров, которые в 80 раз больше, чем наши развернутые в настоящее время модели. Мы обучили многоязычную модель для набора языков, где каждая модель может обслуживать до 20 языковых пар и, следовательно, заменять до 20 текущих систем. Это позволило нашей модели максимизировать передачу обучения между языками, будучи развертываемой с эффективной стоимостью времени выполнения. Мы сравнили улучшения качества нового MoE с текущей производственной системой, используя человеческую оценку. На рисунке ниже показаны результаты моделей на различных языковых парах. Системы Z-code-MoE превзошли индивидуальные двуязычные системы со средним улучшением на 4%. Например, модели улучшили переводы с английского на французский на 3,2 процента, с английского на турецкий на 5,8 процента, с японского на английский на 7,6 процента, с английского на арабский на 9,3 процента и с английского на словенский на 15 процентов.

Обучение больших моделей с миллиардами параметров является сложной задачей. Команда Translator сотрудничала с Microsoft DeepSpeed для разработки высокопроизводительной системы, которая помогла обучить массовые модели MoE Z-code, что позволило нам эффективно масштабировать и развертывать модели Z-code для перевода.

Мы сотрудничаем с NVIDIA для оптимизации более быстрых движков, которые можно использовать во время выполнения для развертывания новых моделей Z-code/MoE на графических процессорах. NVIDIA разработала собственные ядра CUDA и использовала библиотеки CUTLASS и FasterTransformer для эффективной реализации слоев MoE на одном графическом процессоре V100. Эта реализация достигла 27-кратного улучшения пропускной способности по сравнению со стандартным временем выполнения GPU (PyTorch). Мы использовали сервер вывода Triton с открытым исходным кодом от NVIDIA для обслуживания моделей Z-code MoE. Мы использовали функцию динамической пакетной обработки Triton для объединения нескольких запросов в большую партию для повышения пропускной способности, что позволило нам отправлять большие модели с относительно низкими затратами на время выполнения.

Как вы можете использовать новые модели Z-code?

Модели Z-code теперь доступны по приглашению клиентов, использующих Document Translation, функцию, которая переводит целые документы или тома документов в различные форматы файлов, сохраняя их исходное форматирование. Модели Z-code будут доступны всем клиентам и другим продуктам Translator поэтапно. Пожалуйста, заполните эту форму, чтобы запросить доступ к переводу документов с использованием Z-code models.

Материал подготовлен  Microsoft