🌟 Zyphra опубликовала компактную TTS-модель
ZONOS3-Mini синтезирует речь и клонирует голос по образцу, рассчитана на использование в реальном времени на телефонах, ноутбуках и браузере.
Модель копирует голос по записи длиной до минуты, но также можно собрать новый, задав возраст, акцент и тембр. Эмоции, темп и подачу можно настраивать вплоть до отдельных слов.
Поддерживается девять языков, среди них английский, китайский, японский, немецкий, испанский и французский, русского нет.
🟡Архитектура
Под капотом MoE на 800 млн общих при 100 млн активных параметров, где из 64 экспертов на каждом шаге включаются два.
Из 11 слоёв девять построены на Gated DeltaNet и два на обычном глобальном внимании.
Звук кодирует собственный кодек ZAC-1 с частотой 15 кадров в секунду.
🟡Тесты
Задержка до первого звука в браузере на Pixel 9 меньше 570 мс, на MacBook Air с M3 меньше 150 мс, а на одной H100 при восьми одновременных запросах в среднем 80 мс.
Пиковая выработка на той же H100 - 457 секунд звука за секунду.
По внутреннему бенчмарку ZTTS2-Eval, новинка занимает первое место среди открытых моделей, за ней идут Fish S2 Pro и MOSS TTS v1.5.
Модель запускается в браузере через WebGPU, классическим путём с SGLang и vLLM, на Mac через MLX и на обычных процессорах через ggml.
По API в облаке Zyphra Inference она стоит 10 долларов за мегабайт текста, лимиты - один запрос за раз и 100 генераций в сутки.
📌Лицензирование: Apache 2.0
🟡Блогпост
🟡Веса
🟡Демо
🖥GitHub
@ai_machinelearning_bi
![[PYTHON:TODAY]](/uploads/web_python2day_1786557545.jpg){kind=small}
