Top.Mail.Ru
Разработка
ML/DS
Главное вовремя остановиться: как получить контроль над паузами в генерации речи с ЛЛМ
4 октября
12.20-12.50
Green 5. ML & AI & Безопасность

- Задача контроля пауз: дополнительный инструмент тонкой настройки для клиента, когда "все хорошо, но вот тут бы перерыв добавить между словами и все"

- Выбор метода решения задачи: обучение на токен или изменения в архитектуре

- Почему лучший вариант это разметить открытые данные самим

- Методы разметки, модели и обработка данных: Среди открытых моделей выбран Wav2Vec golos, на вручную размеченных данных показавший лучший результат именно по времени между словами

- Подбор длин пауз в зависимости от восприятия паузы на слух и количества данных с той или иной длиной

- Дообучение на задачу, подбор параметров

- Результаты, примеры аудио, и среднее значение паузы нужном диапазоне на всем тестовом сете при наличии разметки

Может заинтересовать
#похожие доклады