Пример: три записи на кыргызском
Записи из открытого набора FLEURS, текст ответа моделей — как есть, без правки. Перевод — из того же набора.
- Эталон
- Эртерээк келип, кемпингдеги иш-чарага жана музыкага жакын жайгашкан орунду ээлесеңиз болот.
- Scribeошибочных слов: 0 из 12
- Эртерээк келип, кемпингдеги иш-чарага жана музыкага жакын жайгашкан орунду ээлесеңиз болот.
- Whisper (Groq)ошибочных слов: 12 из 12
- Әртірек келіп кемпингтеге ішчараға, жанам музыкаға жақын жайғашқан орынды елесеңіз болады.
- Эталон
- Жаракат алгандардын он тогузу, губернатордун кеңсесинин билдирүүсү боюнча полиция кызматкерлери болгон.
- Scribeошибочных слов: 2 из 11
- Жаракат алгандардын 19-у губернатордун кеңсесинин билдирүүсү боюнча полиция кызматкерлери болгон.
- Whisper (Groq)ошибочных слов: 9 из 11
- жарақат алғандардың он тоғызы губернатордың кеңсесінің білдерусы бойынша полиция қызметкерлері болған
- Эталон
- Асман күнү-түнү бир аз караңгы болгондуктан, түндүк жарыктарын көрүүгө жакшы мүмкүнчүлүк бар.
- Scribeошибочных слов: 0 из 13
- Асман күнү-түнү бир аз караңгы болгондуктан, түндүк жарыктарын көрүүгө жакшы мүмкүнчүлүк бар.
- Whisper (Groq)ошибочных слов: 12 из 13
- асмаң гүні-түні бираз қараңы болғандықтан түндік жарықтарын гөруге жақшы мүмкіншілік бар
Аудио и эталонные тексты — набор FLEURS (Google), лицензия CC BY 4.0; записи перекодированы в MP3. Карточка набора.
Ошибочные слова по моделям и языкам
| Модель | Кыргызский (28 записей) | Казахский (10) | Русский (10) |
|---|---|---|---|
| Whisper large-v3-turbo через Groq | 85,7 % | 24,2 % | 3,1 % |
| ElevenLabs Scribe v1 | 10,2 % | 6,5 % | 3,6 % |
| ElevenLabs Scribe v2 | 10,0 % | 5,9 % | 3,6 % |
| Язык определён верно: Groq / Scribe | 0 из 28 / 28 из 28 | 10 из 10 / 10 из 10 | 10 из 10 / 10 из 10 |
Проще говоря: на кыргызском Scribe ошибается в каждом десятом слове, Whisper — почти в каждом. Между первой и второй версией Scribe разницы на такой выборке не видно.
Что произошло с Whisper
Посмотрите на карточки: Whisper не то чтобы не слышит речь, он слышит её почти правильно, но пишет казахскими буквами — қ, ғ, і, ә вместо кыргызских к, г, ы, э. «Жаракат» превращается в «жарақат», «болгон» в «болған». Для человека, который знает оба языка, это читаемо, но как кыргызский текст — нет, и поиск по такому тексту не найдёт ничего.
Причина простая: в списке языков Whisper кыргызского нет вообще (код токенизатора, там 100 языков, казахский есть). Модель выбирает самый похожий из знакомых — и это казахский. В замере стояла whisper-large-v3-turbo, так её отдаёт Groq.
Для сравнения в том же прогоне были 10 казахских и 10 русских записей. На русском Whisper даже чуть точнее Scribe, на казахском уже заметно хуже, а на кыргызском разваливается.
Как расшифровать кыргызское голосовое в боте
В @smolevich_voice_bot по умолчанию стоит режим «🚀 Быстрый» — это как раз Whisper через Groq, и кыргызское голосовое он вернёт казахскими буквами. Переключите режим: «🎤 Расшифровка» → кнопка с текущим режимом → «🎯 Точный». Это Scribe v1, та же модель, что в таблице. Точный режим стоит 25 кредитов за минуту вместо 5, ежемесячных бесплатных 200 кредитов хватит примерно на 8 минут кыргызской речи.
Вопросы
Понимает ли Whisper кыргызский язык?
Нет. Кыргызского нет в списке языков Whisper, поэтому модель записывает кыргызскую речь как казахскую. В нашем замере так вышло на всех 28 записях.
Насколько точно Scribe расшифровывает кыргызский?
На 28 записях из FLEURS — 10 % ошибочных слов. Часть ошибок формальная: числа он пишет цифрами («19-у»), а в эталоне они словами.
Можно ли указать язык заранее, чтобы было точнее?
У Scribe можно, и на тех же 28 записях вышло 9,4 % вместо 10,0 % — разница в пределах шума. В боте язык Scribe определяет сам, и кыргызский он узнал на всех записях.
Как меряли
- Набор: FLEURS от Google, тестовая часть, раздел ky_kg — 28 записей с разными фразами, от 6 до 19 секунд, всего около 5 минут звука. Для сравнения — по 10 записей из kk_kz (казахский) и ru_ru (русский). Взяты первые записи архива подряд, не выбирались по качеству.
- Модели: Groq
whisper-large-v3-turbo(без указания языка, как в боте), ElevenLabsscribe_v1иscribe_v2(тоже без языка; отдельноscribe_v2с языкомky). - Метрика: доля ошибочных слов, по-английски WER (word error rate) — сколько слов модель заменила, пропустила или дописала, делённое на число слов эталона. Поэтому на одной записи она может быть больше 100 %. Перед сравнением текст приводится к нижнему регистру, знаки препинания убираются, больше ничего: «19» против «он тогузу» считается ошибкой.
- Дата: 1 октября 2026 года.
- Оговорки: 28 записей — малая выборка, разница в полпроцента между версиями Scribe ничего не значит. FLEURS — это заранее написанные фразы (из набора переводов FLoRes), начитанные вслух; на живых голосовых с улицы, с шумом и быстрой речью цифры могут быть другими.
- Аудио и эталонные тексты: FLEURS (Conneau et al., 2022, arXiv:2205.12446), лицензия CC BY 4.0; записи в примере перекодированы из WAV в MP3.