balbal-v1

%11,9Mu-Bench hata oranı

%6,5FLEURS hata oranı

96×gerçek zaman, işlemcide

15 mnaktif parametre

Hem hızlı hem doğru

Mu-Bench hatası ve hız. Sağ alt köşe en iyisi.

Mu-Bench hata oranı ile işlemcide hız (gerçek zaman katı, logaritmik) grafiği. balbal-v1 sağ altta: hem en hızlılardan hem en az hata yapanlardan; Freya ve PatientDesk API'leri de grafikte.

Yerel modeller aynı işlemcide, 8 çekirdek ve batch 1 ile ölçüldü. Freya ve PatientDesk (elmaslar) kendi sunucularının bildirdiği işlem süresiyle. omniASR'ın LLM'li modelleri işlemcide bitmek bilmeyeceği için grafikte yok. Duyu-small ayrı bir oturumda 30× ölçüldü (aynı oturumda balbal-v1 108×); grafikte balbal-v1'in iki oturum arasındaki oranıyla ölçeklenmiş hali (27×) var.

API'lerin liginde

Mu-Bench Türkçe: 846 müşteri hizmetleri kaydı.

Kelime hata oranı, düşük daha iyi. Resmi Mu-Bench değerlendirmesi (sonuç tablosu; Li ve Ray, 2026).

Büyük modellerle yan yana

Model	Mu-Bench WER (balbal-normalizer)	FLEURS	Aktif parametre

Kelime hata oranı (%), tüm modeller aynı kayıtlar ve aynı kuralla puanlandı.

Tüm testler

Test kümesi	İçerik	Kayıt	balbal-v1
Mu-Bench	Müşteri hizmetleri, 8 kHz	846	11,78
FLEURS	Okunmuş Wikipedia cümleleri	743	6,54
Kontrol cümleleri	Ayrı tutulan zor cümleler	199	18,94
+ Mihu testi	MihuAI'nin kendi testi, TTS sesi	81	7,94

Kelime hata oranı (%), düşük daha iyi, balbal-normalizer ile puanlama (puanlama kodu). Mihu testi MihuAI'nin kendi puanlama koduyla ölçüldü; MihuAI turkish-stt aynı testte %15,20.

GPU gerekmez

Bir dakikalık konuşma, işlemcide 0,6 saniyede yazıya dökülür.

Gerçek zamanın katı, 8 işlemci çekirdeği, logaritmik ölçek.

Nasıl çalışır

Conformer kodlayıcı
Sesi 40 ms'lik karelerle dinler.
Seyrek bellek
250 bin kayıtlık bellekten her karede yalnızca 64'ünü okur.
Dil modeli
Türkçe bir KenLM, en olası cümleyi seçer.
Sentetik veri ölçekleniyor
Modelin gördüğü 1.722 saatlik farklı sesin %69'u TTS ile üretilmiş sentetik konuşma; gerçek konuşmanın payı yalnızca %26. Gerçek kaydın az olduğu yerde sentetik veriyi büyütmek işe yarıyor.

Sınırlar

Yalnızca Türkçe

Eğitimde biraz İngilizce de vardı, ama İngilizce konuşmada iyi sonuç vermez.

Uzun kayıtlar

Uzun ses 30 saniyelik sabit parçalara bölünüp her parça ayrı çözülür. Konuşma algılama (VAD) yok.

Atıf

balbal-v1'i bir çalışmada kullanırsan şöyle atıf verebilirsin.

Eray Yapağcı. balbal-v1: A Small Turkish Speech Recognition Model. 2026. erayy.com/balbal-blog

@misc{yapagci2026balbal,
  author       = {Eray Yapa{\u{g}}c{\i}},
  title        = {balbal-v1: A Small Turkish Speech Recognition Model},
  year         = {2026},
  month        = oct,
  howpublished = {\url{https://erayy.com/balbal-blog}},
  note         = {Code: \url{https://github.com/erayyap/balbal}}
}

11.9%Mu-Bench error rate

6.5%FLEURS error rate

96×real time, on CPU

15Mactive parameters

Fast and accurate

Mu-Bench error versus speed. Bottom right is best.

Mu-Bench error rate versus CPU speed (multiple of real time, log scale). balbal-v1 sits bottom right: among the fastest and among the most accurate; the Freya and PatientDesk APIs are also on the chart.

Local models were measured on the same CPU with 8 cores and batch 1. Freya and PatientDesk (diamonds) use the processing time reported by their own servers. omniASR's LLM models are not on the chart: on a CPU they would take forever. Duyu-small was timed in a separate session at 30× (balbal-v1 ran at 108× there); the chart shows it scaled by balbal-v1's ratio between the two sessions (27×).

In the league of the APIs

Mu-Bench Turkish: 846 customer-service recordings.

Word error rate, lower is better. Official Mu-Bench evaluation (leaderboard; Li and Ray, 2026).

Side by side with big models

Model	Mu-Bench WER (balbal-normalizer)	FLEURS	Active parameters

Word error rate (%). All models were scored on the same recordings with the same rule.

All tests

Test set	Content	Clips	balbal-v1
Mu-Bench	Customer service, 8 kHz	846	11.78
FLEURS	Read Wikipedia sentences	743	6.54
Control sentences	Held-out hard sentences	199	18.94
+ Mihu test	MihuAI's own test, TTS audio	81	7.94

Word error rate (%), lower is better, scored with balbal-normalizer (scoring code). The Mihu test was scored with MihuAI's own scoring code; MihuAI turkish-stt gets 15.20% on the same test.

No GPU needed

A minute of speech is transcribed in 0.6 seconds on a CPU.

Multiple of real time, 8 CPU cores, log scale.

How it works

Conformer encoder
Listens to the audio in 40 ms frames.
Sparse memory
Reads only 64 of its 250,000 memory slots per frame.
Language model
A Turkish KenLM picks the most likely sentence.
Synthetic data scales
69% of the 1,722 hours of distinct audio the model saw is synthetic (TTS) speech; only 26% is real. Where real recordings are scarce, scaling up synthetic data works.

Limits

Turkish only

There was some English in training, but it does not do well on English speech.

Long recordings

Long audio is cut into fixed 30-second chunks and each chunk is decoded separately. There is no voice activity detection (VAD).

How to cite

If you use balbal-v1 in your work, you can cite it like this.

Eray Yapağcı. balbal-v1: A Small Turkish Speech Recognition Model. 2026. erayy.com/balbal-blog

@misc{yapagci2026balbal,
  author       = {Eray Yapa{\u{g}}c{\i}},
  title        = {balbal-v1: A Small Turkish Speech Recognition Model},
  year         = {2026},
  month        = oct,
  howpublished = {\url{https://erayy.com/balbal-blog}},
  note         = {Code: \url{https://github.com/erayyap/balbal}}
}

balbal-v1

Hem hızlı hem doğru

API'lerin liginde

Büyük modellerle yan yana

Tüm testler

GPU gerekmez

Nasıl çalışır

Conformer kodlayıcı

Seyrek bellek

Dil modeli

Sentetik veri ölçekleniyor

Sınırlar

Yalnızca Türkçe

Uzun kayıtlar

Atıf

Kendi sesinle dene

balbal-v1

Fast and accurate

In the league of the APIs

Side by side with big models

All tests

No GPU needed

How it works

Conformer encoder

Sparse memory

Language model

Synthetic data scales

Limits

Turkish only

Long recordings

How to cite

Try it with your own voice