Update 2026-07-15: Runde 2 ist live und ergänzt NVIDIA Parakeet TDT v2/v3 (der Vergleich, nach dem die meisten Leser gefragt haben) sowie MOSS-Transcribe-Diarize, gemessen am identischen Korpus mit identischer Bewertung.
Das Ergebnis vorweg
Apples neuer SpeechAnalyzer ist die genaueste On-Device-Sprach-Engine, die wir getestet haben. Er schlug jedes Whisper-Modell, das wir ausliefern – einschließlich Whisper Small – sowohl in der sauberen als auch in der verrauschten Hälfte von LibriSpeech, und lief dabei rund dreimal schneller als Small. Und die API, die er ersetzt, SFSpeechRecognizer, landete bei sauberer Sprache auf dem letzten Platz: sogar hinter Whisper Tiny, einem 40-MB-Modell.
| Engine | test-clean WER | test-other WER | Modellgröße |
|---|---|---|---|
| Apple SpeechAnalyzer (iOS/macOS 26) | 2,12 % | 4,56 % | System |
| Whisper Small (WhisperKit CoreML) | 3,74 % | 7,95 % | ~460 MB |
| Whisper Base | 5,42 % | 12,51 % | ~140 MB |
| Whisper Tiny | 7,88 % | 17,04 % | ~40 MB |
| Apple SFSpeechRecognizer (alt) | 9,02 % | 16,25 % | System |
Niedriger ist besser: WER steht für Wortfehlerrate – den Prozentsatz der Wörter, die eine Engine ersetzt, auslässt oder erfindet. LibriSpeech test-clean umfasst 2.620 Äußerungen sauber vorgelesener Sprache; test-other besteht aus 2.939 schwierigeren, verrauschteren Äußerungen. Jede Engine lief vollständig auf dem Gerät auf einem Apple M2 Pro (32 GB, macOS 26.5.1).
Warum wir das gemacht haben
Mit iOS 26 und macOS 26 hat Apple SFSpeechRecognizer durch eine neue API ersetzt: SpeechAnalyzer und SpeechTranscriber. Genauigkeitswerte hat Apple für keine der beiden veröffentlicht. Jeder Entwickler, der über eine Migration entscheidet, und jeder, der Apples eingebaute Erkennung mit Whisper vergleicht, tappt also im Dunkeln.
Wir liefern beide Apple-Engines und drei Whisper-Modelle nebeneinander in Inscribe aus, einem privaten On-Device-KI-Workspace. Das bringt uns in eine ungewöhnliche Lage: Wir können alle fünf über identische Produktions-Codepfade auf derselben Maschine mit demselben Audio laufen lassen. Also haben wir es getan.
Solltest du von SFSpeechRecognizer wegmigrieren?
Ja. Das ist das klarste Ergebnis in den Daten. Die neue API senkt die Wortfehlerrate am selben Audio um das 3,5- bis 4-Fache: von 9,02 % auf 2,12 % bei sauberer Sprache und von 16,25 % auf 4,56 % bei verrauschter Sprache. Es gibt keinen Genauigkeits-Kompromiss abzuwägen; die neue API gewinnt überall, wo wir gemessen haben, und liefert interpunktierten Text mit Groß-/Kleinschreibung, während die Ausgabe der alten Engine grober ist.
Anders gesagt: Eine einstündige, mit der alten API transkribierte Besprechung enthält rund viermal so viele falsche Wörter wie dieselbe Besprechung durch SpeechAnalyzer. Wenn deine App SFSpeechRecognizer noch für irgendetwas Längeres als einen Sprachbefehl nutzt, lohnt sich die Migration allein schon wegen der Genauigkeit.
SpeechAnalyzer vs. Whisper
Das überraschendere Ergebnis: Apples neue Engine schlug auch Whisper Small, das größte Modell, das wir ausliefern, mit komfortablem Abstand auf beiden Splits – und das bei rund einem Drittel der Rechenzeit von Whisper Small pro Sekunde Audio. Für Englisch ist die eingebaute Engine auf Apple-Hardware jetzt die stärkste On-Device-Option, die wir messen können.
Whisper behält zwei echte Vorteile. Es deckt weit mehr Sprachen ab (SpeechTranscriber unterstützt rund 30 Locales) und läuft überall, nicht nur auf Apple-Plattformen mit OS 26. Doch für englische Transkription auf einem aktuellen iPhone oder Mac sind die Zeiten vorbei, in denen Whisper automatisch die genaueste Wahl war.
Wir haben unser eigenes Produkt aufgrund dieses Ergebnisses geändert: Die Auto-Engine von Inscribe bevorzugt jetzt SpeechAnalyzer für die Sprachen, die er unterstützt, und Whisper für alles andere. Einen Benchmark zu veröffentlichen und ihn in den eigenen Standardeinstellungen zu ignorieren, wäre eine seltsame Form von Ehrlichkeit.
Geschwindigkeit
Alle fünf Engines liefen bequem schneller als Echtzeit: zwischen rund 12- und 40-fach auf dem M2 Pro, das heißt eine Stunde Audio transkribiert in etwa 1,5 bis 5 Minuten auf dem Gerät. SpeechAnalyzer war pro Sekunde Audio rund dreimal schneller als Whisper Small und schlug ihn zugleich bei der Genauigkeit. Wir verzichten bewusst noch auf eine präzise Zeittabelle pro Engine: Die Genauigkeitsläufe teilten sich die Maschine mit einer Entwicklungs-Workload, was zwar die WER nicht beeinflusst, aber die Zeitmessung verrauscht. Wir werden diese Seite mit Zeitwerten aus einem eigenen Lauf im Leerlauf aktualisieren.
Methodik – und warum du sie überprüfen kannst
Einem Benchmark von einem Unternehmen, das eine der Engines verkauft, sollte man mit Misstrauen begegnen. Unserer hat zwei Eigenschaften, die genau für dieses Misstrauen gemacht sind.
Die Whisper-Spalte ist gegen OpenAIs eigene Zahlen reproduzierbar
Wir haben LibriSpeech gerade deshalb verwendet, weil OpenAI die WER von Whisper darauf veröffentlicht hat. Wenn unser Testrahmen Whisper korrekt gemessen hat, sollten unsere Zahlen auf deren treffen. Das tun sie, bei allen sechs Messungen:
| Engine / Split | Unsere | OpenAI veröffentlicht | Delta |
|---|---|---|---|
| Whisper Tiny, test-clean | 7,88 % | 7,6 % | +0,28 |
| Whisper Base, test-clean | 5,42 % | 5,0 % | +0,42 |
| Whisper Small, test-clean | 3,74 % | 3,4 % | +0,34 |
| Whisper Tiny, test-other | 17,04 % | 16,9 % | +0,14 |
| Whisper Base, test-other | 12,51 % | 12,4 % | +0,11 |
| Whisper Small, test-other | 7,95 % | 7,6 % | +0,35 |
Der kleine, gleichmäßige positive Versatz (ein etwas strengerer Text-Normalisierer plus CoreML-Quantisierung) ist genau das, wie ehrliche Reproduktion aussieht; ein zufälliger Fehler würde in beide Richtungen streuen. Da derselbe Korpus, derselbe Normalisierer und derselbe Scorer die Apple-Spalten erzeugt haben, erben die Zahlen, die sonst niemand prüfen kann, die Validierung von den Zahlen, die jeder prüfen kann.
Die Roh-Transkripte sind öffentlich
Jede Hypothese pro Äußerung für beide Apple-Engines steht unten zum Download bereit, neben dem Referenztext und der WER pro Äußerung. Du bist mit unserer Normalisierung nicht einverstanden? Bewerte es selbst neu.
- summary.json – alle zehn Messungen, maschinenlesbar (3 KB)
- raw-transcripts-apple.json.gz – SpeechAnalyzer, alle 5.559 Äußerungen (620 KB)
- raw-transcripts-legacy.json.gz – SFSpeechRecognizer, alle 5.559 Äußerungen (620 KB)
Details, die darüber entscheiden, ob ein WER-Wert überhaupt etwas bedeutet
- Dieselben Produktions-Codepfade. Jede Engine lief durch exakt den Code, den Inscribe-Nutzer bekommen, nicht durch einen Laboraufbau mit anderem Buffering oder anderen Einstellungen.
- Textnormalisierung. LibriSpeech-Referenzen sind in Großbuchstaben, ohne Interpunktion, mit ausgeschriebenen Zahlen; moderne Engines liefern Interpunktion und Ziffern. Beide Seiten durchlaufen denselben Normalisierer (Groß-/Kleinschreibung, Interpunktion, Ziffern-in-Wörter, Kontraktionen), angelehnt an OpenAIs englischen Normalisierer. Wer rohen Text bewertet, bestraft Engines für sauberes Formatieren statt fürs Verhören.
- Korpus-WER, nicht gemittelte WER. Gesamtfehler geteilt durch Gesamtzahl der Referenzwörter, sodass kurze Äußerungen nicht übergewichtet werden.
- Vollständig auf dem Gerät, verifiziert. SFSpeechRecognizer sendet Audio standardmäßig an Apples Server. Wir haben die On-Device-Erkennung erzwungen und den Testrahmen so eingestellt, dass er sich weigert zu laufen, statt still auf die Cloud zurückzufallen – sowohl weil ein Cloud-Ergebnis den Vergleich ungültig machen würde, als auch weil wir nicht 5.559 Äußerungen aus einem Privatsphäre-Produkt hochladen wollten.
- Fehler gezählt, nicht versteckt. Eine Engine, die nichts zurückgibt, bekommt 100 % WER für diese Äußerung. Das passierte einmal in 27.795 Transkriptionen (alt, test-other).
Was uns der Bau dieses Benchmarks über unsere eigene App gelehrt hat
Der Benchmark fand einen ausgelieferten Bug in Inscribe. Unser Apple-Engine-Dateiimport speiste Audio in SpeechAnalyzer und schloss den Eingabestream, rief aber nie finalizeAndFinishThroughEndOfInput() auf. Ohne diesen Aufruf liefert der Analyzer nie seine Endergebnisse, und der Import hängt für immer. Es war unbemerkt geblieben, weil unsere Auto-Einstellung Whisper bevorzugte. Der Fix ging am selben Tag live – und das ist Teil des Grundes, warum wir die Details des Testrahmens veröffentlichen: Wer sein eigenes Produkt sorgfältig misst, findet dabei oft die Dinge, nach denen er gar nicht gesucht hat.
Einschränkungen
- Nur Englisch. LibriSpeech ist englisch vorgelesene Sprache. Diese Zahlen sagen nichts über die mehr als 100 Sprachen aus, die Whisper unterstützt und SpeechTranscriber nicht.
- Vorgelesene Hörbuchsprache, keine Besprechungen. LibriSpeech ist der standardisierte, vergleichbare Korpus, deshalb haben wir damit angefangen. Akzentbehaftetes, aus der Ferne aufgenommenes Audio mit mehreren Sprechern aus Besprechungen ist die naheliegende Fortsetzung.
- Eine Maschine. M2 Pro, macOS 26.5.1. Die Genauigkeit sollte sich über Apple Silicon hinweg übertragen; die Geschwindigkeit variiert je nach Chip.
- Whisper über WhisperKit CoreML. Quantisierte On-Device-Konvertierungen, dieselben Builds, die Inscribe ausliefert. Referenz-GPU-Implementierungen können leicht abweichen, was die Validierungstabelle beziffert.
Was das bedeutet, wenn du einfach nur gute Transkription willst
Wenn du ein aktuelles iPhone oder Mac hast, steckt die beste On-Device-Transkriptions-Engine für Englisch bereits im Betriebssystem – und die private Option ist nicht länger die Kompromiss-Option. Inscribe nutzt genau die hier gemessenen Engines: SpeechAnalyzer, wo er deine Sprache unterstützt, Whisper, wo nicht, alles vollständig auf dem Gerät, nichts hochgeladen. Der Benchmark ist nicht getrennt vom Produkt; er ist die Art und Weise, wie wir entscheiden, was das Produkt tut.