Voxtral 3: Mistral AI launcht Sprach-Agent-SDK für 50+ Sprachen
Mistral AI veröffentlicht Voxtral 3: ein Speech-SDK mit Echtzeit-Spracherkennung, emotionaler TTS und Tool-Integration für Kontakt-Center und Assistenten. Einsatz über EU-API oder Self-Hosted möglich.
Was ist neu
Mistral AI hat Voxtral 3 veröffentlicht, eine Familie von Speech-Modellen und ein Voice-Agent-SDK für Echtzeit-Sprachkonversationen. Das System verbindet vier Kernfähigkeiten: präzise mehrsprachige Spracherkennung, Sprachverarbeitung mit Reasoning, Tool-Integration für Workflow-Automation und emotionale Sprachsynthese.
Das SDK besteht aus mehreren Komponenten:
Spracherkennung (Voxtral Transcribe 3): Laut Mistral AI unterstützen die Transkriptions-Modelle über 50 Sprachen, darunter 24 offizielle EU-Sprachen sowie viele Sprachen aus Asien und dem indischen Subkontinent. Das Small-Modell erreicht laut Hersteller State-of-the-Art-Ergebnisse bei Diarization (Sprecher-Zuordnung) und mehrsprachiger Transkription und soll Whisper, Scribe v2 und Gemini 3.5 Transcribe übertreffen. Das Mini-Variante mit 4 Milliarden Parametern kostet laut Mistral AI $0,0035 pro Minute. Beide Modelle unterstützen Context Biasing, das domänenspezifisches Vokabular ohne Fine-Tuning verbessern soll. Ein Realtime-Modell (Voxtral Mini Transcribe Realtime 3) arbeitet laut Mistral AI mit unter 500 Millisekunden Latenz in über 35 Sprachen und erkennt automatisch End-of-Turn-Signale.
Sprachsynthese (Voxtral Mini TTS 3.0): Das Text-to-Speech-Modell ist laut Mistral AI für 35+ Sprachen und über 50 Dialekte verfügbar. Die Synthesizer sollen emotionale Nuancen, Tempo und Betonung kontextabhängig anpassen. Mistral AI nennt einen Preis von $13 pro Million Zeichen und behauptet, das sei günstiger als OpenAI TTS-1, Deepgram, ElevenLabs Flash und Gemini Flash. Das Modell unterstützt Voice Cloning aus ab 30 Minuten Audio und ein Pro-Voice-Feature für präzisere Stimmenreplikation, das laut Mistral AI auch emotionale Bandbreite und Sprechweise über Sprachen hinweg bewahrt.
Voice Agent SDK: Das SDK kombiniert Transkription, ein General-LLM (etwa Mistral Small), Tool-Calling und Sprachausgabe in einer Echtzeit-Streaming-Pipeline. Laut Mistral AI sollen vollständige Gesprächsrunden in unter einer Sekunde abgewickelt werden. Der Agent kann demnach Identitätsverifikation, Rechnungsabfragen, Terminbuchungen und Systemintegrationen über Funktionsaufrufe, Web-Suche und Abruf aus eigenen Datenquellen durchführen. Das SDK läuft laut Mistral AI über SIP für Telefonie, WebRTC für Browser und Apps und integriert sich in bestehende IVR-, Contact-Center- und Telefonie-Software.
Die Voice-Presets sind laut Mistral AI in 18 Sprachen verfügbar, darunter Arabisch (UAE und modernes Hocharabisch), Brasilianisches Portugiesisch, Katalanisch, Mandarin-Chinesisch, Holländisch, Englisch (amerikanisch, britisch), Französisch, Deutsch, Griechisch, Hindi, Italienisch, Koreanisch, Norwegisch, Russisch, Spanisch und Vietnamesisch.
Für wen, ab wann, zu welchen Bedingungen
Voxtral 3 ist ab sofort verfügbar, nennt Mistral AI. Das System richtet sich an Kontakt-Center, Service-Desks, virtuelle Assistenten und freihändige Copilot-Anwendungen.
Das SDK wird über die Mistral API bereitgestellt, die laut Mistral AI über europäische, US-amerikanische und globale Endpunkte erreichbar ist. Nutzer können Voxtral-Komponenten (Transkription, Sprachsynthese, Voice Cloning) im Studio-Playground testen. Spezifische Preise für das SDK, Tool-Integration oder erweiterte Features nennt Mistral AI nicht.
Die Modelle stehen auch zum Deployment auf eigener Infrastruktur oder Private Cloud zur Verfügung. Details und Verfügbarkeit müssen laut Mistral AI mit dem Team abgeklärt werden.
Folgende Modelle sind laut Mistral AI verfügbar: Voxtral Small Transcribe 3 (höchste Genauigkeit, 50+ Sprachen), Voxtral Mini Transcribe 3 (effizient, Batch-Verarbeitung), Voxtral Mini Transcribe Realtime 3 (Sub-500ms Latenz, 40+ Sprachen) und Voxtral Speech 3 (Batch und Realtime, identische API).
Mistral AI nennt keine regionalen Restriktionen, Tarife für das komplette SDK, Support-Level oder Datenspeicher-Policies.
Einordnung für DACH
Für Teams in Deutschland, Österreich und der Schweiz ist die Verfügbarkeit über europäische Endpunkte relevant: Laut Mistral AI können Audio-Daten über die EU-gehostete API verarbeitet werden, was Datensouveränität in der EU ermöglicht. Das Self-Deployment-Modell bietet zusätzliche Kontrolle über Audio-Verarbeitung, Datenspeicherung und Konversationsverwertung.
Die Sprachunterstützung umfasst laut Mistral AI 24 offizielle EU-Sprachen sowie Deutsch mit Voice-Presets. Die TTS-Modelle sollen Dialekt-Unterschiede in Aussprache, formale versus informale Register sowie lokale Konventionen (Zeit, Datum, Währung) berücksichtigen.
Konkrete Informationen zu Compliance, DSGVO-Konformität oder Zertifizierungen nennt Mistral AI in der Ankündigung nicht. Für Kategorie Coding mit KI ist das SDK vor allem als Komponente für agentengesteuerte Anwendungen relevant — Entwickler können Voice-Features in bestehende Systeme integrieren.
Preis, SLAs, Abrechnungsmodelle und regionale Verfügbarkeit für DACH-spezifische Use-Cases bleiben offen und erfordern Abklärung mit Mistral AI.
Quellen
Häufige Fragen
Wie viele Sprachen unterstützt Voxtral 3?
Voxtral 3 unterstützt laut Mistral AI über 50 Sprachen bei der Transkription, darunter 24 offizielle EU-Sprachen. Die Sprachsynthese ist laut Hersteller für 35+ Sprachen und über 50 Dialekte verfügbar, mit Voicesets in 18 Sprachen.
Kann ich Voxtral 3 auf eigener Infrastruktur betreiben?
Ja, Voxtral 3 ist laut Mistral AI sowohl über die EU-gehostete API als auch für Deployment auf eigener Infrastruktur oder Private Cloud verfügbar. Details zum Self-Hosted-Modell müssen mit dem Mistral-Team abgeklärt werden.
Was kostet Voxtral 3?
Mistral AI nennt Preise für einzelne Komponenten: Das Mini Transcribe Modell kostet $0,0035 pro Minute, die Text-to-Speech Synthese $13 pro Million Zeichen. Preise für das komplette Voice Agent SDK nennt Mistral AI nicht.