Sprache & Musik

Voxtral 3 verbindet Transkription, Sprachausgabe und Sprachagenten

Mistral ergänzt seine Sprachmodelle um ein SDK für Agenten, die zuhören, antworten und Werkzeuge verwenden.

Quelle: Digitale Profis1. November 20263 Abschnitte
18
Inhalt
  1. Transkripte mit Sprechertrennung
  2. Begriffe als zusätzlicher Kontext
  3. Vom Gespräch zum Werkzeug
  4. Quelle
Ein Panda hört und spricht mit Audiowerkzeugen.Verbundene Sprachtools

Mit KI erstelltes illustratives Titelbild.

Transkripte mit Sprechertrennung

Digitale Profis stellt Voxtral 3 als erneuerte Sprachmodellfamilie von Mistral vor. Dazu gehören die Transkription von Aufnahmen, die Unterscheidung verschiedener Sprecher, eine Echtzeitvariante und ein eigenes Modell für die Sprachausgabe. Es handelt sich damit um verschiedene Bausteine und nicht nur um eine einzelne Transkriptionsfunktion. Der Kanal beschreibt Spracherkennung in rund 50 Sprachen sowie Werkzeuge, mit denen gesprochene Gespräche in Softwareabläufe eingebunden werden können.

Die Transkriptionsdemo verbindet Live-Text mit einer Begriffsliste.
Die Transkriptionsdemo verbindet Live-Text mit einer Begriffsliste.

Begriffe als zusätzlicher Kontext

Vor einer Audioaufgabe können relevante Begriffe mitgegeben werden. Produktnamen und spezielles Fachvokabular stehen dadurch als Kontext zur Verfügung, wenn sie voraussichtlich im Gespräch vorkommen. Die Funktion greift eine praktische Schwierigkeit bei Transkripten auf: Ein allgemeines Gespräch stellt andere Anforderungen als eine Aufnahme voller unbekannter Namen. Neben den Modellen zur Erkennung liefert Mistral auch ein SDK, mit dem Entwickler eigene Sprachagenten aufbauen können.

Das Sprachbeispiel markiert Emotion und Sprechtempo in der Eingabe.
Das Sprachbeispiel markiert Emotion und Sprechtempo in der Eingabe.

Vom Gespräch zum Werkzeug

Das SDK verbindet Zuhören und Sprechen mit einem Sprachmodell und Softwarewerkzeugen. Als Beispiel nennt der Kanal einen möglichen telefonischen Assistenten, der während des Gesprächs einen freien Termin sucht und eine Buchung vorbereitet. Das Beispiel verbindet eine gesprochene Anfrage mit einer Abfrage in angebundener Software und einer vorbereiteten Aktion. Mistral bietet eine europäisch gehostete API sowie den Betrieb auf eigener Infrastruktur an. Unternehmen können damit zwischen unterschiedlichen Verarbeitungsumgebungen wählen.

Mistral

Die Quelle zum Beitrag

Quelle:Digitale Profis ↗Offizielle Quelle · Öffnet in neuem Tab

Dieser redaktionelle Beitrag beruht auf den Erläuterungen der Quelle. Erfahrungen und Aussagen der Urheber sind von unabhängig bestätigten Erkenntnissen zu unterscheiden. Video und Quellbilder gehören den jeweiligen Urhebern.

Deine Favoriten

Diese Liste bleibt in deinem Browser auf diesem Gerät. Du brauchst kein Konto; andere Besucher sehen sie nicht.

Mit dem Lesezeichen an einem Beitrag fügst du deinen ersten Favoriten hinzu.