AssemblyAI zu MCP: Transkription, Sprechererkennung, Untertitel und Fragen an Transkripte in jedem KI-Agent

💡 Keine Installation? Nutze cloud.anythingmcp.com direkt. Einloggen, Connectors → AssemblyAI klicken, Zugangsdaten einfügen, MCP-API-Key erzeugen, fertig. Kein Docker, kein git clone, kein lokaler Server.

AssemblyAI

Speech-to-Text mit AssemblyAI: Audio- und Videodateien über einen öffentlichen Link transkribieren, mit Sprechererkennung, Spracherkennung, Schwärzung personenbezogener Daten, Zusammenfassungen, Kapiteln, Entitäten und Stimmung, Transkripte als Text, Sätze, Absätze oder SRT/VTT-Untertitel lesen, Wörter suchen, übersetzen oder Sprecher benennen, ein LLM zum Transkript befragen und Streaming-Tokens erzeugen. Datenhaltung in den USA oder der EU; Abrechnung pro Audiostunde, mit Startguthaben für neue Konten.

Einrichtung

Die Einrichtung dauert etwa 2 Minuten. Du brauchst ein AssemblyAI-Konto; neue Konten bekommen 50 $ Guthaben für Transkription und Speech Understanding.

1. Registriere dich unter https://www.assemblyai.com/dashboard/signup.
2. Öffne im Dashboard API Keys, kopiere einen Key und füge ihn in ASSEMBLYAI_API_KEY ein. Er wird unverändert als Wert des Authorization-Headers gesendet, also trag nur den Key ein, ohne Bearer und ohne Anführungszeichen.
3. Setze ASSEMBLYAI_DOMAIN auf assemblyai.com (USA, Standard) oder eu.assemblyai.com (Datenhaltung in der EU: Audio, Transkripte und Prompts werden in der EU verarbeitet und gespeichert), ohne https:// und ohne api.. Transkripte aus einer Region sind in der anderen nicht sichtbar, und am EU-LLM-Gateway gibt es nur Claude- und Gemini-Modelle.
4. Installiere den Connector und rufe assemblyai_list_transcripts auf: Es listet die Transkripte des Kontos (bei einem neuen Konto noch keine) und bestätigt den Key.

Was Geld kostet:

• assemblyai_submit_transcript wird pro Audiostunde abgerechnet, sekundengenau anteilig: Universal-3.5 Pro 0,21 $/h, Universal-2 0,15 $/h. Zusatzfunktionen: Sprechererkennung 0,02 $/h, Keyterms oder Prompt 0,05 $/h (Universal-3.5 Pro), Medical Mode 0,15 $/h. Mit multichannel wird jeder Kanal berechnet, und Speech-Understanding-Funktionen kosten extra.
• assemblyai_understand_transcript wird pro Aufgabe abgerechnet.
• assemblyai_ask_transcript wird pro Ein- und Ausgabetoken zum Preis des Modells abgerechnet, den assemblyai_list_llm_models in USD pro Million Tokens zeigt. Das Startguthaben deckt es nicht ab.
• assemblyai_create_streaming_token ist kostenlos, die damit geöffnete Streaming-Sitzung wird aber nach Verbindungsdauer berechnet.

Fehlgeschlagene Transkripte sind kostenlos. Alle Lesezugriffe und assemblyai_list_llm_models sind kostenlos. Bei langen Dateien nennt dir die KI die Kosten und fragt vor dem Transkribieren nach.

Transkribieren: assemblyai_submit_transcript erwartet audio_url, einen öffentlichen Direktlink auf eine Audio- oder Videodatei (mp3, wav, m4a, mp4, webm und mehr, bis 2,2 GB und 10 Stunden), etwa einen Cloud-Storage-Link oder eine Podcast-MP3. Eine Webseite wie YouTube funktioniert nicht, und lokale Dateien lassen sich über diesen Connector nicht hochladen. Standardmäßig wird Universal-3.5 Pro (18 Sprachen) verwendet, für andere Sprachen Universal-2 (99 Sprachen). Optionen sind unter anderem speaker_labels mit speakers_expected, language_code oder language_detection, keyterms_prompt für Namen und Fachbegriffe, prompt zur Beschreibung der Aufnahme, redact_pii mit redact_pii_policies (dazu redact_pii_audio für eine Audiokopie mit Piepton), summarization oder auto_chapters, auto_highlights, entity_detection, sentiment_analysis, iab_categories, content_safety, speech_understanding für Übersetzung oder Sprechernamen, audio_start_from und audio_end_at, domain medical-v1 und eine optionale webhook_url. Der Aufruf liefert eine ID mit Status queued; die KI fragt assemblyai_get_transcript alle paar Sekunden ab, bis der Status completed ist, oder error mit dem Grund in error. Die Verarbeitung dauert meist nur einen Bruchteil der Audiolänge.

Was er liest:

• Das Transkript: vollständiger Text, Äußerungen nach Sprecher, erkannte Sprache, Audiodauer, Konfidenz und die Ergebnisse jeder angeforderten Funktion (Zusammenfassung, Kapitel, Entitäten, Stimmung, Highlights, Content Safety, Übersetzungen).
• Sätze (mit Sprecher) und Absätze, jeweils mit Start, Ende und Konfidenz.
• Untertitel in SRT oder WebVTT, optional mit chars_per_caption, fertig zum Speichern als .srt oder .vtt.
• Wortsuche: pro Wort oder Phrase die Zahl der Treffer und ihre Zeitstempel.
• Den Link zum geschwärzten Audio, sobald der Status redacted_audio_ready ist.
• Die Modelle des LLM-Gateways (Claude, GPT, Gemini und offene Modelle) mit Kontextlänge, Preisen und den Regionen, in denen sie verfügbar sind.

Auswerten: assemblyai_ask_transcript schickt einen Prompt an ein Modell des LLM-Gateways, des Nachfolgers der eingestellten LeMUR-API. Der Prompt enthält {{ transcript }} an der Stelle, an der das Transkript eingefügt wird, zum Beispiel List the action items with owners in this meeting: {{ transcript }}. Die Antwort steht in choices[0].message.content, mit dem Tokenverbrauch; Standardmodell ist claude-sonnet-4-6. assemblyai_understand_transcript führt Übersetzung, Sprecheridentifikation (Namen oder Rollen statt A und B), eigene Formatierung oder Zusammenfassung auf einem fertigen Transkript aus, ohne neu zu transkribieren.

Streaming: assemblyai_create_streaming_token liefert ein kurzlebiges Token, mit dem ein Browser oder Gerät den Universal-Streaming-WebSocket (wss://streaming.assemblyai.com/v3/ws?token=...) ohne den API-Key öffnet. Mit dem Token lässt sich 1 bis 600 Sekunden lang eine Verbindung öffnen; eine Sitzung dauert höchstens 10.800 Sekunden.

Datenformate: Alle Zeiten (start, end, audio_start_from, Wortzeitstempel) sind in Millisekunden, außer audio_duration, das in Sekunden angegeben ist. confidence reicht von 0 bis 1. Sprecher heißen innerhalb eines Transkripts A, B, C. Datumsangaben wie created sind ISO 8601 in UTC. Zeitstempel auf Wortebene werden aus Transkripten, Sätzen und Absätzen entfernt, damit die Antworten klein bleiben, und sehr lange Transkripte werden bei etwa 600 KB abgeschnitten.

Blättern: assemblyai_list_transcripts liefert bis zu 200 Transkripte pro Seite (standardmäßig 20), neueste zuerst, gefiltert nach status oder created_on. Für ältere übergibt die KI die ID des letzten Transkripts der Seite als before_id.

Bei der Installation ausgeschaltet: assemblyai_delete_transcript, das Text und Daten eines Transkripts endgültig entfernt (der Eintrag bleibt als gelöscht markiert, dafür hochgeladene Dateien werden ebenfalls gelöscht). Das lässt sich nicht rückgängig machen, deshalb schaltet ein Workspace-Admin es ein, wenn das Team es braucht.

Häufige Fehler: 401 "Authentication error, API token missing/invalid" bedeutet einen falschen Key oder ein Bearer davor. 400 nennt den fehlerhaften Parameter in error, etwa eine Funktion, die es für die Sprache oder das Modell nicht gibt. 404 bedeutet, dass das Transkript nicht existiert oder in der anderen Region erstellt wurde. Ein Transkript mit Status error und "Download error" heißt, dass die audio_url nicht abgerufen werden konnte: Sie ist nicht öffentlich, oder sie zeigt auf eine Webseite statt auf eine Datei. 429 bedeutet zu viele gleichzeitige Anfragen. Beim Streaming-Token antwortet ein falscher Key mit 404 "Invalid API key".

Der Connector lädt keine lokalen Dateien hoch, nutzt nicht die synchronen Sync- und Dictation-APIs, macht keine Sprachausgabe aus Text und nutzt keine gespeicherten Prompts oder Tool-Calling am LLM-Gateway.

Voraussetzungen: ASSEMBLYAI_API_KEY, ASSEMBLYAI_DOMAIN

Connector lokal installieren

curl -fsSL https://raw.githubusercontent.com/HelpCode-ai/anythingmcp/main/docker-compose.quickstart.yml -o docker-compose.yml
printf 'JWT_SECRET=%s\nENCRYPTION_KEY=%s\n' "$(openssl rand -hex 32)" "$(openssl rand -hex 32)" > .env
docker compose up -d

Öffne http://localhost:3000/connectors/store, wähle AssemblyAI und trage die unter Voraussetzungen aufgelisteten Variablen ein.

Verfügbare Tools

Beispiel-Prompts

• „Transkribiere diese Podcast-Folge mit Sprechererkennung, aber sag mir vorher, was es kostet: https://example.com/episode-42.mp3“
• „Fass das Transkript des Meetings von gestern zusammen und liste die Aufgaben mit Verantwortlichen auf.“
• „Exportiere das Transkript als SRT-Untertitel mit höchstens 42 Zeichen pro Zeile.“
• „Wann im Gespräch hat jemand das Budget oder das nächste Quartal erwähnt?“
• „Transkribiere dieses deutsche Interview, schwärze Namen und Telefonnummern und übersetze es ins Englische.“

Nächste Schritte

• Mit Claude verbinden
• Mit ChatGPT verbinden