Come collegare AssemblyAI a Gemini via MCP

💡 Niente installazione? Vai direttamente su cloud.anythingmcp.com. Accedi, clicca Connectors → AssemblyAI, inserisci le credenziali, genera una MCP API key e hai finito. Niente Docker, niente git clone, niente server locale.

AssemblyAI + Gemini

Speech to text con AssemblyAI: trascrivi file audio e video da un link pubblico con riconoscimento dei parlanti, rilevamento della lingua, oscuramento dei dati personali, riassunti, capitoli, entità e sentiment, leggi i transcript come testo, frasi, paragrafi o sottotitoli SRT/VTT, cerca parole, traduci o dai un nome ai parlanti, interroga un LLM su un transcript e crea token per lo streaming. Dati negli USA o nell'UE; a pagamento per ora di audio, con credito gratuito per i nuovi account.

Prerequisiti

Le istruzioni di setup complete sono incluse nel connettore stesso (visibili nello store quando lo selezioni). Le variabili d'ambiente richieste sono:

ASSEMBLYAI_API_KEY, ASSEMBLYAI_DOMAIN

Step 1 — Ottieni le credenziali

La configurazione richiede circa 2 minuti. Ti serve un account AssemblyAI; i nuovi account ricevono 50 $ di credito gratuito per trascrizione e Speech Understanding.

1. Registrati su https://www.assemblyai.com/dashboard/signup.
2. Nella dashboard apri API Keys, copia una chiave e incollala in ASSEMBLYAI_API_KEY. Viene inviata così com'è come valore dell'header Authorization, quindi incolla solo la chiave, senza Bearer né virgolette.
3. Imposta ASSEMBLYAI_DOMAIN su assemblyai.com (USA, predefinito) o eu.assemblyai.com (residenza dei dati nell'UE: audio, transcript e prompt vengono elaborati e conservati nell'UE), senza https:// né api.. I transcript creati in una regione non sono visibili dall'altra, e sul LLM Gateway UE sono disponibili solo i modelli Claude e Gemini.
4. Installa il connettore ed esegui assemblyai_list_transcripts: elenca i transcript dell'account (nessuno su un account nuovo) e conferma la chiave.

Cosa costa:

• assemblyai_submit_transcript si paga per ora di audio, ripartita al secondo: Universal-3.5 Pro 0,21 $/h, Universal-2 0,15 $/h. Aggiunte: riconoscimento dei parlanti 0,02 $/h, keyterms o prompt 0,05 $/h (Universal-3.5 Pro), modalità medica 0,15 $/h. Con multichannel si paga ogni canale, e le funzioni di Speech Understanding costano a parte.
• assemblyai_understand_transcript si paga per attività.
• assemblyai_ask_transcript si paga per token in ingresso e in uscita al prezzo del modello, che assemblyai_list_llm_models mostra in USD per milione di token. Non è coperto dal credito gratuito.
• assemblyai_create_streaming_token è gratuito, ma la sessione di streaming aperta con il token si paga in base al tempo di connessione.

I transcript falliti sono gratuiti. Tutte le letture e assemblyai_list_llm_models sono gratuite. Per i file lunghi l'AI ti indica il costo e chiede conferma prima di trascrivere.

Trascrivere: assemblyai_submit_transcript vuole audio_url, un link pubblico diretto a un file audio o video (mp3, wav, m4a, mp4, webm e altri, fino a 2,2 GB e 10 ore), per esempio un link a un cloud storage o l'MP3 di un podcast. Una pagina web come YouTube non funziona, e i file locali non si possono caricare con questo connettore. Di default si usa Universal-3.5 Pro (18 lingue), con Universal-2 (99 lingue) per le altre lingue. Tra le opzioni: speaker_labels con speakers_expected, language_code o language_detection, keyterms_prompt per nomi e termini, prompt per descrivere la registrazione, redact_pii con redact_pii_policies (più redact_pii_audio per una copia dell'audio con i bip), summarization o auto_chapters, auto_highlights, entity_detection, sentiment_analysis, iab_categories, content_safety, speech_understanding per traduzione o nomi dei parlanti, audio_start_from e audio_end_at, domain medical-v1 e un webhook_url facoltativo. La chiamata restituisce un id con stato queued; l'AI interroga assemblyai_get_transcript ogni pochi secondi finché lo stato è completed, oppure error con il motivo in error. L'elaborazione di solito richiede una frazione della durata dell'audio.

Cosa legge:

• Il transcript: testo completo, interventi per parlante, lingua rilevata, durata dell'audio, confidenza e i risultati di ogni funzione richiesta (riassunto, capitoli, entità, sentiment, highlight, content safety, traduzioni).
• Frasi (con parlante) e paragrafi, ciascuno con inizio, fine e confidenza.
• Sottotitoli in SRT o WebVTT, facoltativamente con chars_per_caption, pronti da salvare come .srt o .vtt.
• Ricerca di parole: per ogni parola o frase il numero di occorrenze e i relativi timestamp.
• Il link all'audio oscurato, quando lo stato è redacted_audio_ready.
• I modelli del LLM Gateway (Claude, GPT, Gemini e modelli open) con lunghezza del contesto, prezzi e regioni in cui sono disponibili.

Analizzare: assemblyai_ask_transcript invia un prompt a un modello del LLM Gateway, il successore della API LeMUR dismessa. Il prompt contiene {{ transcript }} dove va inserito il transcript, per esempio List the action items with owners in this meeting: {{ transcript }}. La risposta è in choices[0].message.content, con il consumo di token; il modello predefinito è claude-sonnet-4-6. assemblyai_understand_transcript esegue traduzione, identificazione dei parlanti (nomi o ruoli al posto di A e B), formattazione personalizzata o riassunto su un transcript già pronto, senza trascrivere di nuovo.

Streaming: assemblyai_create_streaming_token restituisce un token di breve durata con cui un browser o un dispositivo apre il WebSocket Universal-Streaming (wss://streaming.assemblyai.com/v3/ws?token=...) senza la chiave API. Con il token si può aprire una connessione per 1-600 secondi; una sessione dura al massimo 10.800 secondi.

Formati dei dati: tutti i tempi (start, end, audio_start_from, timestamp delle parole) sono in millisecondi, tranne audio_duration, che è in secondi. confidence va da 0 a 1. I parlanti sono etichettati A, B, C all'interno di un transcript. Le date come created sono ISO 8601 in UTC. I timestamp a livello di parola vengono tolti da transcript, frasi e paragrafi per tenere le risposte piccole, e i transcript molto lunghi vengono tagliati a circa 600 KB.

Paginazione: assemblyai_list_transcripts restituisce fino a 200 transcript per pagina (20 di default), dal più recente, filtrati per status o created_on. Per quelli più vecchi l'AI passa l'id dell'ultimo transcript della pagina come before_id.

Disattivato all'installazione: assemblyai_delete_transcript, che rimuove in modo definitivo testo e dati di un transcript (il record resta, segnato come eliminato, e anche i file caricati per esso vengono cancellati). Non si può annullare, quindi un admin del workspace lo attiva quando serve al team.

Errori comuni: 401 "Authentication error, API token missing/invalid" indica una chiave errata, o un Bearer davanti. 400 indica in error il parametro sbagliato, per esempio una funzione non disponibile per la lingua o il modello. 404 significa che il transcript non esiste o è stato creato nell'altra regione. Un transcript con stato error e "Download error" significa che audio_url non è stato scaricato: non è pubblico, oppure è una pagina web invece di un file. 429 indica troppe richieste contemporanee. Sul token di streaming una chiave errata risponde 404 "Invalid API key".

Il connettore non carica file locali, non usa le API sincrone Sync e Dictation, non trasforma testo in voce e non usa prompt salvati né tool calling sul LLM Gateway.

Step 2 — Installa l'adapter

curl -fsSL https://raw.githubusercontent.com/HelpCode-ai/anythingmcp/main/docker-compose.quickstart.yml -o docker-compose.yml
printf 'JWT_SECRET=%s\nENCRYPTION_KEY=%s\n' "$(openssl rand -hex 32)" "$(openssl rand -hex 32)" > .env
docker compose up -d

Step 3 — Aggiungi il connettore in Gemini

L'URL del tuo server: in AnythingMCP apri MCP Servers → il server su cui si trova questo connettore e copia il suo URL (https://cloud.anythingmcp.com/mcp/…). Usalo ovunque questa guida mostra YOUR_SERVER_ID.

Gemini CLI legge i server MCP da ~/.gemini/settings.json (su Windows %USERPROFILE%\.gemini\settings.json). Aggiungi:

{
  "mcpServers": {
    "anythingmcp": {
      "httpUrl": "https://cloud.anythingmcp.com/mcp/YOUR_SERVER_ID",
      "headers": { "X-API-Key": "YOUR_MCP_API_KEY" }
    }
  }
}

1. Crea una chiave API MCP in AnythingMCP da MCP Servers → il tuo server → API keys e incollala al posto di YOUR_MCP_API_KEY.
2. Salva il file e riavvia gemini.
3. Esegui /mcp in Gemini CLI (oppure gemini mcp list dal terminale): anythingmcp dovrebbe risultare connesso.
4. Inizia a scrivere prompt: Gemini CLI ora può chiamare i tool di AssemblyAI.

Tool disponibili

Esempi di prompt

• "Trascrivi questo episodio del podcast con il riconoscimento dei parlanti, ma prima dimmi quanto costa: https://example.com/episode-42.mp3"
• "Riassumi il transcript della riunione di ieri ed elenca le attività con i responsabili."
• "Esporta il transcript come sottotitoli SRT con al massimo 42 caratteri per riga."
• "In quale punto della chiamata qualcuno ha parlato del budget o del prossimo trimestre?"
• "Trascrivi questa intervista in tedesco, oscura nomi e numeri di telefono e traducila in inglese."

FAQ

Dove cerca i server MCP Gemini CLI? In ~/.gemini/settings.json per il tuo utente, oppure in .gemini/settings.json dentro un progetto. gemini mcp list mostra ogni server e se si connette.

Prossimi passi

• Landing del connettore
• Collegare a Claude
• Collegare a ChatGPT
• Collegare a Cursor
• Collegare a Meta Muse
• Collegare a Microsoft Copilot