MCP 経由で AssemblyAI を Gemini に接続する方法

💡 インストール不要? cloud.anythingmcp.com を直接利用してください。 サインインし、Connectors → AssemblyAI をクリック、認証情報を貼り付け、MCP API キーを発行すれば完了です。Docker も git clone もローカルサーバーも不要。

AssemblyAI + Gemini

AssemblyAI による音声のテキスト化：公開リンクの音声・動画ファイルを、話者ラベル、言語検出、個人情報のマスキング、要約、チャプター、エンティティ、感情分析つきで文字起こしし、トランスクリプトをテキスト、文、段落、SRT/VTT 字幕で読み取り、単語を検索し、翻訳や話者の命名を行い、トランスクリプトについて LLM に質問し、ストリーミング用トークンを作成します。データの保存先は米国または EU。音声 1 時間ごとの従量課金で、新規アカウントには無料クレジットがあります。

前提条件

完全なセットアップ手順はコネクタ自体に組み込まれています (ストアでコネクタを選択すると表示)。必要な環境変数:

ASSEMBLYAI_API_KEY, ASSEMBLYAI_DOMAIN

ステップ 1 — 認証情報を取得

セットアップは約 2 分です。AssemblyAI のアカウントが必要です。新規アカウントには文字起こしと Speech Understanding に使える 50 ドルの無料クレジットがあります。

1. https://www.assemblyai.com/dashboard/signup でサインアップします。
2. ダッシュボードで API Keys を開き、キーをコピーして ASSEMBLYAI_API_KEY に貼り付けます。キーはそのまま Authorization ヘッダーの値として送られるので、Bearer や引用符を付けずにキーだけを貼り付けてください。
3. ASSEMBLYAI_DOMAIN を assemblyai.com（米国、既定）または eu.assemblyai.com（EU データ保存：音声、トランスクリプト、プロンプトは EU 内で処理・保存されます）に設定します。https:// や api. は付けません。一方のリージョンで作成したトランスクリプトはもう一方からは見えません。また EU の LLM Gateway で使えるのは Claude と Gemini のモデルだけです。
4. コネクタをインストールし、assemblyai_list_transcripts を実行します。アカウントのトランスクリプトが一覧表示され（新規アカウントではまだ空です）、キーが確認できます。

有料のツール:

• assemblyai_submit_transcript は音声 1 時間あたりの料金で、秒単位で按分されます。Universal-3.5 Pro は 0.21 ドル/時、Universal-2 は 0.15 ドル/時です。追加機能は、話者ラベル 0.02 ドル/時、keyterms またはプロンプト 0.05 ドル/時（Universal-3.5 Pro）、メディカルモード 0.15 ドル/時です。multichannel ではチャンネルごとに課金され、Speech Understanding の機能は別料金です。
• assemblyai_understand_transcript はタスクごとに課金されます。
• assemblyai_ask_transcript は、入力と出力のトークンごとにモデルの料金で課金されます。料金は assemblyai_list_llm_models に 100 万トークンあたりの USD で表示されます。無料クレジットの対象外です。
• assemblyai_create_streaming_token は無料ですが、そのトークンで開いたストリーミングセッションは接続時間で課金されます。

失敗したトランスクリプトは無料です。読み取り系のツールと assemblyai_list_llm_models はすべて無料です。長いファイルの場合、AI は料金を伝え、文字起こしの前に確認を取ります。

文字起こし: assemblyai_submit_transcript には audio_url として、音声または動画ファイル（mp3、wav、m4a、mp4、webm など、最大 2.2 GB・10 時間）への公開の直接リンクを渡します。クラウドストレージのリンクやポッドキャストの MP3 などです。YouTube のような Web ページは使えず、このコネクタからローカルファイルをアップロードすることもできません。既定では Universal-3.5 Pro（18 言語）を使い、それ以外の言語には Universal-2（99 言語）を使います。主なオプション：speaker_labels と speakers_expected、language_code または language_detection、固有名詞や用語のための keyterms_prompt、録音内容を説明する prompt、redact_pii と redact_pii_policies（ビープ音入りの音声コピーには redact_pii_audio）、summarization または auto_chapters、auto_highlights、entity_detection、sentiment_analysis、iab_categories、content_safety、翻訳や話者名のための speech_understanding、audio_start_from と audio_end_at、domain の medical-v1、任意の webhook_url。呼び出すとステータス queued の ID が返ります。AI は数秒おきに assemblyai_get_transcript を確認し、ステータスが completed になるまで、または error（理由は error に入ります）になるまで待ちます。処理時間は通常、音声の長さのごく一部です。

読み取れるデータ:

• トランスクリプト：全文、話者ごとの発話、検出された言語、音声の長さ、信頼度、依頼した各機能の結果（要約、チャプター、エンティティ、感情、ハイライト、コンテンツセーフティ、翻訳）。
• 文（話者つき）と段落。それぞれ開始、終了、信頼度つき。
• SRT または WebVTT の字幕。chars_per_caption も指定でき、そのまま .srt や .vtt として保存できます。
• 単語検索：単語やフレーズごとの一致数とタイムスタンプ。
• ステータスが redacted_audio_ready になった後の、マスキング済み音声へのリンク。
• LLM Gateway のモデル（Claude、GPT、Gemini、オープンモデル）。コンテキスト長、料金、利用できるリージョンつき。

分析: assemblyai_ask_transcript は、提供終了した LeMUR API の後継である LLM Gateway のモデルにプロンプトを送ります。プロンプトにはトランスクリプトを差し込む位置に {{ transcript }} を書きます。例：List the action items with owners in this meeting: {{ transcript }}。回答は choices[0].message.content にトークン使用量とともに入ります。既定のモデルは claude-sonnet-4-6 です。assemblyai_understand_transcript は、完成したトランスクリプトに対して、再度文字起こしせずに翻訳、話者識別（A や B の代わりに名前や役割）、カスタム整形、要約を実行します。

ストリーミング: assemblyai_create_streaming_token は短時間だけ有効なトークンを返します。ブラウザやデバイスはこれを使い、API キーなしで Universal-Streaming の WebSocket（wss://streaming.assemblyai.com/v3/ws?token=...）を開きます。トークンで接続を開けるのは 1〜600 秒の間で、セッションは最長 10,800 秒です。

データ形式: 時間（start、end、audio_start_from、単語のタイムスタンプ）はすべてミリ秒です。ただし audio_duration だけは秒です。confidence は 0〜1 です。話者は 1 つのトランスクリプト内で A、B、C とラベル付けされます。created などの日時は UTC の ISO 8601 です。応答を小さく保つため、トランスクリプト、文、段落から単語単位のタイムスタンプは除かれ、非常に長いトランスクリプトは約 600 KB で切り詰められます。

ページング: assemblyai_list_transcripts は 1 ページ最大 200 件（既定 20 件）を新しい順に返し、status や created_on で絞り込めます。さらに古いものは、AI がそのページ最後のトランスクリプトの ID を before_id に渡して取得します。

インストール時にオフ: assemblyai_delete_transcript。トランスクリプトのテキストとデータを完全に削除します（レコードは削除済みとして残り、そのためにアップロードされたファイルも削除されます）。元に戻せないため、チームで必要になったときにワークスペース管理者がオンにします。

よくあるエラー: 401 "Authentication error, API token missing/invalid" はキーが間違っているか、前に Bearer が付いていることを意味します。400 は error に誤ったパラメーターが示されます。たとえば、その言語やモデルでは使えない機能です。404 はトランスクリプトが存在しないか、もう一方のリージョンで作成されたことを意味します。ステータス error で "Download error" のトランスクリプトは、audio_url を取得できなかったことを示します。公開されていないか、ファイルではなく Web ページです。429 は同時リクエストが多すぎることを意味します。ストリーミングトークンでは、キーが間違っていると 404 "Invalid API key" が返ります。

このコネクタは、ローカルファイルのアップロード、同期型の Sync API と Dictation API、テキストの音声合成、LLM Gateway の保存済みプロンプトとツール呼び出しには対応していません。

ステップ 2 — アダプターをインストール

curl -fsSL https://raw.githubusercontent.com/HelpCode-ai/anythingmcp/main/docker-compose.quickstart.yml -o docker-compose.yml
printf 'JWT_SECRET=%s\nENCRYPTION_KEY=%s\n' "$(openssl rand -hex 32)" "$(openssl rand -hex 32)" > .env
docker compose up -d

ステップ 3 — Gemini にコネクタを追加

サーバーURL: AnythingMCP で MCP Servers を開き、このコネクタがあるサーバーを選んで URL（https://cloud.anythingmcp.com/mcp/…）をコピーします。このガイドで YOUR_SERVER_ID と表示されている箇所に使ってください。

Gemini CLI は ~/.gemini/settings.json（Windows では %USERPROFILE%\.gemini\settings.json）から MCP サーバーを読み込みます。次を追加してください:

{
  "mcpServers": {
    "anythingmcp": {
      "httpUrl": "https://cloud.anythingmcp.com/mcp/YOUR_SERVER_ID",
      "headers": { "X-API-Key": "YOUR_MCP_API_KEY" }
    }
  }
}

1. AnythingMCP の MCP Servers → 対象のサーバー → API keys で MCP API キーを作成し、YOUR_MCP_API_KEY と置き換えます。
2. ファイルを保存し、gemini を再起動します。
3. Gemini CLI で /mcp を実行します（またはシェルで gemini mcp list）。anythingmcp が接続済みとして表示されるはずです。
4. プロンプトを入力しましょう。Gemini CLI が AssemblyAI のツールを呼び出せるようになりました。

利用可能なツール

プロンプトの例

• 「このポッドキャストのエピソードを話者ラベルつきで文字起こしして。ただし先に料金を教えて：https://example.com/episode-42.mp3」
• 「昨日の会議のトランスクリプトを要約し、担当者つきでタスクを一覧にしてください。」
• 「トランスクリプトを 1 行最大 42 文字の SRT 字幕として書き出してください。」
• 「通話の中で、予算や次の四半期について誰かが話したのはどのあたりですか？」
• 「このドイツ語のインタビューを文字起こしし、名前と電話番号をマスキングして英語に翻訳してください。」

FAQ

Gemini CLI はどこから MCP サーバーを読み込みますか? ユーザー単位では ~/.gemini/settings.json、プロジェクト単位ではプロジェクト内の .gemini/settings.json です。gemini mcp list で各サーバーと接続状態を確認できます。

次のステップ

• コネクタのランディング
• Claude に接続
• ChatGPT に接続
• Cursor に接続
• Meta Muse に接続
• Microsoft Copilot に接続