AssemblyAI в MCP: транскрибация, разметка спикеров, субтитры и вопросы к расшифровкам в любом AI-агенте

💡 Без установки? Используйте cloud.anythingmcp.com напрямую. Войдите, нажмите Connectors → AssemblyAI, вставьте учётные данные, создайте MCP API key, и готово. Без Docker, без git clone, без локального сервера.

AssemblyAI

Распознавание речи с AssemblyAI: расшифровка аудио- и видеофайлов по публичной ссылке с разметкой спикеров, определением языка, скрытием персональных данных, резюме, главами, сущностями и тональностью, чтение расшифровок как текста, предложений, абзацев или субтитров SRT/VTT, поиск слов, перевод и именование спикеров, вопросы к LLM по расшифровке и токены для потокового распознавания. Хранение данных в США или ЕС; оплата за час аудио, новые аккаунты получают бесплатный кредит.

Настройка

Настройка занимает около 2 минут. Нужен аккаунт AssemblyAI; новые аккаунты получают 50 $ бесплатного кредита на транскрибацию и Speech Understanding.

1. Зарегистрируйтесь на https://www.assemblyai.com/dashboard/signup.
2. В панели откройте API Keys, скопируйте ключ и вставьте его в ASSEMBLYAI_API_KEY. Он отправляется как есть в качестве значения заголовка Authorization, поэтому вставляйте только ключ, без Bearer и кавычек.
3. Укажите в ASSEMBLYAI_DOMAIN assemblyai.com (США, по умолчанию) или eu.assemblyai.com (хранение данных в ЕС: аудио, расшифровки и промпты обрабатываются и хранятся в ЕС), без https:// и api.. Расшифровки, созданные в одном регионе, не видны из другого, а в LLM Gateway региона ЕС доступны только модели Claude и Gemini.
4. Установите коннектор и запустите assemblyai_list_transcripts: он покажет расшифровки аккаунта (у нового аккаунта их ещё нет) и подтвердит ключ.

Что стоит денег:

• assemblyai_submit_transcript оплачивается за час аудио с посекундным округлением: Universal-3.5 Pro 0,21 $/ч, Universal-2 0,15 $/ч. Дополнительно: разметка спикеров 0,02 $/ч, keyterms или промпт 0,05 $/ч (Universal-3.5 Pro), медицинский режим 0,15 $/ч. С multichannel оплачивается каждый канал, а функции Speech Understanding оплачиваются отдельно.
• assemblyai_understand_transcript оплачивается за задачу.
• assemblyai_ask_transcript оплачивается за входные и выходные токены по цене модели, которую assemblyai_list_llm_models показывает в USD за миллион токенов. Бесплатный кредит на него не распространяется.
• assemblyai_create_streaming_token бесплатен, но потоковая сессия, открытая с этим токеном, оплачивается по времени соединения.

Неудачные расшифровки бесплатны. Все операции чтения и assemblyai_list_llm_models бесплатны. Для длинных файлов ИИ называет стоимость и спрашивает подтверждение перед расшифровкой.

Расшифровка: assemblyai_submit_transcript принимает audio_url, публичную прямую ссылку на аудио- или видеофайл (mp3, wav, m4a, mp4, webm и другие, до 2,2 ГБ и 10 часов), например ссылку на облачное хранилище или MP3 подкаста. Веб-страница вроде YouTube не подойдёт, а локальные файлы через этот коннектор загрузить нельзя. По умолчанию используется Universal-3.5 Pro (18 языков), для остальных языков Universal-2 (99 языков). Среди параметров: speaker_labels с speakers_expected, language_code или language_detection, keyterms_prompt для имён и терминов, prompt с описанием записи, redact_pii с redact_pii_policies (и redact_pii_audio для копии аудио с запиканием), summarization или auto_chapters, auto_highlights, entity_detection, sentiment_analysis, iab_categories, content_safety, speech_understanding для перевода или имён спикеров, audio_start_from и audio_end_at, domain medical-v1 и необязательный webhook_url. Вызов возвращает ID со статусом queued; ИИ каждые несколько секунд опрашивает assemblyai_get_transcript, пока статус не станет completed или error с причиной в error. Обработка обычно занимает лишь часть длительности аудио.

Что он читает:

• Расшифровку: полный текст, реплики по спикерам, определённый язык, длительность аудио, уверенность и результаты каждой запрошенной функции (резюме, главы, сущности, тональность, ключевые фразы, content safety, переводы).
• Предложения (со спикером) и абзацы, каждый с началом, концом и уверенностью.
• Субтитры в SRT или WebVTT, при желании с chars_per_caption, готовые к сохранению как .srt или .vtt.
• Поиск слов: для каждого слова или фразы число совпадений и их временные метки.
• Ссылку на аудио со скрытыми данными, когда статус становится redacted_audio_ready.
• Модели LLM Gateway (Claude, GPT, Gemini и открытые модели) с длиной контекста, ценами и регионами, где доступна каждая.

Анализ: assemblyai_ask_transcript отправляет промпт модели в LLM Gateway, преемнике выведенного из эксплуатации API LeMUR. В промпте стоит {{ transcript }} там, куда подставляется расшифровка, например List the action items with owners in this meeting: {{ transcript }}. Ответ находится в choices[0].message.content вместе с расходом токенов; модель по умолчанию claude-sonnet-4-6. assemblyai_understand_transcript выполняет перевод, идентификацию спикеров (имена или роли вместо A и B), собственное форматирование или резюме для готовой расшифровки без повторного распознавания.

Потоковое распознавание: assemblyai_create_streaming_token возвращает короткоживущий токен, с которым браузер или устройство открывает WebSocket Universal-Streaming (wss://streaming.assemblyai.com/v3/ws?token=...) без API-ключа. Открыть соединение по токену можно в течение 1–600 секунд; сессия длится не больше 10 800 секунд.

Форматы данных: все времена (start, end, audio_start_from, метки слов) указаны в миллисекундах, кроме audio_duration, которое в секундах. confidence лежит в диапазоне от 0 до 1. Спикеры внутри одной расшифровки обозначаются A, B, C. Даты вроде created даются в ISO 8601 по UTC. Метки времени на уровне слов убираются из расшифровок, предложений и абзацев, чтобы ответы были компактными, а очень длинные расшифровки обрезаются примерно на 600 КБ.

Постраничный вывод: assemblyai_list_transcripts возвращает до 200 расшифровок на страницу (по умолчанию 20), от новых к старым, с фильтрами по status или created_on. Для более старых ИИ передаёт ID последней расшифровки на странице в before_id.

Отключено при установке: assemblyai_delete_transcript, который безвозвратно удаляет текст и данные расшифровки (запись остаётся с пометкой об удалении, загруженные для неё файлы тоже удаляются). Отменить это нельзя, поэтому администратор рабочего пространства включает инструмент, когда он нужен команде.

Частые ошибки: 401 "Authentication error, API token missing/invalid" означает неверный ключ или Bearer перед ним. 400 называет в error неверный параметр, например функцию, недоступную для языка или модели. 404 означает, что расшифровки нет или она создана в другом регионе. Расшифровка со статусом error и "Download error" означает, что audio_url не удалось скачать: ссылка не публичная или ведёт на веб-страницу, а не на файл. 429 означает слишком много одновременных запросов. Для токена потокового распознавания неверный ключ даёт 404 "Invalid API key".

Коннектор не загружает локальные файлы, не использует синхронные API Sync и Dictation, не озвучивает текст и не работает с сохранёнными промптами и вызовом инструментов в LLM Gateway.

Предварительные требования: ASSEMBLYAI_API_KEY, ASSEMBLYAI_DOMAIN

Локальная установка коннектора

curl -fsSL https://raw.githubusercontent.com/HelpCode-ai/anythingmcp/main/docker-compose.quickstart.yml -o docker-compose.yml
printf 'JWT_SECRET=%s\nENCRYPTION_KEY=%s\n' "$(openssl rand -hex 32)" "$(openssl rand -hex 32)" > .env
docker compose up -d

Откройте http://localhost:3000/connectors/store, выберите AssemblyAI и введите переменные, перечисленные в Предварительных требованиях.

Доступные инструменты

Примеры запросов

• «Расшифруй этот выпуск подкаста с разметкой спикеров, но сначала скажи, сколько это будет стоить: https://example.com/episode-42.mp3»
• «Сделай краткое резюме расшифровки вчерашней встречи и перечисли задачи с ответственными.»
• «Выгрузи расшифровку как субтитры SRT, не больше 42 символов в строке.»
• «В какой момент звонка кто-то упомянул бюджет или следующий квартал?»
• «Расшифруй это интервью на немецком, скрой имена и номера телефонов и переведи его на английский.»

Следующие шаги

• Подключить к Claude
• Подключить к ChatGPT