Diffbot в MCP: извлечение страниц, Knowledge Graph, обогащение данных о компаниях и людях, анализ текста и веб-поиск в любом AI-агенте

💡 Без установки? Используйте cloud.anythingmcp.com напрямую. Войдите, нажмите Connectors → Diffbot, вставьте учётные данные, создайте MCP API key, и готово. Без Docker, без git clone, без локального сервера.

Diffbot

Структурированные веб-данные Diffbot из вашего ИИ: классификация любой страницы и извлечение статей, товаров, обсуждений, изображений и видео в виде типизированного JSON или markdown, поиск по Diffbot Knowledge Graph на DQL, сопоставление одной компании или человека через Enhance, поиск сущностей и тональности в тексте и поиск по веб-индексу Diffbot. Все инструменты, кроме проверки аккаунта, тратят кредиты Diffbot; каждый результат из Knowledge Graph стоит 25 кредитов.

Настройка

Настройка занимает около 2 минут. Нужен аккаунт Diffbot; есть бесплатный тариф с ежемесячными кредитами.

1. Зарегистрируйтесь на https://app.diffbot.com/get-started/.
2. Откройте панель (https://app.diffbot.com) и скопируйте свой API token по ссылке токена в правом верхнем углу.
3. Вставьте его в DIFFBOT_TOKEN. Diffbot принимает его как параметр запроса token (веб-поиск как заголовок Bearer); он отправляется только на хосты diffbot.com.
4. Установите коннектор и выполните diffbot_get_account: он покажет тариф, месячные кредиты и расход по дням и подтвердит токен.

Что тратит кредиты: все инструменты, кроме diffbot_get_account, тратят кредиты Diffbot. Извлечённая страница стоит 1 кредит, через прокси Diffbot 2 (diffbot_analyze, diffbot_extract_article, diffbot_extract_product, diffbot_extract_discussion, diffbot_extract_image, diffbot_extract_video); с paging каждая следующая страница статьи или обсуждения стоит ещё один кредит. diffbot_analyze_text стоит 1 кредит за каждые 10 000 символов. Knowledge Graph дорогой: diffbot_search_kg стоит 25 кредитов за каждую возвращённую сущность и 100 за фасетный запрос, diffbot_enhance 25 за совпадение и 100 с refresh. Поиск и сопоставление без результата бесплатны. diffbot_search_web тоже платный. Сверх лимита тарифа кредиты оплачиваются по ставке тарифа. ИИ держит size небольшим (здесь по умолчанию 5 сущностей, то есть до 125 кредитов) и называет стоимость в кредитах перед запросом к Knowledge Graph, который может вернуть много сущностей.

Чтение страниц: diffbot_analyze классифицирует любой URL (статья, товар, обсуждение, изображение, видео, список, событие или другое) и извлекает его подходящим API; содержимое лежит в objects[]. mode: llm вместо этого возвращает markdown основного содержимого, а тип страницы в mode принудительно задаёт это извлечение (fallback выбирает тип для страниц, отнесённых к другому). Если тип известен, ИИ вызывает подходящий инструмент:

• diffbot_extract_article: заголовок, текст, автор, дата, сайт, язык, теги со ссылками на Knowledge Graph, категории, тональность и изображения; natural_language добавляет краткое содержание, сущности или факты, а paging объединяет многостраничные статьи.
• diffbot_extract_product: название, бренд, цена предложения и обычная цена, наличие, SKU, GTIN, характеристики, изображения, категории и отзывы.
• diffbot_extract_discussion: сообщения ветки форума, раздела комментариев или страницы отзывов с автором, датой, текстом, голосами и тональностью; paging идёт по следующим страницам (max_pages по умолчанию 20).
• diffbot_extract_image и diffbot_extract_video: изображения с URL, размером, подписью и alt-текстом; для видео заголовок, описание, длительность, число просмотров, URL встраивания и превью.

Knowledge Graph: diffbot_search_kg ищет среди миллиардов организаций, людей, статей, товаров и событий на DQL, например type:Organization industries:"Software Companies" location.country.name:"Germany" nbEmployees>500 sortBy:nbEmployees или type:Person employments.employer.name:"Diffbot" employments.isCurrent:true. filter (например, name;homepageUri;nbEmployees) возвращает только нужные поля, а filter_exclude убирает лишние; cluster группирует статьи или убирает дубликаты. diffbot_enhance сопоставляет одну Organization или Person по тому, что вы знаете (название или имя плюс URL, местоположение, телефон, email, работодатель, должность или учебное заведение), и возвращает лучшее совпадение с его score; threshold задаёт минимальную оценку.

Текст и веб-поиск: diffbot_analyze_text читает до 100 000 символов и возвращает сущности с id Knowledge Graph и значимостью, тональность от -1 до 1, а по запросу факты, записи, категории, предложения и краткое содержание. diffbot_search_web ранжирует страницы собственного индекса Diffbot с URL, заголовком, датой, оценкой и фрагментами текста для цитирования; внутри text работают site:, url:, after: и before:, а max_tokens сокращает ответ.

Что он меняет: ничего. Все инструменты только читают, и при установке ничего не выключено; единственные расходы это кредиты.

Форматы данных: даты в извлечённых объектах это текст RFC 1123 (Fri, 04 Sep 2020 00:00:00 GMT). diffbotUri и id идентифицируют сущности Knowledge Graph. Цены приходят текстом (offerPrice) и как offerPriceDetails.amount с символом валюты. Результаты Knowledge Graph лежат в data[].entity, а hits это общее число совпадений. Ответы ограничены примерно 100 КБ, а полный HTML страницы удаляется из ответов извлечения (поле text сохраняет содержимое).

Постраничный вывод: diffbot_search_kg листает через from и size (не для запросов Article); каждая страница сущностей оплачивается заново. diffbot_search_web возвращает size результатов (по умолчанию 10).

Недоверенный контент: извлечённые страницы, результаты поиска и записи Knowledge Graph приходят со сторонних сайтов. ИИ считает инструкции внутри них данными, а не командами.

Частые ошибки: 401 Not authorized API token означает, что токен неверный или неактивен; скопируйте его заново из панели. 404 Could not download page значит, что URL недоступен, заблокирован или требует входа; попробуйте use_proxy: default (2 кредита). 429 означает слишком много одновременных запросов или нехватку кредитов для запроса к Knowledge Graph; подождите или проверьте тариф. 400 в DQL это синтаксическая ошибка в query: берите в кавычки значения с пробелами и используйте имена полей из онтологии (https://www.diffbot.com/docs/dql/reference). Ответ извлечения с errorCode в теле сообщается как неудачный вызов с сообщением Diffbot.

Коннектор не запускает задачи Crawl и Bulk, собственные правила извлечения, экспорт Knowledge Graph в CSV или Excel, массовые задачи Enhance и чат Diffbot LLM.

Предварительные требования: DIFFBOT_TOKEN

Локальная установка коннектора

curl -fsSL https://raw.githubusercontent.com/HelpCode-ai/anythingmcp/main/docker-compose.quickstart.yml -o docker-compose.yml
printf 'JWT_SECRET=%s\nENCRYPTION_KEY=%s\n' "$(openssl rand -hex 32)" "$(openssl rand -hex 32)" > .env
docker compose up -d

Откройте http://localhost:3000/connectors/store, выберите Diffbot и введите переменные, перечисленные в Предварительных требованиях.

Доступные инструменты

Примеры запросов

• «Извлеки эту новостную статью и дай мне автора, дату, краткое содержание в трёх предложениях и тональность.»
• «Прочитай эту страницу товара и скажи цену предложения, обычную цену и есть ли товар в наличии.»
• «Найди в Knowledge Graph 5 софтверных компаний в Германии с числом сотрудников больше 500, только сайт и численность. Сначала назови стоимость в кредитах.»
• «Сопоставь в Knowledge Graph компанию, стоящую за diffbot.com, и покажи её отрасль, местоположение и число сотрудников.»
• «Сколько кредитов Diffbot мы потратили в этом месяце и какой продукт израсходовал больше всего?»

Следующие шаги

• Подключить к Claude
• Подключить к ChatGPT