Подключить ScrapingBee MCP к Microsoft Copilot

💡 Без установки? Используйте cloud.anythingmcp.com напрямую. Войдите, нажмите Connectors → ScrapingBee, вставьте учётные данные, создайте MCP API key, и готово. Без Docker, без git clone, без локального сервера.

ScrapingBee + Microsoft Copilot

Веб-скрейпинг с ScrapingBee из вашего ИИ: загрузка любой страницы как отрисованного HTML, markdown или текста через ротируемые, premium- или stealth-прокси, извлечение структурированных данных по правилам CSS, XPath или ИИ, скриншоты, разобранная выдача Google и Amazon и проверка оставшихся кредитов тарифа. Все инструменты, кроме проверки расхода, тратят кредиты ScrapingBee.

Предварительные требования

Полные инструкции по настройке встроены в коннектор (видны в магазине при выборе коннектора). Требуемые переменные окружения:

SCRAPINGBEE_API_KEY

Шаг 1 — Получите учётные данные

Настройка занимает около 2 минут. Нужен аккаунт ScrapingBee; бесплатный пробный период включает 1 000 кредитов.

1. Войдите на https://dashboard.scrapingbee.com.
2. Скопируйте API key из панели (https://dashboard.scrapingbee.com/account/manage/api_key).
3. Вставьте его в SCRAPINGBEE_API_KEY. Он отправляется как Bearer-токен и только на app.scrapingbee.com.
4. Установите коннектор и выполните scrapingbee_get_usage: он покажет израсходованные и включённые кредиты и подтвердит ключ.

Что тратит кредиты: все инструменты, кроме scrapingbee_get_usage, тратят API-кредиты тарифа, и только за успешные вызовы (ответы 404 и 410 тоже считаются). Запросы страниц через scrapingbee_scrape_page и scrapingbee_extract_data стоят 1 кредит без JavaScript, 5 с JavaScript (по умолчанию), 10 или 25 с premium_proxy (без или с JavaScript) и 75 со stealth_proxy; ИИ-извлечение добавляет 5. scrapingbee_take_screenshot всегда выполняет JavaScript, поэтому стоит 5 кредитов, 25 с premium-прокси и 75 со stealth-прокси. scrapingbee_google_search стоит 10 кредитов (15 с light_request: false), scrapingbee_fast_search 10. scrapingbee_amazon_search и scrapingbee_amazon_product стоят 5 за облегчённую страницу и 15 за отрисованную, а pages умножает стоимость. ИИ спрашивает вас перед серией платных вызовов.

Чтение страниц: scrapingbee_scrape_page возвращает HTML или основное содержимое в markdown (return_page_markdown) или простым текстом (return_page_text). Для статических страниц ИИ ставит render_js: false (1 кредит вместо 5). Для заблокированной страницы он использует mode: auto: сначала пробуется самая дешёвая конфигурация, а оплачивается только сработавшая (max_cost ограничивает стоимость, например 25, чтобы никогда не доходить до stealth-прокси), либо повторяет запрос с premium_proxy, затем со stealth_proxy. Другие параметры: country_code для страны прокси, wait (до 35 000 мс), wait_for по CSS-селектору, wait_browser, block_ads, block_resources (включён по умолчанию), device, cookies, session_id (один и тот же IP на 5 минут), timeout и js_scenario, который кликает, прокручивает и заполняет формы перед захватом страницы. json_response оборачивает ответ вместе с заголовками, cookies, стоимостью и итоговым URL.

Извлечение данных: scrapingbee_extract_data возвращает JSON вместо страницы. Если структура известна, ИИ пишет extract_rules (CSS- или XPath-селекторы в виде JSON-текста, с выводом text, html, @href, table_json или table_array). Если нет, он использует ai_query (вопрос о странице) или ai_extract_rules (поля, описанные словами), при необходимости ограничивая часть страницы через ai_selector.

Скриншоты: scrapingbee_take_screenshot возвращает PNG видимой области (по умолчанию 1920 x 1080), всей страницы (screenshot_full_page) или одного элемента (screenshot_selector) в режиме desktop или mobile.

Поиск: scrapingbee_fast_search быстро даёт список органических результатов Google (позиция, заголовок, ссылка, описание) и главных новостей. scrapingbee_google_search возвращает разобранную страницу выдачи с органикой, рекламой, графом знаний, локальными результатами и картами, главными новостями и связанными вопросами; search_type выбирает news, maps, images, shopping, lens, ai_mode или ads. Для обзоров от ИИ нужен light_request: false. Фильтры: country_code, language, device, date_range, а для shopping sort_by, min_price и max_price.

Amazon: scrapingbee_amazon_search возвращает товары по запросу (ASIN, название, цена, валюта, рейтинг, отметка о спонсорстве, позиция) на выбранной площадке (domain, например com, de или co.uk), с сортировкой и фильтрами по категории и продавцу. scrapingbee_amazon_product читает один товар по ASIN: цену, buy box, рейтинг и число отзывов, бренд, ключевые пункты, изображения, варианты, характеристики, доставку, наличие и место в рейтинге продаж. zip_code даёт местные цены и сроки доставки; currency задаёт валюту отображения.

Что он меняет: ничего в вашем аккаунте ScrapingBee; все инструменты только читают. При установке ничего не выключено, но каждый вызов, кроме проверки расхода, стоит кредитов.

Форматы данных: JSON-параметры extract_rules, ai_extract_rules и js_scenario передаются как JSON-текст. country_code это код ISO 3166-1 строчными буквами; без premium- или stealth-прокси неподдерживаемая страна молча заменяется на us. На Amazon не передавайте страну самой площадки в country; используйте zip_code. Цены указаны в валюте площадки, если не задан currency.

Постраничный вывод и ограничения: scrapingbee_google_search принимает page и pages (от 1 до 10 объединённых страниц выдачи, рекомендуется не больше 3), scrapingbee_amazon_search принимает start_page и pages, каждая страница оплачивается, а scrapingbee_fast_search принимает page. Ответы ограничены примерно 100 КБ, поэтому для длинных страниц ИИ использует markdown, текст или правила извлечения. scrapingbee_get_usage допускает 6 вызовов в минуту, а параллельные запросы ограничены лимитом одновременных запросов тарифа.

Недоверенный контент: страницы и результаты поиска приходят со сторонних сайтов. ИИ считает инструкции внутри них данными, а не командами.

Частые ошибки: 401 Invalid api key или закончились кредиты: скопируйте ключ заново или проверьте тариф в панели. 400 означает недопустимое сочетание параметров, например mode: auto вместе с render_js, premium_proxy или stealth_proxy, либо country, совпадающий со страной домена Amazon; не оплачивается. 429 значит, что достигнут лимит одновременных запросов тарифа; подождите и повторите один раз, не оплачивается. 500 значит, что страницу получить не удалось (ошибка сайта, блокировка или тайм-аут); не оплачивается, и часто помогает повтор с premium_proxy или stealth_proxy.

Коннектор не использует режим прокси, не пересылает POST- и PUT-запросы на целевой сайт, не скачивает файлы больше 2 МБ и не охватывает эндпоинты Walmart, YouTube, ChatGPT и Gemini, а также CLI.

Шаг 2 — Установите адаптер

curl -fsSL https://raw.githubusercontent.com/HelpCode-ai/anythingmcp/main/docker-compose.quickstart.yml -o docker-compose.yml
printf 'JWT_SECRET=%s\nENCRYPTION_KEY=%s\n' "$(openssl rand -hex 32)" "$(openssl rand -hex 32)" > .env
docker compose up -d

Шаг 3 — Добавьте коннектор в Microsoft Copilot

URL вашего сервера: в AnythingMCP откройте MCP Servers → сервер, на котором находится этот коннектор, и скопируйте его URL (https://cloud.anythingmcp.com/mcp/…). Используйте его везде, где в этом руководстве указано YOUR_SERVER_ID.

Microsoft Copilot использует MCP-серверы через агентов, созданных в Copilot Studio: ты добавляешь AnythingMCP в агента как инструмент, а затем публикуешь агента в Microsoft 365 Copilot и Teams. Copilot Studio подключается из облака Microsoft по Streamable HTTP, который AnythingMCP поддерживает.

1. В Copilot Studio открой своего агента (или создай нового), перейди в Tools и выбери Add a tool → New tool → Model Context Protocol.
2. Укажи Server name (например, AnythingMCP), Server description, которое объясняет, что делает коннектор, и Server URL https://cloud.anythingmcp.com/mcp/YOUR_SERVER_ID. По описанию Copilot Studio решает, когда вызывать сервер.
3. В аутентификации выбери API key, установи Type в Header, укажи имя заголовка X-API-Key и нажми Create.
4. В окне Add tool выбери Create a new connection, вставь MCP API-ключ из AnythingMCP (MCP Servers → твой сервер → API keys) и нажми Add to agent.
5. Проверь в панели Test агента: попроси о том, для чего нужны инструменты ScrapingBee.
6. Нажми Publish, затем Channels → Microsoft 365 and Microsoft Teams, оставь включённым Make agent available in Microsoft Copilot и нажми Add channel. See agent in Teams установит агента для тебя; в Microsoft 365 Copilot введи @ и выбери агента.

Хочешь, чтобы каждый входил под своей учётной записью? Вместо API-ключа выбери OAuth 2.0 → Dynamic discovery: каждый пользователь войдёт в AnythingMCP при первом вызове агентом.

Размещаешь сам? Используй публичный HTTPS-адрес своего экземпляра вместо https://cloud.anythingmcp.com. Copilot Studio подключается из облака Microsoft, поэтому localhost не подойдёт.

Доступные инструменты

Примеры запросов

• «Сколько кредитов ScrapingBee у нас осталось в этом периоде и когда продлевается тариф?»
• «Загрузи https://example.com/blog/launch в markdown без JavaScript и кратко перескажи статью.»
• «Извлеки название товара, цену и наличие с этой страницы магазина с помощью правил ИИ-извлечения.»
• «Сделай мобильный скриншот всей страницы https://example.com и скажи, что видно без прокрутки.»
• «Найди на Amazon.de зарядку USB-C на 65 Вт с сортировкой по рейтингу и перечисли первые 10 с ASIN и ценой.»

FAQ

Для какого Copilot это руководство? Для Microsoft 365 Copilot на работе — через агентов Copilot Studio. В приложении Microsoft Copilot для личных аккаунтов добавить свой MCP-сервер нельзя.

Что нужно? Рабочий аккаунт с доступом к Copilot Studio (лицензия или пробная версия), чтобы создать агента. Тем, кто будет пользоваться им в Microsoft 365 Copilot или Teams, нужен доступ к агенту: поделись им или попроси администратора опубликовать его для организации. Если в организации действуют политики данных для коннекторов Power Platform, они распространяются и на MCP-серверы.

Агент не вызывает инструменты. Проверь, что имя заголовка — ровно X-API-Key, а ключ относится к тому же MCP-серверу, что и URL, и сделай Server description конкретным: по нему Copilot Studio решает, когда вызывать сервер. После каждого изменения опубликуй агента заново; в открытом чате введи «start over», чтобы перейти на новую версию.

Следующие шаги

• Страница коннектора
• Подключить к Claude
• Подключить к ChatGPT
• Подключить к Cursor
• Подключить к Gemini
• Подключить к Meta Muse