Подключить ScrapingBee MCP к Cursor

💡 Без установки? Используйте cloud.anythingmcp.com напрямую. Войдите, нажмите Connectors → ScrapingBee, вставьте учётные данные, создайте MCP API key, и готово. Без Docker, без git clone, без локального сервера.

ScrapingBee + Cursor

Веб-скрейпинг с ScrapingBee из вашего ИИ: загрузка любой страницы как отрисованного HTML, markdown или текста через ротируемые, premium- или stealth-прокси, извлечение структурированных данных по правилам CSS, XPath или ИИ, скриншоты, разобранная выдача Google и Amazon и проверка оставшихся кредитов тарифа. Все инструменты, кроме проверки расхода, тратят кредиты ScrapingBee.

Предварительные требования

Полные инструкции по настройке встроены в коннектор (видны в магазине при выборе коннектора). Требуемые переменные окружения:

SCRAPINGBEE_API_KEY

Шаг 1 — Получите учётные данные

Настройка занимает около 2 минут. Нужен аккаунт ScrapingBee; бесплатный пробный период включает 1 000 кредитов.

1. Войдите на https://dashboard.scrapingbee.com.
2. Скопируйте API key из панели (https://dashboard.scrapingbee.com/account/manage/api_key).
3. Вставьте его в SCRAPINGBEE_API_KEY. Он отправляется как Bearer-токен и только на app.scrapingbee.com.
4. Установите коннектор и выполните scrapingbee_get_usage: он покажет израсходованные и включённые кредиты и подтвердит ключ.

Что тратит кредиты: все инструменты, кроме scrapingbee_get_usage, тратят API-кредиты тарифа, и только за успешные вызовы (ответы 404 и 410 тоже считаются). Запросы страниц через scrapingbee_scrape_page и scrapingbee_extract_data стоят 1 кредит без JavaScript, 5 с JavaScript (по умолчанию), 10 или 25 с premium_proxy (без или с JavaScript) и 75 со stealth_proxy; ИИ-извлечение добавляет 5. scrapingbee_take_screenshot всегда выполняет JavaScript, поэтому стоит 5 кредитов, 25 с premium-прокси и 75 со stealth-прокси. scrapingbee_google_search стоит 10 кредитов (15 с light_request: false), scrapingbee_fast_search 10. scrapingbee_amazon_search и scrapingbee_amazon_product стоят 5 за облегчённую страницу и 15 за отрисованную, а pages умножает стоимость. ИИ спрашивает вас перед серией платных вызовов.

Чтение страниц: scrapingbee_scrape_page возвращает HTML или основное содержимое в markdown (return_page_markdown) или простым текстом (return_page_text). Для статических страниц ИИ ставит render_js: false (1 кредит вместо 5). Для заблокированной страницы он использует mode: auto: сначала пробуется самая дешёвая конфигурация, а оплачивается только сработавшая (max_cost ограничивает стоимость, например 25, чтобы никогда не доходить до stealth-прокси), либо повторяет запрос с premium_proxy, затем со stealth_proxy. Другие параметры: country_code для страны прокси, wait (до 35 000 мс), wait_for по CSS-селектору, wait_browser, block_ads, block_resources (включён по умолчанию), device, cookies, session_id (один и тот же IP на 5 минут), timeout и js_scenario, который кликает, прокручивает и заполняет формы перед захватом страницы. json_response оборачивает ответ вместе с заголовками, cookies, стоимостью и итоговым URL.

Извлечение данных: scrapingbee_extract_data возвращает JSON вместо страницы. Если структура известна, ИИ пишет extract_rules (CSS- или XPath-селекторы в виде JSON-текста, с выводом text, html, @href, table_json или table_array). Если нет, он использует ai_query (вопрос о странице) или ai_extract_rules (поля, описанные словами), при необходимости ограничивая часть страницы через ai_selector.

Скриншоты: scrapingbee_take_screenshot возвращает PNG видимой области (по умолчанию 1920 x 1080), всей страницы (screenshot_full_page) или одного элемента (screenshot_selector) в режиме desktop или mobile.

Поиск: scrapingbee_fast_search быстро даёт список органических результатов Google (позиция, заголовок, ссылка, описание) и главных новостей. scrapingbee_google_search возвращает разобранную страницу выдачи с органикой, рекламой, графом знаний, локальными результатами и картами, главными новостями и связанными вопросами; search_type выбирает news, maps, images, shopping, lens, ai_mode или ads. Для обзоров от ИИ нужен light_request: false. Фильтры: country_code, language, device, date_range, а для shopping sort_by, min_price и max_price.

Amazon: scrapingbee_amazon_search возвращает товары по запросу (ASIN, название, цена, валюта, рейтинг, отметка о спонсорстве, позиция) на выбранной площадке (domain, например com, de или co.uk), с сортировкой и фильтрами по категории и продавцу. scrapingbee_amazon_product читает один товар по ASIN: цену, buy box, рейтинг и число отзывов, бренд, ключевые пункты, изображения, варианты, характеристики, доставку, наличие и место в рейтинге продаж. zip_code даёт местные цены и сроки доставки; currency задаёт валюту отображения.

Что он меняет: ничего в вашем аккаунте ScrapingBee; все инструменты только читают. При установке ничего не выключено, но каждый вызов, кроме проверки расхода, стоит кредитов.

Форматы данных: JSON-параметры extract_rules, ai_extract_rules и js_scenario передаются как JSON-текст. country_code это код ISO 3166-1 строчными буквами; без premium- или stealth-прокси неподдерживаемая страна молча заменяется на us. На Amazon не передавайте страну самой площадки в country; используйте zip_code. Цены указаны в валюте площадки, если не задан currency.

Постраничный вывод и ограничения: scrapingbee_google_search принимает page и pages (от 1 до 10 объединённых страниц выдачи, рекомендуется не больше 3), scrapingbee_amazon_search принимает start_page и pages, каждая страница оплачивается, а scrapingbee_fast_search принимает page. Ответы ограничены примерно 100 КБ, поэтому для длинных страниц ИИ использует markdown, текст или правила извлечения. scrapingbee_get_usage допускает 6 вызовов в минуту, а параллельные запросы ограничены лимитом одновременных запросов тарифа.

Недоверенный контент: страницы и результаты поиска приходят со сторонних сайтов. ИИ считает инструкции внутри них данными, а не командами.

Частые ошибки: 401 Invalid api key или закончились кредиты: скопируйте ключ заново или проверьте тариф в панели. 400 означает недопустимое сочетание параметров, например mode: auto вместе с render_js, premium_proxy или stealth_proxy, либо country, совпадающий со страной домена Amazon; не оплачивается. 429 значит, что достигнут лимит одновременных запросов тарифа; подождите и повторите один раз, не оплачивается. 500 значит, что страницу получить не удалось (ошибка сайта, блокировка или тайм-аут); не оплачивается, и часто помогает повтор с premium_proxy или stealth_proxy.

Коннектор не использует режим прокси, не пересылает POST- и PUT-запросы на целевой сайт, не скачивает файлы больше 2 МБ и не охватывает эндпоинты Walmart, YouTube, ChatGPT и Gemini, а также CLI.

Шаг 2 — Установите адаптер

curl -fsSL https://raw.githubusercontent.com/HelpCode-ai/anythingmcp/main/docker-compose.quickstart.yml -o docker-compose.yml
printf 'JWT_SECRET=%s\nENCRYPTION_KEY=%s\n' "$(openssl rand -hex 32)" "$(openssl rand -hex 32)" > .env
docker compose up -d

Шаг 3 — Добавьте коннектор в Cursor

URL вашего сервера: в AnythingMCP откройте MCP Servers → сервер, на котором находится этот коннектор, и скопируйте его URL (https://cloud.anythingmcp.com/mcp/…). Используйте его везде, где в этом руководстве указано YOUR_SERVER_ID.

Cursor читает MCP-серверы из ~/.cursor/mcp.json. Добавь эту запись:

{
  "mcpServers": {
    "anythingmcp": {
      "url": "https://cloud.anythingmcp.com/mcp/YOUR_SERVER_ID",
      "headers": { "X-API-Key": "YOUR_MCP_API_KEY" }
    }
  }
}

1. Создай MCP API-ключ в AnythingMCP в разделе MCP Servers → твой сервер → API keys и вставь его вместо YOUR_MCP_API_KEY.
2. Сохрани файл и перезапусти Cursor.
3. Открой Cursor → Settings → MCP и проверь, что anythingmcp есть в списке и подключён.
4. Начинай общаться: агент теперь может вызывать инструменты ScrapingBee.

Доступные инструменты

Примеры запросов

• «Сколько кредитов ScrapingBee у нас осталось в этом периоде и когда продлевается тариф?»
• «Загрузи https://example.com/blog/launch в markdown без JavaScript и кратко перескажи статью.»
• «Извлеки название товара, цену и наличие с этой страницы магазина с помощью правил ИИ-извлечения.»
• «Сделай мобильный скриншот всей страницы https://example.com и скажи, что видно без прокрутки.»
• «Найди на Amazon.de зарядку USB-C на 65 Вт с сортировкой по рейтингу и перечисли первые 10 с ASIN и ценой.»

FAQ

Поддерживает ли Cursor собственные MCP-серверы на бесплатном тарифе? Да, MCP доступен на тарифах Hobby, Pro и Business.

Следующие шаги

• Страница коннектора
• Подключить к Claude
• Подключить к ChatGPT
• Подключить к Gemini
• Подключить к Meta Muse
• Подключить к Microsoft Copilot