Извлечение структурированных данных с любого сайта через API

MCP-сервер даёт агентам тот же совет: искать информацию и читать страницы через web_search и web_fetch, а браузерного агента оставлять для страниц, с которыми нужно взаимодействовать, и для сайтов, которые не покрывает ни один инструмент.

1. Сначала проверьте каталог

   Опишите задачу в POST /v1/tools/suggest или найдите инструмент через POST /v1/tools/discover. Оба вызова бесплатны и возвращают инструмент, пример входных данных и стоимость. См. Как найти нужный инструмент.

2. Прочитайте или обойдите публичные страницы

   Запустите web-fetch для одного URL или website-crawl для раздела сайта и превратите Markdown в JSON своим парсером или моделью на том же ключе.

3. Извлекайте по схеме, когда без взаимодействия не обойтись

   Запустите браузерного агента с целью, стартовым URL и output_schema. Агент пройдёт по страницам и вернёт в data JSON, соответствующий вашей схеме.

Этот запуск открывает категорию Travel в книжном магазине и возвращает все книги со страницы в виде JSON:

curl https://lovelyrouter.com/v1/browser/runs \
  -H "Authorization: Bearer $LOVELY_API_KEY" \
  -H "content-type: application/json" \
  -d '{
    "goal": "Open the Travel category and list every book on the first page with its title, price, star rating, stock status and link.",
    "start_url": "https://books.toscrape.com/",
    "output_schema": {
      "books": [{"title": "string", "price": "price as shown, with currency", "rating": "star rating as shown", "in_stock": "boolean", "url": "string"}]
    }
  }'

Ответ — 202 с id запуска. Запрашивайте GET /v1/browser/runs/{id}?wait=30, пока запуск не завершится, затем читайте data. Краткая запись сопоставляет каждому полю тип; описание вроде "price as shown, with currency" делает поле строкой, которую агент заполнит так, как вы описали. Для перечислений, форматов и обязательных полей отправьте вместо этого полноценную JSON Schema (draft 2020-12) размером до 20 КБ.

Почему на этот вывод можно опираться:

Для публичных страниц браузер — это избыточно. Этот обход читает раздел вакансий и останавливается на 50 страницах:

curl https://lovelyrouter.com/v1/tools/website-crawl/run \
  -H "Authorization: Bearer $LOVELY_API_KEY" \
  -H "content-type: application/json" \
  -d '{
    "input": {
      "startUrls": [{"url": "https://www.example.com/careers/"}],
      "maxCrawlDepth": 2,
      "excludeUrlGlobs": ["https://www.example.com/careers/archive/**"]
    },
    "max_results": 50
  }'

Каждый элемент — одна страница в Markdown. Передайте страницы модели вместе с нужными полями, и открытые вакансии будут у вас в JSON. includeUrlGlobs расширяет обход за пределы вложенных страниц стартового URL, а useSitemaps добавляет URL из sitemap сайта.

Чтение страницы стоит $0.0009, а страница, которую не удалось прочитать, ничего не стоит. Инструменты обхода, скриншотов и контактов тарифицируются за страницу, скриншот или сайт, а обход добавляет плату за вызов; актуальные цены — на карточках выше. Браузерный агент тарифицируется за шаг: $0.006 в быстром режиме и $0.012 в точном, модели и структурированный вывод включены, платы за запуск нет. Каждый запуск сначала резервирует свою максимальную стоимость, а затем списывает фактически использованное. Без подписки. См. цены.