Превратите сайт документации в Markdown для RAG-индекса

1. Выберите стартовый URL

   Используйте главную страницу документации или нужный раздел, например папку с руководствами. По умолчанию обходчик охватывает и вложенные страницы этого URL.

2. Запустите инструмент с лимитом

   Отправьте входные данные на POST /v1/tools/website-crawl/run вместе с max_results. Лимит страниц задайте в maxCrawlPages. Запуск резервирует на балансе свою максимальную стоимость и возвращает каждую страницу в Markdown.

3. Разбейте и проиндексируйте

   Разбейте Markdown по заголовкам, получите эмбеддинги фрагментов и при повторном запуске заменяйте старые страницы в индексе.

Обход сайта в Markdown принимает startUrls. maxCrawlPages ограничивает число обойдённых страниц, включая стартовые страницы и страницы пагинации, а maxCrawlDepth — глубину перехода по ссылкам:

curl https://lovelyrouter.com/v1/tools/website-crawl/run \
  -H "Authorization: Bearer $LOVELY_API_KEY" \
  -H "content-type: application/json" \
  -d '{
    "input": {
      "startUrls": [
        {
          "url": "https://docs.example.com/guides"
        }
      ],
      "maxCrawlPages": 3,
      "maxCrawlDepth": 1
    },
    "max_results": 3
  }'

С помощью includeUrlGlobs и excludeUrlGlobs можно расширить или сузить обход, а useSitemaps добавляет в очередь URL из карты сайта. Держите max_results равным лимиту страниц. Запуск, который не завершился за 60 секунд, возвращает 202; как опрашивать его статус, описано в разделе Запуск инструмента.

Начните с небольшого maxCrawlPages, чтобы проверить результат, прежде чем обходить весь сайт.

Предпочитаете обычные слова? Подключите MCP-сервер и скажите Claude Code или Cursor: «Обойди https://docs.example.com/guides до 50 страниц в Markdown и запиши каждую страницу в docs/. Задай max_results равным 50».

Обход охватывает выбранный вами сайт. Другие инструменты работают с отдельными страницами и с тем, как страница выглядит:

• website-screenshot фиксирует внешний вид страницы, которого не видно в Markdown.
• google-search находит сайты для обхода.
• youtube-transcript добавляет видеоуроки в виде текста.

Более широкие возможности описаны в разделах извлечение структурированных данных с любого сайта и исследовательские агенты.

Вы платите за страницу: при старте запуск резервирует свою максимальную стоимость — плату за вызов плюс цену за страницу, умноженную на max_results, — а по завершении списывается сумма за фактически возвращённое. Остаток резерва возвращается на баланс. Запуск, который завершился ошибкой или по тайм-ауту, оплачивает только доставленные страницы, а запуск, отклонённый на старте, ничего не стоит.

Обход 200 страниц оплачивается как 200 страниц, поэтому лимит страниц не даст большому сайту набежать в крупный счёт. Нет ни подписки, ни ежемесячного минимума: пополнение от $5, и один баланс оплачивает и инструменты, и модели. Карточка выше показывает актуальную цену; на странице цен перечислены все инструменты.