Web · website-crawl

Обход сайта в Markdown через API

Обходит весь сайт (или его раздел) и возвращает каждую страницу в чистом Markdown, готовом для LLM. Подходит для RAG и сайтов документации.
Weblovelyjsoninput"startUrls": [{"url":"https://devel…"maxCrawlPages": 3"maxCrawlDepth": 1
Цена
$0.01 / page + $0.01 / call
Результатов за запуск
10 по умолчанию · до 200
Оплата
Оплачиваются только полученные результаты. За неудачные запуски плата за вызов не взимается.

Передайте это своему ИИ-агенту

Скопируйте этот промпт в Claude Code, Cursor, Codex или любой кодинг-агент. Он подскажет агенту, где документация и как использовать ваш API-ключ.

Use the Lovely Router data tool "Обход сайта в Markdown" (id `website-crawl`, Web) to get data for me. It returns JSON.

- Docs (read first): https://lovelyrouter.com/docs/tools/run.md and https://lovelyrouter.com/docs/api/tools.md
- Input fields and price: GET https://lovelyrouter.com/v1/tools/website-crawl (public, no key needed). Price: $0.01 / page + $0.01 / call.
- Run: POST https://lovelyrouter.com/v1/tools/website-crawl/run with a body like `{"input":{"startUrls":[{"url":"https://developers.cloudflare.com/workers/"}],"maxCrawlPages":3,"maxCrawlDepth":1},"max_results":10}`. A 200 has the finished run with `items`; a 202 means it is still running, so poll the `poll` path until `status` is `succeeded`, `failed`, `timed_out` or `stopped`.
- Only delivered results are billed. Keep max_results small on the first run, check the output, then scale up (up to 200 per run).
- If you support MCP, you can instead connect the server https://lovelyrouter.com/mcp (Streamable HTTP, same key; https://lovelyrouter.com/docs/tools/mcp.md) and use suggest_tools, get_tool and run_tool with tool "website-crawl".
- Auth: read my API key from the LOVELY_API_KEY environment variable and send it as `Authorization: Bearer $LOVELY_API_KEY`. Never print or commit the key. If it is not set, ask me to create one at https://lovelyrouter.com/app/keys.
- Billing is prepaid: every call is charged to my balance, so test with a small request before running anything large.
- Every docs page is plain Markdown; the full index is https://lovelyrouter.com/llms.txt.

My task: <describe the data you need, e.g. which places, profiles, keywords or URLs, and the output format>

Вход

startUrlsarrayобязательно

One or more URLs of pages where the crawler will start. By default, the tool will also crawl sub-pages of these URLs. For example, for start URL `https://example.com/blog`, it will crawl also `https://example.com/blog/post` or `https://example.com/blog/article`. The **Include URL patterns (globs)** option can override this behavior.

maxCrawlPagesinteger

The maximum number pages to crawl. It includes the start URLs, pagination pages, pages with no content, etc. The crawler will automatically finish after reaching this number. This setting is useful to prevent accidental crawler runaway.

maxCrawlDepthinteger

The maximum number of links starting from the start URL that the crawler will recursively follow. The start URLs have depth `0`, the pages linked directly from the start URLs have depth `1`, and so on. Useful to prevent accidental crawler runaway. By setting it to `0`, the tool will only crawl the Start URLs.

includeUrlGlobsarray

Define URL patterns (globs) to extend crawling beyond **Start URLs** and their subpages. Example: `https://www.example.com/blog/**` matches any blog page — `https://www.example.com/blog/post-title` or `https://www.example.com/blog/category/post` — even if the Start URL is `https://www.example.com/product/some-product`. It affects only links found on pages, but not **Start URLs** - if you…

excludeUrlGlobsarray

Glob patterns matching URLs of pages that will be excluded from crawling. Note that this affects only links found on pages, but not **Start URLs**, which are always crawled. For example `https://{store,docs}.example.com/**` excludes all URLs starting with `https://store.example.com/` or `https://docs.example.com/`, and `https://example.com/**/*\?*foo=*` excludes all URLs that contain `foo`…

useSitemapsboolean

If enabled, the crawler will look for [Sitemaps](https://en.wikipedia.org/wiki/Sitemaps) at the domains of the provided *Start URLs* and enqueue matching URLs similarly as the links found on crawled pages. You can also reference a `sitemap.xml` file directly by adding it as another Start URL (e.g. `https://www.example.com/sitemap.xml`) The crawling could be more robust with Sitemaps, as it…

Попробовать

Стоит не более $0.11
Зарегистрируйтесь, чтобы запустить
curl https://lovelyrouter.com/v1/tools/website-crawl/run \
  -H "Authorization: Bearer $LOVELY_API_KEY" \
  -H "content-type: application/json" \
  -d '{"input":{"startUrls":[{"url":"https://developers.cloudflare.com/workers/"}],"maxCrawlPages":3,"maxCrawlDepth":1},"max_results":10}'
# MCP (agents): suggest_tools → get_tool → run_tool
run_tool({
  "tool": "website-crawl",
  "input": {"startUrls":[{"url":"https://developers.cloudflare.com/workers/"}],"maxCrawlPages":3,"maxCrawlDepth":1},
  "max_results": 10
})

Сколько это стоит

РезультатыЗапусков (по 200 за запуск)Стоимость
1001$1.01
1,0005$10.05
10,00050$100.50

Предоплата, без подписки. Если результатов меньше запрошенного, вы платите меньше. Цены

Для чего используется

Частые вопросы

Сколько стоит API Обход сайта в Markdown?

$0.01 / page + $0.01 / call. 1,000 результатов, полученных запусками до 200, стоят $10.05. Подписки нет: оплата с предоплаченного баланса.

Это API краулера сайтов?

Да. Если вы искали API краулера сайтов, краулер сайта в Markdown или краулер по sitemap, это оно: Обходит весь сайт (или его раздел) и возвращает каждую страницу в чистом Markdown, готовом для LLM. Подходит для RAG и сайтов документации.

Сколько результатов возвращает один запуск?

По умолчанию 10, до 200 за запуск. Задайте max_results, чтобы ограничить запуск: оплачиваются только полученные результаты.

Может ли ИИ-агент использовать этот инструмент?

Да. Подключите Claude Code, Cursor или любой MCP-клиент к MCP-серверу Lovely Router: агент находит инструмент через suggest_tools и запускает его через run_tool с идентификатором website-crawl.

Что будет, если запуск завершится ошибкой?

Запуск, который завершился ошибкой или был остановлен, оплачивается только за выданные результаты, без платы за вызов. Максимальная стоимость запуска резервируется при старте, остаток освобождается после расчёта.

Связанные инструменты