Scrape API

Извлеките чистый, структурированный контент с любой веб-страницы.

Эндпоинт

POST https://api.firecrawl.ru/api/v1/scrape

Аутентификация

Требуется API ключ в одном из форматов:
# Вариант 1: X-API-Key заголовок (рекомендуемый)
X-API-Key: YOUR_API_KEY

# Вариант 2: Bearer токен
Authorization: Bearer YOUR_API_KEY

# Вариант 3: Query параметр
?api_key=YOUR_API_KEY

Параметры запроса

url
string
required
URL страницы для парсинга
formats
array
default:"[\"markdown\"]"
Форматы данных для извлечения. Возможные значения: markdown, html, json, links, screenshot
onlyMainContent
boolean
default:false
Извлекать только основной контент, исключая навигацию и боковые панели
includeTags
array
HTML теги для включения в результат (например, ["h1", "p", "div"])
excludeTags
array
HTML теги для исключения из результата (например, ["script", "style"])
timeout
number
default:30000
Таймаут запроса в миллисекундах
maxAge
number
Максимальный возраст кэша в миллисекундах
proxy
string
Тип прокси для использования. Возможные значения: stealth, default
useLocalFirst
boolean
default:true
Попробовать сначала локальный парсер, затем облачный при неудаче
forceLocal
boolean
default:false
Принудительно использовать только локальный парсер
forceCloud
boolean
default:false
Принудительно использовать только облачный парсер

Пример запроса

curl -X POST https://api.firecrawl.ru/api/v1/scrape \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com",
    "formats": ["markdown", "html"],
    "onlyMainContent": true,
    "excludeTags": ["script", "style", "nav"]
  }'

Ответ

success
boolean
Указывает, был ли запрос успешным
url
string
URL обработанной страницы
data
object
Извлеченные данные со страницы
source
string
Источник парсинга: local или cloud
processingTime
number
Время обработки в миллисекундах
error
string
Сообщение об ошибке (если произошла ошибка)

Пример успешного ответа

{
  "success": true,
  "url": "https://example.com",
  "data": {
    "markdown": "# Пример сайта\n\nЭто пример веб-страницы с различным контентом...",
    "html": "<h1>Пример сайта</h1>\n<p>Это пример веб-страницы с различным контентом...</p>",
    "links": [
      "https://example.com/page1",
      "https://example.com/page2"
    ],
    "metadata": {
      "title": "Пример сайта - Главная страница",
      "description": "Это пример веб-сайта для демонстрации",
      "statusCode": 200,
      "loadTime": 1234,
      "sourceURL": "https://example.com",
      "language": "ru"
    }
  },
  "source": "local",
  "processingTime": 856
}

Коды ошибок

400
Bad Request
Неверные параметры запроса
401
Unauthorized
Неверный или отсутствующий API ключ
403
Forbidden
Недостаточно прав или превышен лимит плана
408
Request Timeout
Превышен таймаут обработки
429
Too Many Requests
Превышен лимит запросов
500
Internal Server Error
Внутренняя ошибка сервера

Пример ошибки

{
  "success": false,
  "url": "https://example.com",
  "error": "Таймаут загрузки страницы",
  "source": "local",
  "processingTime": 30000
}