디자인 파트너 프리뷰CRAWL API · 디자인 파트너 프리뷰

여러 페이지를 수집하고탐색 범위를 명확하게 유지하세요.

Crawl은 여러 페이지 수집이 필요한 워크플로를 위한 기능입니다. 광범위한 프로덕션 검증이 완료될 때까지 디자인 파트너 프리뷰로 표시합니다.

제한형 다중 페이지 작업
재시도 및 큐 제어
작업 상태 및 아티팩트 전달

Crawl은 현재 프리뷰 기능입니다

가용성과 한도는 계정, 환경, 대상 소스 및 현재 제품 문서의 구성에 따라 달라집니다.

엔드포인트
/api/v1/crawl
입력
시드 URL + 문서화된 제한
출력
작업 상태 + 페이지별 아티팩트
요청 예시
POST /api/v1/crawl
{
  "url": "https://example.com/docs",
  "limit": 50
}
예상 응답 구조
{
  "status": "queued",
  "job_id": "...",
  "coverage": "pending"
}

기능

명시적인 제한이 있는 탐색

목표는 무제한 크롤러가 아니라 명확한 범위, 진행 상태, 재시도 정책, 중단 조건을 가진 수집 작업입니다.

01

제한형 탐색

페이지와 깊이 제한을 명시해 수집을 이해하고 제어할 수 있게 합니다.

02

큐 기반 실행

다중 페이지 작업을 재시도·조정·관찰 가능한 작업으로 표현합니다.

03

정직한 부분 실패

합격 기준을 만족하지 않으면 페이지나 작업을 실패 또는 미완료 상태로 유지합니다.

워크플로

Crawl 워크플로 설계 방식

실행 전에 범위를 정의하고 수집 후 커버리지를 검증합니다.

01

범위

승인된 시드 또는 필터링된 Map 결과에서 시작합니다.

02

제한

문서화된 탐색 및 페이지 제한을 설정합니다.

03

수집

구성된 워커로 페이지를 처리하고 작업 상태를 기록합니다.

04

조정

실패, 커버리지, 아티팩트, 다운스트림 합격 결과를 검토합니다.

사용 사례

프리뷰 검증에 적합한 사례

문서 컬렉션

공개 문서 사이트의 명확한 섹션을 수집합니다.

카탈로그 연구

발견 후 제한된 목록 페이지 집합을 수집합니다.

지식베이스 갱신

정의된 공개 소스 집합을 합의된 주기로 갱신합니다.

자주 묻는 질문

범위를 먼저 증명한 뒤 규모를 약속하세요.

제한된 워크로드와 합격 기준을 가져와 프로덕션 의존성으로 만들기 전에 동작을 검증하세요.