01
제한형 탐색
페이지와 깊이 제한을 명시해 수집을 이해하고 제어할 수 있게 합니다.
Crawl은 여러 페이지 수집이 필요한 워크플로를 위한 기능입니다. 광범위한 프로덕션 검증이 완료될 때까지 디자인 파트너 프리뷰로 표시합니다.
가용성과 한도는 계정, 환경, 대상 소스 및 현재 제품 문서의 구성에 따라 달라집니다.
POST /api/v1/crawl
{
"url": "https://example.com/docs",
"limit": 50
}{
"status": "queued",
"job_id": "...",
"coverage": "pending"
}기능
목표는 무제한 크롤러가 아니라 명확한 범위, 진행 상태, 재시도 정책, 중단 조건을 가진 수집 작업입니다.
페이지와 깊이 제한을 명시해 수집을 이해하고 제어할 수 있게 합니다.
다중 페이지 작업을 재시도·조정·관찰 가능한 작업으로 표현합니다.
합격 기준을 만족하지 않으면 페이지나 작업을 실패 또는 미완료 상태로 유지합니다.
워크플로
실행 전에 범위를 정의하고 수집 후 커버리지를 검증합니다.
승인된 시드 또는 필터링된 Map 결과에서 시작합니다.
문서화된 탐색 및 페이지 제한을 설정합니다.
구성된 워커로 페이지를 처리하고 작업 상태를 기록합니다.
실패, 커버리지, 아티팩트, 다운스트림 합격 결과를 검토합니다.
사용 사례
공개 문서 사이트의 명확한 섹션을 수집합니다.
발견 후 제한된 목록 페이지 집합을 수집합니다.
정의된 공개 소스 집합을 합의된 주기로 갱신합니다.
자주 묻는 질문
제한된 워크로드와 합격 기준을 가져와 프로덕션 의존성으로 만들기 전에 동작을 검증하세요.