현재 이용 가능MAP API

사이트를 먼저 발견하고수집 범위를 계획하세요.

Map은 공개 sitemap, robots, 페이지 링크 신호에서 사이트 구조를 발견하고 중복 제거된 URL 집합을 반환해 다운스트림 수집 계획을 돕습니다.

Sitemap 및 robots 발견
렌더링 페이지 링크 발견
소스 컨텍스트가 포함된 중복 제거 URL

Map에는 현재 프로덕션 증거가 있습니다

가용성과 한도는 계정, 환경, 대상 소스 및 현재 제품 문서의 구성에 따라 달라집니다.

엔드포인트
/api/v1/map
입력
하나 이상의 공개 시드 URL
출력
발견 URL + Map 아티팩트
요청 예시
POST /api/v1/map
{
  "url": "https://example.com"
}
예상 응답 구조
{
  "status": "queued",
  "job_id": "...",
  "artifacts": { "links": "..." }
}

기능

실행 전에 먼저 발견

알 수 없는 도메인을 명시적 범위로 바꿔 필터링·검토한 뒤 제한된 다운스트림 작업으로 전달합니다.

01

다중 발견 신호

공개 sitemap, robots, 렌더링 페이지 링크를 함께 사용해 단일 신호의 불완전성을 줄입니다.

02

소스 인지 링크

URL이 어떻게 발견되었는지 보존해 다운스트림 계획에서 컨텍스트를 잃지 않습니다.

03

사전 Crawl 범위

더 비싼 다중 페이지 수집 전에 가치 있는 경로를 필터링하고 우선순위를 정합니다.

워크플로

Map이 워크플로에 들어가는 방식

발견으로 범위를 정의한 뒤 사이트의 어떤 부분을 더 깊게 수집할지 결정합니다.

01

시드

공개 시작 URL을 제출합니다.

02

발견

사용 가능한 sitemap, robots, 페이지 링크 신호를 읽습니다.

03

정규화

발견 URL 집합을 중복 제거하고 정규화합니다.

04

계획

Map을 Fetch, Crawl, Track 또는 검토할 경로로 필터링합니다.

사용 사례

일반적인 Map 워크플로

Crawl 계획

다중 페이지 수집 전에 관련 URL 패턴을 식별합니다.

콘텐츠 인벤토리

공개 콘텐츠가 도메인에 어떻게 구성되어 있는지 파악합니다.

변경 발견

Map 스냅샷을 비교해 새로 생기거나 사라진 공개 경로를 찾습니다.

자주 묻는 질문

수집을 확장하기 전에 소스를 이해하세요.

Map으로 도메인을 검토 가능한 범위로 만들고 관련 경로만 다음 단계로 전달하세요.