우리 사이트가 AI 크롤러를 막고 있는지 확인하는 3단계

AI 최적화 작업에서 가장 먼저 확인해야 할 것이 있습니다. 그리고 이건 콘텐츠를 한 글자도 쓰기 전에 봐야 합니다.

AI가 사이트를 읽지 못하면, 아무리 잘 써도 추천할 수 없습니다.

문이 잠긴 가게에 진열을 아무리 예쁘게 해도 소용없는 것과 같습니다. 그런데 이 문이 잠겨 있는 브랜드가 생각보다 많고, 대부분은 본인이 잠근 적이 없습니다. 플랫폼 기본 설정이기 때문입니다.

10분이면 끝나는 세 가지 확인 방법입니다.

1단계 — robots.txt (30초)

브라우저 주소창에 도메인 뒤에 /robots.txt를 붙여서 엽니다.

yourbrand.com/robots.txt

다음 이름들을 찾아보고, Disallow가 붙어 있는지 확인합니다.

특히 ChatGPT-User는 놓치기 쉽습니다. 이건 지금 대화하고 있는 소비자를 대신해 페이지를 열어보는 요청입니다. 여기가 막혀 있으면, 관심을 보인 소비자에게 페이지를 못 보여주는 셈입니다.

비어 있어도 안심하면 안 됩니다. robots.txt에 아무 언급이 없다면 User-agent: * 규칙을 따릅니다. 그 자체는 보통 문제가 없지만, 진짜 차단은 다른 데 있는 경우가 많습니다.

2단계 — 플랫폼과 방화벽 설정

robots.txt는 '요청'입니다. 방화벽은 '차단'입니다. 후자가 훨씬 강력하고, 훨씬 자주 문제를 일으킵니다.

Shopify — 봇 관리 설정과 앱이 AI 크롤러를 막는 경우가 있습니다. 테마에 따라 제품 정보가 클라이언트에서만 그려지기도 합니다.

Cloudflare — 여기가 가장 흔합니다. Bot Fight Mode와 AI 스크래퍼 차단 토글이 있고, 2025년부터 신규 도메인에 대해 AI 크롤러 차단이 기본값으로 적용되기 시작했습니다. 아무도 켜지 않았는데 켜져 있을 수 있습니다.

Cafe24 — 한국 브랜드가 미국향 사이트를 그대로 운영하는 경우가 많습니다. AI 크롤러 관련 설정 자체가 없고, 구조상 자바스크립트 의존도가 높습니다.

WAF·레이트 리밋 — 짧은 시간에 여러 페이지를 요청하는 크롤러가 공격으로 분류되어 차단되는 경우가 있습니다.

3단계 — 렌더링 확인 (2분)

이게 조용한 살인자입니다.

대표 제품 페이지에서 소스 보기(Windows: Ctrl+U / Mac: ⌥⌘U)를 누릅니다. 그리고 제품 설명 문구 한 구절을 검색해 봅니다(Ctrl+F).

• HTML 안에 있다 → 좋습니다
• 없다 → 자바스크립트로만 그려지고 있습니다

대부분의 AI 크롤러는 자바스크립트를 실행하지 않습니다. 사람 눈에는 완벽한 제품 페이지가, 크롤러 눈에는 빈 페이지입니다.

이건 robots.txt를 아무리 열어놔도 해결되지 않습니다. 렌더링 방식 자체를 바꿔야 합니다.

그리고 유일하게 확실한 증거: 서버 로그

위 세 가지는 전부 "막혀 있지 않다"를 확인하는 방법입니다. 하지만 막혀 있지 않은 것과 실제로 가져간 것은 다른 이야기입니다.

확실한 증거는 하나뿐입니다. 서버 로그에서 이름이 있는 크롤러의 실제 요청 기록을 확인하는 것.

GPTBot            서버 로그 요청 수  ← 이 숫자가 0이면 안 온 겁니다
OAI-SearchBot
ChatGPT-User
ClaudeBot
Google-Extended

Cloudflare를 쓴다면 Analytics에서 확인할 수 있고, 서버 로그에 직접 접근할 수 있다면 user-agent로 필터링하면 됩니다.

"허용되어 있다"는 설정이 아니라, "가져갔다"는 기록. 이게 유일하게 반박할 수 없는 증거입니다.

왜 이게 이 분야에서 가장 가치 있는 확인인가

세 가지 이유입니다.

이분법적입니다. 막혔거나 안 막혔거나. 해석의 여지가 없습니다.

빠릅니다. 대부분 며칠이면 풀립니다. 이 분야에서 가장 빨리 움직이는 항목입니다.

아무도 확인하지 않았습니다. 저희가 진단한 브랜드 중 상당수가 본인도 모르게 막고 있었습니다. 선택한 적이 없으니 의심할 이유도 없었던 겁니다.

지금 해보십시오

1. yourbrand.com/robots.txt 열기 — 30초
2. Cloudflare 쓰는지 확인, 쓴다면 AI 스크래퍼 설정 보기 — 3분
3. 제품 페이지 소스 보기에서 설명 문구 검색 — 2분

하나라도 걸리면, 그게 지금 가장 먼저 고칠 일입니다. 콘텐츠도 피드도 그다음입니다.

---

Orio의 첫 단계는 이 확인부터 시작합니다. 크롤러 차단을 풀고, 서버 로그로 실제 수집 기록까지 확인시켜 드립니다. 카테고리 하나 기준 무료 진단은 sayorio.com에서.