홈페이지가 있는데도 AI가 못 읽는다는 말은 대개 디자인 문제가 아닙니다. AI 수집 로봇이 받아 가는 원본 HTML에 내용이 비어 있거나, 처음부터 접근이 막혀 있다는 뜻입니다.
고칠 곳은 세 군데입니다. 로봇의 접근 허용, 서버에서 완성된 본문, 문서의 제목 구조입니다. 순서대로 보면 원인을 대부분 좁힐 수 있습니다.
AI 크롤러는 화면이 아니라 원본을 읽습니다
대부분의 AI 크롤러는 브라우저처럼 화면을 그리지 않고, 서버가 처음 보낸 HTML만 읽습니다. Vercel과 MERJ가 2024년 12월 공개한 분석에서 GPTBot·ClaudeBot·PerplexityBot은 자바스크립트를 실행하지 않았고, 구글 인프라를 쓰는 Gemini만 렌더링을 했습니다.
그래서 사람 눈에는 멀쩡한 페이지도 본문을 자바스크립트로 나중에 채우는 구조라면, AI에게는 제목만 있는 빈 페이지로 보일 수 있습니다.
먼저 로봇이 들어올 수 있는지 봅니다
AI가 읽지 못하는 가장 흔한 원인은 내용이 아니라 접근 차단입니다. OpenAI 공식 문서는 OAI-SearchBot을 막은 사이트가 ChatGPT 검색 답변에 표시되지 않는다고 밝힙니다. Cloudflare도 2025년 7월부터 AI 크롤러를 기본 차단하는 방식으로 바꿨기 때문에, 직접 막은 적이 없어도 호스팅·보안 설정에서 막혀 있을 수 있습니다.
- robots.txt에 OAI-SearchBot·GPTBot·ClaudeBot 등을 막는 줄이 있는지
- Cloudflare 같은 보안 서비스에서 AI 크롤러 차단이 켜져 있는지
- 회원 로그인이나 팝업 뒤에 핵심 정보가 숨어 있지 않은지
본문은 서버에서 완성해 내보내야 합니다
회사 소개·서비스·연락처처럼 AI가 인용해야 할 내용은 서버에서 완성된 HTML로 내보내는 것이 원칙입니다. Vercel도 같은 분석에서 핵심 콘텐츠는 서버 렌더링을 우선하라고 권고합니다.
확인은 간단합니다. 브라우저에서 '페이지 소스 보기'를 열어 화면에 보이는 핵심 문장이 그대로 있는지 찾아보면 됩니다. 문장이 없고 스크립트만 보인다면 제작사에 서버 렌더링이나 정적 생성을 요청할 단계입니다. 이미지 속에 넣은 글자도 같은 이유로 본문에 텍스트로 옮겨야 합니다.
제목 구조가 문서의 목차가 됩니다
h1 제목 하나와 질문 단위의 h2 소제목은 AI가 페이지를 단락별로 나눠 읽는 기준이 됩니다. 소제목 없이 한 덩어리로 쓰인 페이지는 읽히더라도 어느 문장이 무엇에 대한 답인지 구분되지 않아 인용 후보가 되기 어렵습니다. 스키마 마크업은 이 구조 위에 붙이는 보조 라벨이지 대신하는 장치가 아닙니다.
AI가 읽는 것은 사람이 보는 화면이 아니라 서버가 보낸 원본 HTML입니다. 접근이 열려 있고, 원본에 본문이 있고, 소제목으로 나뉘어 있어야 AI 가시성의 출발선에 섭니다.
정리: 화면이 아니라 원본에서 고칩니다
AI가 못 읽는 홈페이지는 새로 만들기보다 막힌 접근을 풀고, 본문을 서버에서 완성하고, 소제목으로 나누는 순서로 고치는 경우가 대부분입니다. 이 세 가지가 갖춰져야 GEO·AEO 작업도 효과를 냅니다.
홈페이지가 사람 눈에는 멀쩡해 보여서 어디가 막혔는지 스스로 가리기 어렵다면, 무료 진단에서 AI가 우리 회사를 설명할 때 홈페이지의 어떤 페이지를 실제로 가져가고 어떤 페이지는 비어 있는지부터 보실 수 있습니다. 그 차이가 접근 차단인지 빈 원본인지 알면 제작사에 요청할 수정 항목이 한 줄로 정리됩니다.
