🤖llms.txt 작성

llms.txt란

llms.txt는 AI 크롤러에 사이트의 요점과 읽히고 싶은 주요 페이지를 알리기 위한 텍스트 파일로, 사이트의 최상위 아래에 /llms.txt로 설치합니다. 형식은 Markdown이며, 사이트명부터 순서대로 요약과 주요 페이지 목록을 나열합니다.

• 사이트명과 요약：첫 줄에 「#」를 붙여 사이트명을 쓰고, 그 다음에 「>」로 시작하는 한 줄 요약을 놓는 것이 기본 형태입니다.
• 섹션과 링크：「##」로 시작하는 제목으로 페이지를 그룹으로 나누고, 그 아래에 페이지명과 URL과 한 줄 설명을 한 줄씩 나열합니다.
• Optional 섹션：Optional라는 제목의 섹션은 AI가 건너뛰고 읽을 수 있는 보조적인 페이지를 모으는 선택 사항의 구간입니다.

다른 안내 파일과의 차이

• robots.txt：robots.txt는 크롤러의 순회를 허가 또는 거부하기 위한 파일로, 읽히고 싶은 내용 자체는 작성하지 않습니다.
• sitemap.xml：sitemap.xml은 사이트 내의 URL을 기계가 읽을 수 있는 형태로 나열하는 파일로, 각 페이지의 요점이나 우선순위 설명은 포함하지 않습니다.
• llms-full.txt：llms-full.txt는 페이지 본문을 모아 하나의 파일에 담은 전문 버전으로, 링크 목록을 보여주는 llms.txt와는 별개입니다.

의미가 없다고 하는 이유

llms.txt는 2024년에 제안된 새로운 사양으로, 대응을 공표한 AI 서비스가 아직 제한적이기 때문에 설치해도 효과를 측정하기 어려운 점이 지적되고 있습니다. 보급을 기대하고 먼저 설치할지, 대응 상황을 본 후 판단할지는 운영자의 방침에 따라 나뉩니다.