이 글에서 다루는 내용

이 글에서는 최근 개발자 문서 영역에서 주목받고 있는 llms.txt가 무엇인지, 기존의 robots.txt와 어떻게 다른지부터 시작해서 파일의 실제 구조와 현재의 표준 상태까지 정리합니다. 그리고 이 개념이 추상적인 이론에 머무르지 않도록, 토스페이먼츠 개발자센터가 자사 결제 연동 문서에 llms.txt를 어떻게 적용했는지를 실제 사례로 살펴봅니다. 마지막으로 Cursor나 Claude 같은 AI 도구에서 이 자원을 실전에서 어떻게 활용하는지 세 가지 방법으로 안내합니다.

llms.txt가 뭔가요?

llms.txt는 웹사이트가 LLM(대규모 언어 모델)에게 자기 콘텐츠를 더 잘 전달하기 위해 사이트 루트에 두는 마크다운 파일입니다. 2024년 9월 Jeremy Howard가 제안한 표준으로, robots.txt나 XML 사이트맵과 비슷한 위치에 두지만 목적이 정반대에 가깝습니다.

한 줄로 비교하면 이렇습니다.

  • robots.txt → "크롤러야, 여기는 들어오지 마" (차단과 접근 제어)
  • llms.txt → "LLM아, 중요한 내용은 여기에 깔끔하게 정리해뒀어" (안내와 큐레이션)

왜 필요한가

요즘 웹사이트는 자바스크립트 렌더링, 복잡한 DOM, 광고 마크업이 뒤섞여 있어서 모델이 HTML을 그대로 파싱하기엔 느리고 오류가 많습니다. llms.txt는 이런 잡음을 걷어내고 모델이 한 곳에서 사이트의 핵심을 빠르게 읽도록 돕습니다. 광고나 마크업, 스크립트 요소를 걸러내 토큰 사용까지 줄여주는 셈입니다.

파일은 어떻게 생겼나

순수 마크다운이고 형식은 단순합니다.

# 사이트/프로젝트 이름

> 사이트에 대한 한 줄 요약 (blockquote)

## Docs
- [Getting Started](https://example.com/start.md): 설치 및 시작 가이드
- [API Reference](https://example.com/api.md): 엔드포인트 전체 명세

## Optional
- [Changelog](https://example.com/changelog.md): 덜 중요한 보조 자료

H1으로 제목, blockquote로 설명, 그리고 핵심 페이지 링크와 설명을 구조화하는 형태입니다. 보통 가벼운 인덱스인 llms.txt와, 실제 콘텐츠를 전부 담은 무거운 llms-full.txt 두 가지 변형이 함께 쓰입니다.

아직은 "제안된 표준"이라는 점

여기가 중요합니다. 현재 llms.txt는 제안 단계의 표준일 뿐이고, OpenAI나 Google, Anthropic 같은 주요 AI 회사들이 크롤링 시 이 파일을 공식적으로 따른다고 밝힌 적은 없습니다. Google 쪽에서도 자사 크롤러가 이를 사용하지 않는다고 언급한 바 있습니다.

다만 실질적인 가치가 입증되는 영역은 따로 있습니다. 바로 개발자 문서입니다. Vercel, Stripe 같은 플랫폼이 코딩 어시스턴트가 자사 문서를 정확히 읽도록 이 표준을 채택했고, 토큰을 줄이고 올바른 API 예제를 제공하는 용도에서 실제 효과를 보고 있습니다. 즉 "검색 노출을 위한 것"이라는 마케팅성 주장보다, AI 코딩 도구가 문서를 정확히 읽게 만드는 용도에서 진짜 쓸모가 있다는 게 현재 합의에 가깝습니다.

실제 사례: 토스페이먼츠

토스페이먼츠 개발자센터는 llms.txt를 "AI 도구를 위해 제공하는 3가지 자원" 중 하나로 소개합니다. 추상적인 표준 설명이 아니라, "우리 결제 연동을 AI로 더 빠르게 하라"는 맥락에 녹여놓은 점이 특징입니다. 세 자원의 큰 그림은 이렇습니다.

  1. LLM Quick Reference — 결제 흐름 모델, 결정 룰, 시나리오 진입점, 자주 틀리는 패턴을 한 페이지에 압축한 컨텍스트 페이지. 토큰 효율을 위해 본문을 영어로 작성해둔 점이 인상적입니다.
  2. MCP 서버 — AI가 토스 문서를 직접 검색하게 해주는 서버. Cursor, VS Code, Claude Code, Claude Desktop, Codex, Windsurf 등에 대한 연동 경로를 제공합니다.
  3. llms.txt — AI에게 토스 문서 전체 구조를 알려주는 표준 인덱스. 주소는 https://docs.tosspayments.com/llms.txt입니다.

특히 실무적으로 가장 유용한 디테일이 따로 있습니다. 토스의 모든 문서 페이지는 URL 끝에 .md를 붙이면 HTML 없는 깨끗한 마크다운 원본을 받을 수 있습니다. 예를 들어 결제위젯 가이드라면 https://docs.tosspayments.com/guides/v2/payment-widget.md 형태입니다. 즉 llms.txt가 목차 역할을 하고, 각 페이지의 .md가 실제 본문 역할을 하는 구조로 짝을 이룹니다.

그래서 어떻게 쓰나

채팅창에 llms.txt URL만 던지면 끝일까요? 그렇게 간단하진 않습니다. llms.txt는 본문이 아니라 목차이기 때문에, AI가 이 파일을 열면 링크 목록만 보게 됩니다. 거기서 실제 코드나 정책을 알려면 그 링크를 추가로 따라가 읽어야 하고, 이 "따라가서 읽기"를 자동으로 하느냐가 도구마다 다릅니다. 상황별로 세 가지 방법을 추천합니다.

방법 1 — URL을 채팅에 붙여넣기 (가장 간단)

채팅창에 https://docs.tosspayments.com/llms.txt를 넣고 "이거 참고해서 결제위젯 연동 코드 짜줘" 식으로 요청합니다. Claude.ai나 Cursor처럼 웹을 직접 읽을 수 있는 도구는 인덱스를 보고 필요한 페이지까지 알아서 가져옵니다. 그렇지 않은 도구는 목차만 보고 멈추거나 본문을 추측해 부정확해질 수 있습니다.

방법 2 — 실제 본문(.md)을 직접 주기 (더 정확)

작업이 명확하면 인덱스 대신 해당 페이지의 .md 원본을 바로 주는 편이 정확합니다. 예를 들어 "https://docs.tosspayments.com/guides/v2/payment-widget.md 이거 참고해서 코드 짜줘"처럼요. URL 끝에 .md만 붙이면 깨끗한 본문이 나와 AI가 곧장 읽고 쓸 수 있습니다.

방법 3 — MCP 서버 연결 (가장 강력)

Cursor나 Claude Code를 쓴다면 URL을 매번 붙여넣는 것보다 MCP 서버를 한 번 설정해두는 편이 훨씬 낫습니다. 그러면 "결제 승인 서버 코드 짜줘"라고만 해도 AI가 알아서 토스 문서를 검색해 답합니다. URL 복사 붙여넣기 자체가 필요 없어집니다.

정리

지속적으로 토스 연동 작업을 한다면 MCP 서버 설정, 특정 기능 코드가 필요하면 그 페이지의 .md 전달, 빠르게 한 번 확인하려면 llms.txt URL 붙여넣기로 선택하면 됩니다. 토스페이먼츠는 llms.txt로 구조를 알려주고, .md 원본으로 깨끗한 본문을 주고, MCP 서버로 실시간 검색까지 붙인 3단 구성으로 개발자 문서에서의 llms.txt 활용을 잘 보여주는 사례입니다.