Что такое llms.txt и зачем он нужен сайту
Люди всё чаще спрашивают не поисковик, а нейросеть. llms.txt — это открытый стандарт, который помогает языковым моделям правильно понимать ваш сайт. Разбираем, как он устроен и что даёт на практике.
Определение и происхождение
llms.txt — это текстовый файл в формате Markdown, который размещается в корне сайта по адресу /llms.txt и рассказывает языковым моделям, о чём сайт и какие страницы на нём главные. Название расшифровывается просто: LLMs — large language models, большие языковые модели.
Стандарт предложил в сентябре 2024 года Джереми Ховард — сооснователь Answer.AI и fast.ai, один из самых известных практиков машинного обучения. Спецификация опубликована на llmstxt.org и открыта для всех.
Идея та же, что у robots.txt в 1994 году: договориться об одном стандартном месте, где машина найдёт то, что ей нужно. Только на этот раз машина — не поисковый робот, а нейросеть.
Какую проблему решает
Когда ChatGPT, Claude или Perplexity нужно ответить на вопрос по материалам сайта, они сталкиваются с двумя ограничениями:
- Контекстное окно не резиновое. Модель не может «прочитать весь сайт» — ей приходится выбирать, что загружать. Без подсказок выбор получается случайным.
- HTML — шумный формат. Меню, скрипты, баннеры, футеры занимают до 90–95% страницы. Полезный текст тонет в разметке, а каждый лишний килобайт — потраченные токены.
llms.txt решает обе проблемы: в паре килобайт чистого Markdown модель получает название проекта, его суть и аннотированный список ключевых страниц. Вместо того чтобы блуждать по сайту, она сразу идёт по нужным адресам.
Как устроен файл
Формат намеренно простой — файл легко написать вручную и легко разобрать программой. По спецификации элементы идут в строгом порядке:
- Заголовок H1 — название сайта или проекта. Единственный обязательный элемент.
- Цитата-описание (
>) — одно-два предложения о сути проекта. - Свободный текст — при необходимости: контекст, аудитория, важные оговорки. Без заголовков.
- Разделы H2 со списками ссылок — каждая ссылка в формате
[название](URL): пояснение. Пояснение необязательно, но полезно. - Раздел
## Optional— особый: ссылки из него модель может пропустить, если контекст ограничен.
# Название проекта > Одно предложение, объясняющее, что это и для кого. ## Документация - [Быстрый старт](https://example.ru/docs/start): установка за 5 минут - [Справочник API](https://example.ru/docs/api) ## Optional - [История изменений](https://example.ru/changelog)
Спецификация также рекомендует отдавать Markdown-версии самих страниц: добавьте .md к адресу страницы — например, /docs/start.md рядом с /docs/start. Так модель получает чистый текст без HTML-шума.
Отличия от robots.txt и sitemap.xml
Эти файлы часто путают, но задачи у них разные:
| Критерий | robots.txt | sitemap.xml | llms.txt |
|---|---|---|---|
| Задача | Ограничить обход | Перечислить всё | Выделить главное |
| Аудитория | Поисковые роботы | Поисковые роботы | Языковые модели |
| Формат | Директивы | XML | Markdown |
| Описания страниц | Нет | Нет | Да, с пояснениями |
| Читается человеком | С трудом | Плохо | Легко |
Важно: llms.txt дополняет, а не заменяет классические файлы. robots.txt и sitemap.xml по-прежнему нужны для поисковиков — держите на сайте все три.
Кто уже использует
Стандарт быстрее всего прижился там, где точность ответа ИИ критична — в документации технологических продуктов. Живые файлы публикуют:
- Anthropic — документация Claude API;
- Cursor, GitHub, Expo, Supabase, Vercel, Stripe — документация для разработчиков;
- Perplexity — сам ИИ-поисковик описывает свою документацию;
- Cloudflare, Zapier — справочные центры и порталы разработчиков.
Ссылки на эти файлы с разбором, что у них устроено хорошо, — на странице примеров.
llms.txt и SEO: честный разбор
Вокруг llms.txt много маркетингового шума, поэтому зафиксируем факты:
- Официальной поддержки поисковиков нет. Ни Google, ни Яндекс, ни OpenAI публично не обязались учитывать llms.txt при ранжировании или формировании ответов.
- Но экосистема файл уже читает. ИИ-редакторы кода и агенты (Cursor, Claude Code и другие) используют llms.txt, чтобы находить документацию; крупные компании публикуют файлы не для галочки.
- Классическому SEO файл не вредит и не помогает напрямую. Это отдельный канал — для генеративных движков (то, что называют GEO, generative engine optimization).
- Цена вопроса — минуты. Создание файла ничем не рискует и почти ничего не стоит, а потенциальная отдача — точные упоминания вашего сайта в ответах нейросетей.
Нужен ли llms.txt именно вам
Файл имеет смысл практически для любого содержательного сайта:
- Документация и SaaS — самый сильный кейс: пользователи спрашивают ИИ-ассистентов о вашем продукте прямо сейчас;
- Интернет-магазины — помогите моделям находить актуальные категории, условия доставки и оплаты;
- Услуги и локальный бизнес — цены, география работы, преимущества — то, что модель должна пересказывать без ошибок;
- Блоги и СМИ — выделите лучшие материалы, чтобы именно на них ссылались нейросети.
Создать файл можно за минуту: генератор llms.txt соберёт страницы из sitemap и сгруппирует их по разделам, а валидатор проверит результат по спецификации. Если хотите разобраться в деталях — читайте пошаговую инструкцию.