Definitie
llms.txt is een voorgesteld tekstbestand in de root van je website (/llms.txt) dat taalmodellen een compacte, Markdown-geformatteerde samenvatting geeft van wat je site is en welke pagina's het belangrijkst zijn. Het voorstel komt uit september 2024 van Jeremy Howard (Answer.AI) en is bedoeld als tegenhanger van robots.txt: niet 'wat mag je crawlen' maar 'dit moet je weten en hier vind je het'.
Het bestand begint met een H1 met de naam van de site, een korte beschrijving als blockquote en daarna secties met lijsten van links, elk met een korte toelichting. Een optionele sectie 'Optional' markeert links die weggelaten mogen worden als de contextruimte beperkt is. Daarnaast stelt het voorstel voor om per pagina een Markdown-versie aan te bieden op dezelfde URL met .md erachter, en een uitgebreid bestand /llms-full.txt met alle inhoud in één document.
De eerlijkheid gebiedt te zeggen dat de adoptie aan de kant van de engines beperkt is. Geen van de grote spelers — OpenAI, Google, Anthropic, Perplexity — heeft bevestigd dat hun crawlers of answer engines llms.txt gebruiken bij het ophalen van bronnen, en Google heeft publiekelijk aangegeven dat het bestand voor Google Search niets doet. Vooral documentatiesites en developer-tools hebben het bestand omarmd, omdat AI-coding-assistenten er wél mee overweg kunnen als een gebruiker het expliciet aanbiedt.
Waarom het dan toch toevoegen? Omdat het weinig kost, geen nadelen heeft en je dwingt om te bepalen welke pagina's je écht wilt dat een model kent. Het is bovendien een handig hulpmiddel voor je eigen AI-toepassingen en voor partners die met je documentatie werken. Zie het als een nette gewoonte, niet als een rankingfactor.
Wat wél aantoonbaar telt voor AI-zichtbaarheid: crawlbare, snelle pagina's met een direct antwoord, entiteiten en structured data, en het niet blokkeren van AI-crawlers in robots.txt. Traze genereert llms.txt automatisch mee vanuit de sitemap en de belangrijkste pagina's, maar besteedt de echte aandacht aan de pagina's zelf.