llms.txt is een voorgesteld platte-tekstbestand, geschreven in Markdown en geserveerd in de root van je site (/llms.txt), dat je belangrijkste pagina's opsomt met beschrijvingen van één regel, zodat tools op basis van taalmodellen je beste content kunnen vinden zonder je hele site te hoeven verwerken. Het werd in september 2024 voorgesteld door Jeremy Howard van Answer.AI. Het is geen robots-bestand: het staat niets toe en blokkeert niets. Op het moment van schrijven heeft geen van de grote AI-antwoordmachines publiekelijk bevestigd dat ze llms.txt lezen bij het beantwoorden van vragen, en Google heeft gezegd het niet te gebruiken. Het is goedkoop om toe te voegen, nuttig voor tools die het op verzoek ophalen, en makkelijk aan te zien voor een rankinghefboom die het niet is.
Wat llms.txt is
Het idee is simpel. Webpagina's zijn gebouwd voor browsers: navigatie, scripts, banners, footers, en ergens in het midden de echte content. Een taalmodel met een beperkt contextvenster dat je site wil begrijpen, moet veel pagina's ophalen en van elke pagina het meeste weggooien. llms.txt biedt een kortere weg: één klein Markdown-bestand dat zegt wat de site is en linkt naar de pagina's die ertoe doen, met een zin over elk.
Het voorgestelde formaat is strikt genoeg om te parsen en los genoeg om met de hand te schrijven:
- Een H1 met de naam van de site of het project. Dit is het enige verplichte element.
- Een blockquote met een korte samenvatting van wat de site is en wat een lezer er vindt.
- Optionele alinea's of lijsten met context die een lezer helpt de links te interpreteren.
- H2-secties die links groeperen. Elke link is een Markdown-link gevolgd door een dubbele punt en een beschrijving van één regel.
- Een optionele H2 met de naam "Optional" voor secundaire pagina's die een tool mag overslaan als de context krap is.
Een bijbehorend bestand, llms-full.txt, kan de volledige tekst van de opgesomde pagina's in één Markdown-document bevatten, voor tools die één verzoek verkiezen boven vele.
Een voorbeeld
Een kort voorbeeld voor een fictieve site van boekhoudsoftware (voorbeeldcontent, geen echt bedrijf):
# Voorbeeld Boekhouden
> Online boekhoudsoftware voor zzp'ers en kleine bedrijven in Nederland. Facturen, uitgaven, btw-aangifte en bankkoppelingen in één tool.
## Product
- [Functies](https://example.com/functies): Wat de software doet, per module, met schermafbeeldingen.
- [Prijzen](https://example.com/prijzen): Abonnementen, wat elk bevat en hoe facturering werkt.
- [Bankkoppelingen](https://example.com/banken): Welke Nederlandse en Belgische banken worden ondersteund en hoe synchronisatie werkt.
## Gidsen
- [Btw-aangifte voor zzp'ers](https://example.com/gidsen/btw-aangifte): Hoe de kwartaalaangifte btw werkt en hoe je die vanuit de software indient.
- [Factuureisen in Nederland](https://example.com/gidsen/factuureisen): De velden die een Nederlandse factuur moet bevatten.
## Optional
- [Changelog](https://example.com/changelog): Releasenotes per maand.
- [Werken bij](https://example.com/werken-bij): Openstaande functies.
Dat is alles. Samengesteld, feitelijk, kort.
Wat llms.txt niet is
| Bestand | Doel | Wie het leest | Effect |
|---|---|---|---|
| robots.txt | Vertelt crawlers welke paden ze mogen ophalen | Elke nette crawler, inclusief AI-crawlers | Staat toegang toe of blokkeert die |
| sitemap.xml | Somt elke canonical URL op voor ontdekking | Zoekmachinecrawlers | Helpt crawlers pagina's vinden; geen selectie |
| llms.txt | Wijst taalmodeltools naar de pagina's die de site het beste uitleggen | Tools die het op verzoek ophalen; gebruik door engines onbevestigd | Alleen richting; geen toegangscontrole, geen rankingeffect |
De meest voorkomende verwarring is llms.txt behandelen als "robots.txt voor AI". Het lijkt meer op een samengestelde leeslijst. Toegang wordt nog steeds bepaald door robots-regels per crawler (GPTBot, OAI-SearchBot, PerplexityBot, ClaudeBot, Google-Extended en de rest), en een pagina die je in llms.txt opsomt maar in robots.txt blokkeert, is een pagina die de tool niet kan lezen.
Wie het vandaag leest
Eerlijkheid is hier nuttig. Het gebruik is reëel bij documentatietools en producten voor developers: veel API- en frameworksites publiceren er een, en sommige codeerassistenten en agents halen het op als een gebruiker ze naar een site wijst. Het gebruik door de grote antwoordmachines is onbevestigd. OpenAI, Perplexity en Anthropic hebben llms.txt niet gedocumenteerd als onderdeel van hoe hun zoek- of antwoordproducten bronnen selecteren, en Google heeft gezegd het bestand niet te gebruiken. Antwoorden in die engines worden gestuurd door gewoon crawlen, indexeren en de kwaliteit van de pagina's zelf.
De praktische waarde vandaag zit dus bij tools die het bestand op verzoek ophalen, en bij de selectieoefening die het je oplegt: bepalen welke twintig tot honderd pagina's je bedrijf het beste uitleggen is werk dat die pagina's beter maakt.
Moet je er een maken?
Ja, als het je een uur kost en je het actueel kunt houden. Het is vooral zinvol voor:
- SaaS-producten en developertools met documentatie.
- Sites met een helpcenter of kennisbank die klantvragen al beantwoordt.
- Bedrijven die één plek willen om in gewone taal te zeggen wat ze zijn en voor wie.
Denk twee keer na als de enige manier om het bij te houden een handmatige lijst is die over drie maanden verouderd is, of als je verwacht dat het je rankings of citaties verandert. Dat doet het op zichzelf niet.
Zo maak je llms.txt
- Kies de pagina's. Twintig tot honderd pagina's die echte vragen beantwoorden over je product, dienst, prijzen en hoe dingen werken. Niet elke URL; daar is de sitemap voor.
- Schrijf beschrijvingen van één regel. Feitelijk, specifiek, geen slogans. "Welke banken worden ondersteund en hoe synchronisatie werkt" wint van "Ontdek onze krachtige integraties".
- Groepeer in secties. Product, prijzen, gidsen, documentatie, bedrijf. Drie tot zes secties is ruim voldoende.
- Voeg een Optional-sectie toe voor pagina's die nuttig maar niet essentieel zijn.
- Serveer het in de root als /llms.txt met een tekst-contenttype, UTF-8, zonder HTML eromheen.
- Genereer het vanuit je CMS als dat kan, zodat nieuwe gidsen en pagina's bij publicatie worden toegevoegd en verwijderde pagina's verdwijnen.
- Voeg optioneel llms-full.txt toe met de volledige Markdown-tekst van de opgesomde pagina's. Houd de grootte in de gaten; een bestand van meerdere megabytes helpt niemand.
- Controleer het tegen robots.txt. Elke opgesomde pagina moet ophaalbaar zijn voor de crawlers die je toelaat.
Veelgemaakte fouten
- Elke URL van de site opsommen. Dat is een sitemap in het verkeerde formaat.
- Marketingbeschrijvingen. Een tool dat "de beste oplossing voor moderne teams" leest, leert niets.
- Een verouderd bestand dat linkt naar pagina's die verhuisd of verwijderd zijn.
- llms.txt publiceren terwijl je de crawlers blokkeert die de pagina's zouden lezen.
- Verwachten dat het verandert wat ChatGPT, Perplexity of AI Overviews citeren. Die beslissingen worden op de pagina's zelf genomen: directe antwoorden, heldere entiteiten, structuur, actualiteit.
llms.txt en je AI-crawlerbeleid
llms.txt is een wegwijzer; toegang is beleid. Bepaal per crawler wat je toelaat: trainingscrawlers, zoekcrawlers, ophalen op verzoek van een gebruiker. Waar een leverancier die scheidt (OpenAI doet dat, met GPTBot voor training en OAI-SearchBot voor zoeken), kun je zoeken toelaten en training blokkeren. Maak de robots-regels expliciet, controleer dat de botbescherming van je CDN ze niet ongedaan maakt, en maak llms.txt daarna consistent met het resultaat. Een net paar bestanden zegt twee keer hetzelfde: dit zijn wij, dit mag je lezen.
Conclusie
llms.txt is een klein, verstandig bestand met een eerlijke beperking: het helpt tools die erom vragen, en het verandert op zichzelf niet hoe AI-antwoordmachines je citeren. Maak er een als je het actueel kunt houden, schrijf het als een samengestelde, feitelijke index, houd het consistent met je robots-regels en steek je echte energie in de pagina's waar het naar wijst. Wil je het bestand automatisch onderhouden hebben naast het crawlerbeleid en een wekelijkse meting van of ChatGPT, Perplexity, Gemini en AI Overviews je daadwerkelijk citeren, bekijk dan hoe AI-zichtbaarheid in Traze werkt.