llms.txt: moet je dit bestand op je website hebben?

llms.txt is een tekstbestand in de root van een website dat AI-systemen een geordend overzicht van de belangrijkste pagina's geeft. Het is een voorstel uit september 2024 en geen vastgestelde standaard. Je hebt het niet nodig: 97% van alle llms.txt-bestanden krijgt nul verzoeken, gemeten over 137.210 domeinen.

Wat is llms.txt, en waar komt het voorstel vandaan?

llms.txt is een markdownbestand op /llms.txt dat een taalmodel in één oogopslag laat zien waar de bruikbare inhoud van een site staat. Het bevat een korte beschrijving van de site en daarna een lijst met links naar de belangrijkste pagina's.

Het voorstel voor het llms.txt-bestand is van Jeremy Howard en is gepubliceerd op 3 september 2024. De reden die erin staat is technisch: het contextvenster van een taalmodel is te klein voor een hele website, en HTML met navigatie, advertenties en JavaScript omzetten naar bruikbare platte tekst is lastig en onnauwkeurig.

Het voorstel gaat verder dan één bestand. Het adviseert ook om van elke nuttige pagina een schone markdownversie aan te bieden op dezelfde URL met .md erachter. Het oorspronkelijke voorbeeld is een softwareproject dat zijn documentatie zo aanbiedt, zodat een model tijdens het programmeren de juiste handleiding kan lezen.

Dat is de context die zelden wordt meegeleverd. Het voorstel is bedacht voor documentatie die een model tijdens het werk moet raadplegen, niet als vindbaarheidsmiddel voor een bedrijfswebsite. Een vastgestelde standaard is het niet: er is geen werkgroep, geen versienummer en geen partij die naleving controleert.

Wat zegt Google erover?

Google zegt letterlijk dat het niet nodig is. In de documentatie over AI-functies en je website staat dat je geen nieuwe machineleesbare bestanden, geen AI-tekstbestanden en geen markup hoeft te maken om in die functies te verschijnen, en dat er ook geen speciale schema.org-opmaak voor bestaat.

Dezelfde pagina noemt wat er wel toe doet: crawlen toestaan in robots.txt en bij je hostingpartij, belangrijke inhoud in tekstvorm aanbieden, en je gestructureerde data laten overeenkomen met de zichtbare tekst. De partij die het antwoord samenstelt, zegt dus dat je dit bestand er niet voor nodig hebt.

Wat gebeurt er met zo'n bestand in de praktijk?

Meestal niets. Van alle onderzochte llms.txt-bestanden krijgt 97% nul verzoeken, gemeten over 137.210 domeinen. Het bestand staat er, en er komt nooit iemand langs.

Dat is de reden dat wij dit artikel schrijven. Wij hadden zelf een llms.txt-bestand op brightbrands.online staan, en toen we het openden was het dit:

Wat werkt er dan wel?

Je tekst leesbaar maken voor een crawler die geen browser is. AI-crawlers voeren geen JavaScript uit, en dat geldt voor GPTBot, ClaudeBot en PerplexityBot. Staat je tekst pas in de pagina nadat JavaScript hem heeft opgebouwd, dan ziet zo'n crawler een lege pagina.

Daar helpt geen bestand tegen. Daar helpt het opbouwen van de pagina aan de serverkant: de tekst staat in de HTML die de server verstuurt, voordat er één script draait. Dat is een bouwkeuze, en de plek om hem te maken is bij het laten maken van je website en niet in een bijlage erna.

Praktisch: zet het antwoord op een echte klantvraag bovenaan de pagina, zet er een cijfer met bron en datum bij, noem je bronnen bij naam, en controleer of die tekst in de HTML staat.

Wanneer heeft een llms.txt-bestand wel zin?

Bij technische documentatie die een model tijdens het werk moet raadplegen. Dat is de situatie waarvoor het voorstel is geschreven, en daar doet het iets: een ontwikkelaar richt zijn hulpmiddel op jouw /llms.txt en het model haalt daar de juiste handleiding op.

Verkoop je software met een API of een pluginbibliotheek, dan is dat een reëel scenario. Verkoop je installatiewerk, catering of juridisch advies, dan raadpleegt niemand jouw documentatie tijdens het programmeren.

Kort samengevat