llms.txt, schema ja robots.txt: kolm faili, mis otsustavad, kas AI sinu lehte loeb
AI-robotid otsustavad mõne sekundiga, kas nad sinu lehte loevad ja mida nad sellest aru saavad. Need kolm faili ja üks tehniline lõks (JavaScript) on sageli põhjus, miks AI sind ei soovita.
Enne kui AI saab sinu ettevõtet soovitada, peab tema robot su lehele pääsema, sisu lugema ja sellest aru saama. Kõik kolm sammu võivad ebaõnnestuda ilma, et keegi seda märkaks: leht töötab inimestele suurepäraselt, aga AI jaoks on see tühi või suletud.
1. robots.txt: kas AI-robot tohib sisse tulla
robots.txt on fail sinu domeeni juures (sinuleht.ee/robots.txt), mis ütleb robotitele, kuhu nad tohivad minna. Paljud turvapluginad ja hostingud blokeerivad AI-roboteid vaikimisi, ilma et omanik seda teaks.
AI-robotid jagunevad kolme rühma:
| Tüüp | Näited | Mida teeb |
|---|---|---|
| Otsingurobotid | OAI-SearchBot, Claude-SearchBot, PerplexityBot | Indekseerivad lehti AI-otsingu jaoks. |
| Kasutaja nimel | ChatGPT-User, Claude-User, Perplexity-User | Avavad lehe, kui kasutaja küsib midagi, mis vajab värsket infot. |
| Treeningrobotid | GPTBot, ClaudeBot, Google-Extended, CCBot | Koguvad andmeid mudelite treenimiseks. |
Kui tahad AI-otsingus nähtav olla, ära blokeeri otsinguroboteid ega kasutaja nimel tegutsevaid roboteid. Treeningrobotite puhul on otsus sinu.
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-User
Allow: /
User-agent: PerplexityBot
Allow: /Varjatud lõks: robotikaitse
Isegi kui robots.txt on korras, võib Cloudflare'i või mõne muu veebitulemüüri robotikaitse näidata robotitele lehte „Just a moment…“ ja mitte lasta neid sisuni. Cloudflare hakkas 2025. aastal uutel domeenidel AI-roboteid vaikimisi blokeerima. Kontrolli Cloudflare'i seadetes jaotist AI Crawl Control ja Bot Fight Mode'i erandeid.
2. Schema: kas AI saab andmetest aru
Schema (struktuurandmed, JSON-LD) on masinloetav kirjeldus sellest, mis lehel on. Inimene näeb aadressi jaluses, AI näeb "streetAddress": "Pärna tn 20a". Google ja AI-mootorid loevad seda esimesena, sest seal ei ole vaja tekstist midagi välja arvata.
Minimaalne komplekt ettevõtte kodulehele:
- Organization või LocalBusiness: nimi, aadress, telefon, e-post, asutamisaasta, sotsiaalmeedia lingid (sameAs).
- Service või Product koos Offer-iga: mida müüd ja mis hinnaga.
- FAQPage: ainult siis, kui KKK on lehel päriselt nähtav.
Levinud viga on see, et WordPressi SEO-plugin lisab ainult Organization-schema ning teenused ja hinnad jäävad masinloetavaks tegemata. Teine levinud viga on see, et e-poe tootelehel puudub Offer koos hinna, valuuta ja laoseisuga.
3. llms.txt: lühitutvustus AI-le
llms.txt on 2024. aastal pakutud standard: tekstifail domeeni juures (sinuleht.ee/llms.txt), mis ütleb AI-le lihtsas Markdownis, kes sa oled, mida müüd ja millised lehed on olulised. See ei asenda schemat ega sisu, aga aitab AI-l kiiresti õigesse kohta jõuda.
# Firma OÜ
> Paigaldame piirdeaedu ja väravaid Harjumaal. Hind alates 25 €/jm.
## Teenused
- [Võrkaiad](https://firma.ee/vorkaiad): paigaldus 1–2 päevaga
- [Väravad](https://firma.ee/väravad): liug- ja tiibväravad
## Kontakt
- +372 5555 5555 · info@firma.eeRank Mathi ja Yoasti uuemad versioonid oskavad llms.txt-i genereerida. Automaatne fail loetleb aga tavaliselt ainult postitusi. Kirjuta tutvustus ja teenuste osa käsitsi üle.
4. JavaScripti pimeala
ChatGPT, Claude'i ja Perplexity robotid loevad lehe HTML-i, aga ei käivita JavaScripti. Kui sinu leht on ehitatud nii, et tekst, hinnad või menüü tekivad alles brauseris JavaScriptiga (sageli Reacti, Vue või mõne lehekülje-ehitaja puhul), näeb AI-robot tühja lehte.
Lihtne test: ava leht, vajuta Ctrl+U ja otsi lähtekoodist oma avalehe esimest lauset. Kui seda seal pole, on sisu AI eest peidus. Lahendus on serveripoolne renderdus (SSR) või eelrenderdus, et põhitekst oleks HTML-is olemas.
Kontroll-leht
- robots.txt ei blokeeri AI-otsingu ega kasutaja nimel tegutsevaid roboteid.
- Robotikaitse ei näita AI-robotitele kontrolllehte.
- Organization- või LocalBusiness-schema koos kontaktiga.
- Service- või Product-schema koos hinnaga.
- llms.txt, kus tutvustus ja teenused on käsitsi kirjutatud.
- Põhitekst on HTML-is olemas ka ilma JavaScriptita.
Kõik need kontrollid teeb automaatselt tasuta AI-audit. Kui soovid teada, miks see kõik oluline on, loe artiklit AI-audit: kuidas kontrollida, kas ChatGPT, Claude ja Gemini soovitavad sinu ettevõtet.
Korduma kippuvad küsimused
Kas llms.txt on kohustuslik?
Ei ole. llms.txt on 2024. aastal pakutud vabatahtlik standard. See aitab AI-l kiiresti aru saada, kes sa oled ja millised lehed on olulised. Faili lisamine võtab vähem kui tunni.
Milliseid AI-roboteid ei tohiks robots.txt-s blokeerida?
Kui tahad AI-otsingus nähtav olla, luba vähemalt OAI-SearchBot ja ChatGPT-User (ChatGPT), ClaudeBot ja Claude-User (Claude), PerplexityBot, Googlebot ja Bingbot. Treeningrobotid nagu GPTBot, Google-Extended või CCBot võid soovi korral blokeerida.
Milline schema on ettevõtte kodulehel kõige olulisem?
Organization või LocalBusiness koos aadressi, telefoni ja e-postiga. Seejärel Service või Product koos hinnaga ning FAQPage, kui lehel on päris KKK.
Kuidas teada, kas AI näeb minu sisu ilma JavaScriptita?
Ava lehe lähtekood (Ctrl+U) ja otsi sealt oma põhiteksti. Kui teksti seal pole, ei näe enamik AI-roboteid seda. AgentsLaunchi audit võrdleb toorest HTML-i ja brauseris renderdatud lehte automaatselt.