Permiterea sau blocarea crawlerelor AI: robots.txt și llms.txt
Serviciile AI precum ChatGPT, Claude, Gemini și Perplexity preiau pagini web: pentru a antrena modele, pentru a oferi răspunsuri de căutare sau pentru a răspunde la întrebarea unui utilizator. Cu robots.txt indicați care dintre acești roboți au voie să vă viziteze site-ul. Pe lângă acesta, există și propunerea llms.txt. În acest articol aflați ce roboți există, cum îi permiteți sau îi blocați și ce face și ce nu face llms.txt. Folosim example.com ca exemplu.
1. Cei mai importanți roboți AI
Majoritatea companiilor de AI folosesc nume separate pentru antrenare, căutare și preluare la cererea unui utilizator. Astfel puteți, de exemplu, să blocați antrenarea și totuși să apăreți în răspunsurile de căutare.
| Nume în robots.txt | De la | Scop |
|---|---|---|
GPTBot | OpenAI | Colectarea de pagini care pot fi folosite pentru antrenarea modelelor |
OAI-SearchBot | OpenAI | Funcția de căutare a ChatGPT. Dacă îl blocați, site-ul dvs. nu va apărea în răspunsurile de căutare ale ChatGPT |
ChatGPT-User | OpenAI | Preluarea unei pagini atunci când un utilizator o solicită. Potrivit OpenAI, este posibil ca robots.txt să nu se aplice aici |
ClaudeBot | Anthropic | Colectarea de pagini care pot fi folosite pentru antrenarea modelelor |
Claude-SearchBot | Anthropic | Indexarea paginilor pentru funcția de căutare a Claude |
Claude-User | Anthropic | Preluarea unei pagini atunci când un utilizator o solicită |
Google-Extended | Nu este un robot separat, ci un nume prin care indicați dacă Google are voie să vă folosească conținutul pentru antrenarea modelelor Gemini și pentru grounding. Potrivit Google, acest lucru nu influențează poziția dvs. în Căutarea Google | |
PerplexityBot | Perplexity | Afișarea site-urilor și a linkurilor către acestea în rezultatele de căutare ale Perplexity, nu pentru antrenare |
Perplexity-User | Perplexity | Preluarea unei pagini atunci când un utilizator o solicită. Potrivit Perplexity, acesta ignoră de regulă robots.txt |
Lista se schimbă în mod regulat. Pentru numele actuale, consultați documentația OpenAI, Anthropic, Google și Perplexity.
2. Un exemplu de robots.txt
Acest exemplu blochează antrenarea modelelor, dar permite accesul roboților de căutare și al motoarelor de căutare obișnuite:
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: * Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
- Un robot urmează doar grupul cu propriul său nume, iar în lipsa acestuia grupul
*. În exemplu, GPTBot nu are deci acces nicăieri, iarDisallow: /winkelmand/nu se aplică pentru GPTBot. - Dacă doriți să permiteți accesul tuturor roboților AI, nu trebuie să faceți nimic: fără reguli, totul este permis.
- Dacă blocați din greșeală un robot de căutare, precum
OAI-SearchBot,Claude-SearchBotsauPerplexityBot, veți fi găsit mai greu în serviciile de căutare AI respective. - Blocarea funcționează doar pentru viitor. Ceea ce a fost deja preluat anterior nu poate fi recuperat astfel.
public_html al domeniului dvs. Îl creați sau îl editați prin File Manager sau FTP. WordPress generează singur un robots.txt atâta timp cât nu există un fișier, iar AI Builder plasează unul automat la publicare. Cum funcționează robots.txt în rest aflați în Cum excludeți o pagină din Google: robots.txt sau noindex?.3. Ce este llms.txt?
llms.txt este o propunere din 2024 pentru un fișier text la adresa https://example.com/llms.txt. În el scrieți, în Markdown, o scurtă descriere a site-ului dvs. și linkuri către cele mai importante pagini, astfel încât un serviciu AI să vadă rapid unde se află informațiile relevante. Un exemplu simplu:
# Brutăria Exemplu > Brutărie artizanală din Cluj-Napoca, cu pâine, produse de patiserie și torturi la comandă. ## Pagini importante - [Sortiment](https://example.com/assortiment): pâine, produse de patiserie și torturi - [Comenzi](https://example.com/bestellen): comandarea și ridicarea torturilor - [Contact](https://example.com/contact): adresă și program
Bine de știut:
- llms.txt nu este un standard oficial, ci o propunere. Nu există nicio garanție că serviciile AI citesc fișierul. Google a anunțat că Căutarea Google nu îl folosește.
- llms.txt nu blochează nimic. Dacă doriți să opriți roboții, folosiți robots.txt.
- Fișierul nu apare de la sine: îl creați singur sau îl lăsați să fie generat de un plugin.
4. Crearea llms.txt în WordPress
Pluginurile SEO cunoscute pot crea și actualiza llms.txt pentru dvs.:
- Yoast SEO: accesați Yoast SEO, Setări, Funcționalități site și activați llms.txt la funcțiile AI. Puteți lăsa Yoast să aleagă paginile sau le puteți indica dvs.
- Rank Math: în Panoul de control al Rank Math, activați modulul LLMS Txt. Setările le găsiți apoi la Setări generale.
Numele meniurilor diferă de la o versiune la alta. Dacă nu vedeți opțiunea, actualizați pluginul. Apoi verificați fișierul la https://domeniuldvs.ro/llms.txt.
Fără WordPress, creați singur fișierul: un fișier text llms.txt în directorul public_html, la fel ca robots.txt.
Explicații detaliate cu capturi de ecran: Sitemap și robots.txt în WordPress și pe propriul site și Sitemap și robots.txt în AI Builder din ghidul Vizibilitate online.
Doriți să aflați mai multe? Urmați cursul gratuit Vizibilitate online, lecția 3.3 robots.txt: ce blocați și ce nu.