Cum țineți o pagină în afara Google: robots.txt sau noindex?
Doriți ca o pagină să nu apară în Google, de exemplu o pagină de mulțumire, o pagină de test sau o promoție veche? Mulți se gândesc atunci la fișierul robots.txt. Însă robots.txt nu scoate o pagină din Google. Pentru asta există noindex. În acest articol aflați care este diferența, cum le folosiți pe amândouă și ce faceți cu o pagină pe care ați șters-o. Folosim example.com ca exemplu.
Diferența pe scurt
| robots.txt | noindex | |
|---|---|---|
| Ce transmite | „Nu prelua această pagină.” | „Nu include această pagină în rezultatele căutării.” |
| Ține pagina în afara Google? | Nu. Dacă alții trimit linkuri către pagină, adresa poate apărea totuși, fără descriere. | Da, imediat ce Google a vizitat din nou pagina. |
| Unde se află? | Un singur fișier la https://example.com/robots.txt | În pagina propriu-zisă sau ca antet trimis de server |
| Pentru ce îl folosiți? | Pentru a dirija traficul de crawling, de exemplu pentru a omite paginile cu rezultatele căutării de pe propriul site | Pentru pagini care rămân accesibile, dar nu își au locul în Google |
Niciuna dintre ele nu reprezintă o măsură de securitate. Oricine vă poate citi fișierul robots.txt, iar o pagină cu noindex rămâne accesibilă în mod normal. Dacă ceva trebuie cu adevărat protejat, puneți-l în spatele unei parole. Consultați Protejarea unui director cu parolă în DirectAdmin.
Utilizarea noindex
Adăugați această linie în secțiunea <head> a paginii:
<meta name="robots" content="noindex">
Pentru fișierele fără HTML, cum ar fi un pdf, serverul poate trimite aceeași instrucțiune sub formă de antet: X-Robots-Tag: noindex. Efectul este același.
De obicei nu este nevoie să scrieți acest lucru manual:
- AI Builder: deschideți secțiunea SEO, alegeți pagina și, la Mai multe pentru această pagină, dezactivați comutatorul Această pagină poate fi găsită în Google. Pagina rămâne accesibilă, dar primește noindex. Apoi publicați din nou.
- WordPress: un plugin SEO are, pentru fiecare pagină, o setare prin care pagina nu este indexată. Bifa Descurajează motoarele de căutare să indexeze acest site de la Setări, Citire se aplică întregului site.
- Alți constructori de site-uri: căutați o setare de tipul „ascundere față de motoarele de căutare”.
Crearea sau modificarea robots.txt
Într-un pachet de hosting, robots.txt se află în directorul web al domeniului dumneavoastră, în DirectAdmin directorul public_html. Creați sau editați fișierul prin File Manager sau FTP, consultați Deschiderea File Manager: directoarele din pachetul dumneavoastră. Un exemplu:
User-agent: * Disallow: /zoeken Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
User-agent: *se aplică tuturor roboților de căutare.Disallow:urmat de o cale interzice tot ce începe cu acea cale.Disallow: /interzice întregul site.- Dacă creați și un grup
User-agent: Googlebot, Google urmează doar acel grup și ignoră grupul*. Prin urmare, repetați acolo toate regulile care se aplică și pentru Google. - Nu blocați directoare cu foi de stil, scripturi sau imagini de care pagina dumneavoastră are nevoie.
- Lipsa unui fișier robots.txt nu este o problemă: în acest caz totul este permis. Dacă adresa returnează o eroare de server, Google oprește temporar preluarea.
WordPress generează singur un robots.txt atât timp cât nu există un fișier în directorul web. AI Builder creează automat la publicare un robots.txt cu o linie Sitemap:.
Explicații detaliate cu capturi de ecran: Sitemap și robots.txt în AI Builder și Sitemap și robots.txt în WordPress și pe propriul site din ghidul Vizibilitate online.
Google păstrează de obicei fișierul robots.txt până la 24 de ore. În Search Console găsiți la Setări raportul robots.txt: ce versiune a preluat Google ultima dată, cu erori și avertismente, precum și un buton pentru a solicita o nouă preluare.
O pagină ștearsă: 404 sau 410, nu soft 404
Dacă ați șters o pagină, adresa ar trebui să returneze codul de stare 404 (negăsit) sau 410 (dispărut). La următoarea vizită, Google elimină atunci adresa din rezultatele căutării. Dacă pagina are o înlocuitoare, redirecționați adresa veche cu un 301 către noua pagină, consultați Redirecționarea site-ului: redirecționarea unui domeniu sau a unei pagini.
Un soft 404 este o pagină care afirmă că nu există sau care este aproape goală, dar care returnează totuși codul 200 (găsit). Google recunoaște adesea acest lucru și nu include o astfel de pagină. În Search Console îl vedeți ca motiv Soft 404. Și redirecționarea tuturor paginilor șterse către pagina principală poate fi considerată soft 404. Prin urmare, faceți ca o pagină care a dispărut cu adevărat să returneze un 404 sau 410 real.
Trebuie ca o pagină să dispară rapid din rezultate, de exemplu pentru că din greșeală conținea date personale? Folosiți atunci Eliminări din Search Console. Aceasta funcționează temporar, aproximativ șase luni. De aceea, asigurați-vă și că pagina are un 404, 410, o parolă sau noindex.
Lectură suplimentară
- Google: Blocarea indexării cu noindex (în engleză)
- Google: Introducere în robots.txt (în engleză)
- Google: raportul robots.txt
- Blocarea fișierelor prin .htaccess
Folosiți WordPress? În lecția Vizibilitatea: noțiunile de bază din cursul gratuit de WordPress aflați mai multe despre robots.txt și bifa Descurajează motoarele de căutare.
Doriți să aflați mai multe? Urmați cursul gratuit Vizibilitate online, lecția 3.3 robots.txt: ce blocați și ce nu.
Doriți să aflați mai multe? Urmați cursul gratuit Vizibilitate online, lecția 3.3 robots.txt: ce blocați și ce nu.