Excluderea unei pagini din Google: robots.txt sau noindex?
Nu doriți o pagină în Google, de exemplu o pagină de mulțumire, o pagină de test sau o promoție veche? Atunci mulți se gândesc la fișierul robots.txt. Dar robots.txt nu ține o pagină în afara Google. Pentru asta există noindex. În acest articol citiți diferența, cum folosiți ambele și ce faceți cu o pagină pe care ați șters o. Folosim example.com ca exemplu.
Diferența pe scurt
| robots.txt | noindex | |
|---|---|---|
| Ce spune | "Nu preluați această pagină." | "Nu includeți această pagină în rezultatele căutării." |
| Ține o pagină în afara Google? | Nu. Dacă alții fac legătura către pagină, atunci adresa poate totuși apărea, fără descriere. | Da, de îndată ce Google a vizitat din nou pagina. |
| Unde se află? | Un singur fișier la https://example.com/robots.txt | În pagina însăși, sau ca antet pe care serverul îl trimite |
| Pentru ce îl folosiți? | Pentru a direcționa traficul de crawling, de exemplu pentru a omite paginile cu rezultate de căutare ale propriului site | Pentru pagini care rămân accesibile, dar nu trebuie să apară în Google |
Niciuna dintre cele două nu este o măsură de securitate. Oricine poate citi robots.txt, iar o pagină cu noindex rămâne pur și simplu accesibilă. Dacă ceva trebuie cu adevărat protejat, puneți l în spatele unei parole. Consultați Securizarea unui folder cu o parolă în DirectAdmin.
Utilizarea noindex
Adăugați această linie în <head> al paginii:
<meta name="robots" content="noindex">
Pentru fișiere fără HTML, cum ar fi un pdf, serverul poate trimite aceeași instrucțiune ca antet: X-Robots-Tag: noindex. Efectul este același.
De cele mai multe ori nu trebuie să introduceți acest lucru manual:
- AI Builder: deschideți secțiunea SEO, selectați pagina și dezactivați, sub Mai multe pentru această pagină, comutatorul Această pagină poate fi găsită în Google. Pagina rămâne accesibilă, dar primește un noindex. Publicați apoi din nou.
- WordPress: un plugin SEO are, pentru fiecare pagină, o setare pentru a nu indexa pagina respectivă. Caseta de bifat Descurajați motoarele de căutare să indexeze acest site din Setări, Citire se aplică pentru întregul site.
- Alte generatoare de site uri web: căutați o setare precum "ascundeți pentru motoarele de căutare".
Crearea sau ajustarea fișierului robots.txt
La un pachet de hosting, robots.txt se află în folderul web al domeniului dvs., în DirectAdmin în folderul public_html. Creați sau editați fișierul prin Administrare fișiere sau FTP, consultați Deschiderea Administrării fișierelor: folderele din pachetul dvs.. Un exemplu:
User-agent: * Disallow: /zoeken Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
User-agent: *se aplică tuturor roboților de căutare.Disallow:cu o cale interzice tot ce începe cu acea cale.Disallow: /interzice întregul site.- Dacă creați și un grup
User-agent: Googlebot, atunci Google urmează doar acel grup și ignoră grupul*. Repetați deci acolo toate regulile care se aplică și pentru Google. - Nu blocați foldere cu foi de stil, scripturi sau imagini de care pagina dvs. are nevoie.
- Lipsa unui robots.txt nu este o problemă: atunci totul este permis. Dacă adresa dă o eroare de server, Google se oprește temporar din preluare.
WordPress creează singur un fișier robots.txt atâta timp cât nu există niciun fișier în folderul web. AI Builder adaugă singur, la publicare, un robots.txt cu o linie Sitemap:.
Google păstrează robots.txt ul de obicei până la 24 de ore. În Search Console găsiți, la Setări, raportul robots.txt: ce versiune a preluat Google ultima dată, cu erori și avertismente, și un buton pentru a l preia din nou.
O pagină ștearsă: 404 sau 410, nu soft 404
Dacă ați șters o pagină, adresa ar trebui să dea codul de stare 404 (negăsit) sau 410 (dispărut). La următoarea vizită, Google va elimina atunci adresa din rezultatele căutării. Dacă pagina are un succesor, redirecționați vechea adresă cu un 301 către pagina nouă, consultați Redirecționare site: redirecționarea unui domeniu sau a unei pagini.
Un soft 404 este o pagină care spune că nu există, sau este aproape goală, dar totuși oferă codul 200 (găsit). Google recunoaște adesea acest lucru și nu include o astfel de pagină. În Search Console veți vedea acest lucru ca motiv Soft 404. De asemenea, redirecționarea tuturor paginilor șterse către pagina dvs. principală poate fi considerată soft 404. Asigurați vă deci că o pagină care chiar a dispărut dă un 404 sau 410 real.
Trebuie o pagină eliminată rapid din rezultate, de exemplu pentru că din greșeală conținea date cu caracter personal? Folosiți atunci Eliminări în Search Console. Acest lucru funcționează temporar, aproximativ șase luni. Asigurați vă de aceea și că pagina are un 404, 410, o parolă sau noindex.
Citire suplimentară
- Google: Blocarea indexării cu noindex (în engleză)
- Google: Introducere în robots.txt (în engleză)
- Google: raportul robots.txt
- Blocarea fișierelor prin .htaccess
Folosiți WordPress? În lecția Vizibilitate: elementele de bază din cursul gratuit de WordPress citiți mai multe despre robots.txt și caseta de bifat Descurajați motoarele de căutare.