Indexarea: ce intră în index și ce nu

Modulul 1: Cum funcționează motoarele de căutare · Timp de citire: 11 minute

Obiectivul lecției: După această lecție, veți putea evalua dacă o pagină poate intra în index și, dacă nu, care dintre cele patru „încuietori” o oprește: codul de stare, robots.txt, noindex sau canonical.

Concepte cheie: indexare, cerințele tehnice ale Google, noindex (meta robots și X-Robots-Tag), robots.txt nu este noindex, canonicalizare, conținut duplicat, soft 404, „Crawled - currently not indexed”, „Discovered - currently not indexed”, nicio garanție

Ce se întâmplă la indexare

După ce crawlerul a preluat o pagină (lecția 1.2), motorul de căutare o citește. Google analizează textul, titlul, titlurile secțiunilor, imaginile și videoclipurile și stabilește în ce limbă este pagina. Google verifică și dacă pagina este o copie a altei pagini și care dintre aceste copii este cea „adevărată”. Abia după aceea decide Google dacă pagina intră în index.

Google spune două lucruri despre acest proces, pe care este bine să le rețineți:

• Includerea nu este garantată. Chiar dacă pagina dumneavoastră îndeplinește toate cerințele, Google poate decide să nu o includă.
• Este normal ca nu totul să fie inclus. În ajutorul pentru raportul de indexare, Google scrie explicit că nu trebuie să vă așteptați ca fiecare adresă a site-ului dumneavoastră să fie indexată și că acest lucru poate fi în regulă. Contează paginile dumneavoastră importante.

Cele trei cerințe tehnice

Google menționează trei cerințe tehnice pentru ca o pagină să fie eligibilă pentru index:

1. Googlebot nu este blocat. Pagina este accesibilă, iar robots.txt nu interzice preluarea ei.
2. Pagina funcționează. Serverul returnează codul de stare 200, nu o eroare.
3. Pagina are conținut indexabil. Text într-un tip de fișier pe care Google îl poate citi și nicio încălcare a politicilor privind spamul.

În practică, se adaugă două alegeri ale proprietarului site-ului: un noindex („nu include această pagină”) și un canonical care indică o altă adresă („nu aceasta, ci aceea”). Împreună, acestea formează patru încuietori prin care trebuie să treacă o pagină.

Încuietoarea 1: codul de stare

Doar o pagină cu starea 200 poate intra în index. Un 301 sau 308 trimite motorul de căutare la noua adresă; atunci este evaluată acea adresă nouă. Un 404 sau 410 scoate din index o adresă inclusă anterior.

Varianta problematică este soft 404 din lecția 1.2: starea este 200, dar conținutul este un mesaj de eroare sau o pagină aproape goală. Google recunoaște adesea acest lucru și nu include o astfel de pagină. Și o pagină de categorie goală dintr-un magazin online („nu s-au găsit produse”) poate fi considerată soft 404.

Încuietoarea 2: robots.txt

Prin robots.txt îi interziceți unui crawler să preia o pagină. Acesta este altceva decât a interzice includerea ei. Google este clar în această privință: robots.txt nu este o metodă de a ține o pagină în afara Google. Dacă alte site-uri trimit linkuri către o pagină blocată, adresa poate apărea totuși în rezultate, doar fără descriere. În Search Console, această situație se numește „Indexed, though blocked by robots.txt”.

Robots.txt are rolul de a dirija traficul de crawling: de exemplu, pentru a evita ca un crawler să parcurgă mii de pagini cu rezultate de căutare de pe propriul dumneavoastră site. Lecția 3.3 tratează acest subiect în detaliu.

Încuietoarea 3: noindex

Dacă doriți cu adevărat ca o pagină să nu apară în rezultatele căutării, folosiți noindex. Acest lucru se poate face în două moduri, cu același efect:

<!-- în <head> al paginii -->
<meta name="robots" content="noindex">

X-Robots-Tag: noindex

A doua variantă este un antet HTTP pe care serverul îl trimite odată cu pagina. Aceasta funcționează și pentru fișiere care nu sunt HTML, cum ar fi un pdf. Valoarea none înseamnă același lucru ca noindex, nofollow. Cu <meta name="googlebot" content="noindex">, regula se aplică doar pentru Google; alte motoare de căutare pot interpreta diferit o regulă generală.

Urmează capcana care apare foarte des: noindex și o blocare în robots.txt nu funcționează împreună. Dacă robots.txt blochează pagina, Google nu o preia și, prin urmare, nu vede niciodată noindex-ul. Pagina poate ajunge totuși în index prin linkurile altor site-uri. Dacă doriți ca o pagină să dispară din Google: permiteți preluarea ei și adăugați noindex.

Unde puteți întâlni noindex fără să vreți?

• În WordPress, la Setări, Read, există caseta „Descurajează motoarele de căutare să indexeze acest site”. Aceasta pune un noindex pe întregul site. Utilă în timpul construirii, dezastruoasă dacă uitați să o dezactivați.
• În AI Builder puteți seta un site sau o pagină pe „nu indexa”; atunci pagina primește un noindex, nofollow. De asemenea, un site demo gratuit nu este indexat niciodată.
• Un plugin SEO sau o temă cu o setare greșită pentru o anumită pagină sau un anumit tip de pagină.

Alte platforme de creare a site-urilor au comutatoare similare, adesea cu un nume precum „ascunde de motoarele de căutare”.

Încuietoarea 4: canonical

Multe site-uri au aceeași pagină la mai multe adrese: cu și fără www, cu http și https, cu un parametru adăugat, cum ar fi ?utm_source=nieuwsbrief. Din astfel de grupuri, Google alege o singură adresă ca versiune canonică și afișează doar acea adresă în rezultate. Celelalte sunt duplicate.

Puteți ajuta Google să aleagă printr-o redirecționare (un semnal puternic) sau printr-o referință canonical în pagină:

<link rel="canonical" href="https://www.example.com/bruidsboeketten">

Un canonical este un semnal, nu o comandă: Google poate alege o altă adresă. Dacă canonical-ul dumneavoastră indică o altă adresă, pagina însăși spune: „nu mă include pe mine, ci pe cealaltă”. Este bine dacă așa este corect și o problemă dacă este o greșeală, de exemplu când fiecare pagină indică pagina principală. Lecția 3.5 detaliază acest subiect.

Potrivit Google, conținutul duplicat de pe propriul site nu este o încălcare a politicilor privind spamul și nu duce la o acțiune manuală. Este însă ineficient: crawlerele preiau același conținut de mai multe ori, iar dumneavoastră nu stabiliți singur ce adresă apare în rezultate.

Mesajele din Search Console

În raportul Page indexing din Search Console (lecția 2.4) vedeți un motiv pentru fiecare pagină neindexată. Toate cele patru încuietori se regăsesc acolo:

Ultimele două nu sunt erori tehnice. „Crawled - currently not indexed” apare des; Google spune că nu este întotdeauna o problemă. Dacă este vorba de o pagină importantă, verificați dacă aduce cu adevărat ceva în plus: o pagină unică și utilă are mai multe șanse decât o pagină subțire care seamănă cu alte zece.

Rezumat

• După crawling, motorul de căutare decide dacă o pagină intră în index; acest lucru nu este niciodată garantat și nu totul trebuie să fie inclus.
• Patru încuietori: starea 200, nicio blocare în robots.txt, niciun noindex, canonical absent sau care indică propria pagină.
• robots.txt interzice preluarea, nu includerea. Folosiți noindex pentru a ține ceva în afara rezultatelor și, în acest caz, nu blocați pagina în robots.txt.
• Un canonical este un semnal puternic, nu o comandă. Conținutul duplicat nu este spam, dar este ineficient.
• „Crawled - currently not indexed” nu este o eroare tehnică; analizați valoarea paginii.

Test

Exercițiu

Exercițiul A1.3: Poate fi această pagină în index? Introduceți adresa unei pagini (o pagină de pe propriul dumneavoastră site sau o pagină pe care o ascundeți intenționat, cum ar fi o pagină de mulțumire). Apoi alegeți ce vă așteptați: „poate fi în index” sau „nu poate fi în index” și, dacă alegeți „nu poate”, ce încuietoare o oprește (cod de stare, robots.txt, noindex, canonical către altă adresă). Programul verifică cele patru încuietori ca în această lecție și pune rezultatul său alături de al dumneavoastră.

Resurse suplimentare

• Google, Cerințele tehnice ale Căutării Google: https://developers.google.com/search/docs/essentials/technical
• Google, Blocarea indexării cu noindex: https://developers.google.com/search/docs/crawling-indexing/block-indexing
• Google, Introducere în robots.txt: https://developers.google.com/search/docs/crawling-indexing/robots/intro
• Google, Consolidarea adreselor URL duplicate (canonicalizare): https://developers.google.com/search/docs/crawling-indexing/consolidate-duplicate-urls
• Ajutor Google Search Console, raportul Page indexing: https://support.google.com/webmasters/answer/7440203