Crawlarea: cum găsește un motor de căutare site-ul dumneavoastră

Modulul 1: Cum funcționează motoarele de căutare · Timp de citire: 11 minute

Obiectivul lecției: După această lecție veți putea descrie cum descoperă un crawler pagini noi, ce coduri de stare întâlnește și ce înseamnă acestea, precum și ce anume îl oprește pe un crawler.

Concepte cheie: crawler (Googlebot, Bingbot), urmărirea linkurilor, sitemap, cod de stare HTTP (200, 301, 302, 404, 410, 429, 5xx), redirecționare, buget de crawlare, JavaScript și randare, pagină orfană, robots.txt

Ce este un crawler

Un crawler (numit și spider sau bot) este un program care descarcă pagini web, la fel cum face browserul dumneavoastră, dar automat și la scară uriașă. Google are Googlebot, Bing are Bingbot. Acestea solicită o adresă, primesc înapoi codul HTML, citesc ce linkuri conține și adaugă noile adrese pe lista lor, pentru a le descărca mai târziu.

Google spune că Googlebot vizitează un site, în medie, nu mai des de o dată la câteva secunde și că majoritatea cererilor provin de la versiunea pentru smartphone a Googlebot. Prin urmare, Google vă vede site-ul mai ales așa cum îl vede un telefon. Lecția 4.2 revine asupra acestui subiect.

Un crawler se poate și da drept Googlebot: numele (user-agent) se imită ușor. Google recomandă verificarea unei vizite suspecte printr-o căutare DNS inversă a adresei IP. Acest lucru este util dacă vedeți în jurnalul serverului un „Googlebot” care face lucruri ciudate.

Cum găsește un crawler pagini noi

Google menționează trei metode:

1. Revizitarea paginilor pe care le cunoaște deja. Acolo observă modificări și linkuri noi.
2. Urmărirea linkurilor. Un link de pe o pagină pe care Google o cunoaște deja către o pagină nouă este cea mai importantă cale prin care puteți fi găsit. Acest lucru este valabil pentru linkurile din propriul site (meniul, un link dintr-un text) și pentru linkurile de pe alte site-uri.
3. O listă pe care o furnizați dumneavoastră: sitemap-ul. Un sitemap este un fișier cu adresele paginilor dumneavoastră. Îl trimiteți în Search Console sau îl menționați în robots.txt (lecția 3.4). Potrivit Google, un sitemap nu este obligatoriu, dar este util, mai ales pentru site-urile noi care au încă puține linkuri, pentru site-urile mari și pentru paginile aflate adânc în structura site-ului.

Linkurile trebuie să fie linkuri reale

Google poate urmări un link doar dacă este un element <a> obișnuit, cu un atribut href:

<a href="/bruidsboeketten">Bruidsboeketten</a>          <!-- corect -->
<span onclick="ga('/bruidsboeketten')">Bruidsboeketten</span>   <!-- nu este un link pentru Google -->

Un buton care trimite la altă pagină doar prin JavaScript nu este un link pentru un crawler. O pagină către care nu trimite niciun link se numește pagină orfană (orphan page). Un crawler o găsește doar prin sitemap, iar vizitatorii o găsesc și ei cu greu. Așadar, o pagină nouă trebuie să aibă întotdeauna un link undeva în meniu sau într-un text.

JavaScript: întâi descărcat, executat mai târziu

Multe site-uri moderne construiesc pagina cu JavaScript, în browser. Google se descurcă cu acest lucru: execută JavaScript cu o versiune recentă de Chromium, baza browserului Chrome. Acest proces se numește randare. Google îl descrie, pentru astfel de pagini, ca pe trei etape: crawlare, randare și indexare. Paginile cu starea 200 intră într-o coadă de așteptare pentru a fi randate.

Două consecințe:

• Ceea ce apare pe pagină abia după JavaScript este văzut de Google mai târziu decât ceea ce se află direct în HTML.
• Nu orice crawler execută JavaScript. Google însuși spune acest lucru. Textul, titlurile și linkurile aflate direct în HTML sunt, prin urmare, cea mai sigură variantă pentru toate motoarele de căutare. Google consideră HTML-ul generat pe server „în continuare o idee bună”.

Verificările automate din acest curs citesc codul HTML așa cum îl trimite serverul, fără JavaScript. Ceea ce vedeți în browser poate fi diferit.

Coduri de stare: ce răspunde serverul

Pentru fiecare pagină, serverul trimite și un cod de stare. Nu îl vedeți pe ecran, dar un crawler îl citește primul:

Atenție la soft 404: o pagină care afișează „nu a fost găsită”, dar returnează starea 200. Pentru crawler pare o pagină reală, pentru vizitator nu. Search Console raportează separat astfel de pagini. Prin urmare, o pagină ștearsă trebuie să returneze un 404 sau 410 real ori să redirecționeze cu un 301 către o pagină înlocuitoare.

Google urmărește un lanț de redirecționări (http către https, către www, către pagina nouă) până la aproximativ zece pași, dar fiecare pas costă timp. Lecția 4.1 vă arată cum să faceți acest lucru într-un singur pas.

Ce oprește un crawler

Google menționează drept cauze pentru care o pagină nu este crawlată: probleme cu serverul, probleme de rețea și reguli din robots.txt care interzic accesul Googlebot. În practică, mai întâlniți și:

• un site aflat încă în „mod de mentenanță” sau protejat cu parolă;
• în WordPress, bifa „Descurajează motoarele de căutare să indexeze acest site”, care setează un noindex (acesta este pasul 2, dar efectul este același: site-ul nu poate fi găsit);
• o protecție sau un firewall care refuză boții necunoscuți cu 403 sau 429;
• un site prin care se poate naviga doar cu butoane JavaScript.

robots.txt are o lecție proprie (3.3). Deocamdată este suficient să știți: este un fișier text aflat la https://www.example.com/robots.txt, care spune ce părți ale site-ului dumneavoastră nu are voie un crawler să descarce.

Bugetul de crawlare: pentru majoritatea site-urilor nu este o grijă

Online citiți multe despre bugetul de crawlare: câte pagini dorește și poate Google să descarce de pe site-ul dumneavoastră. Google spune că ghidul său pe această temă este destinat site-urilor mari, cu o estimare aproximativă de peste un milion de pagini sau peste zece mii de pagini care se modifică zilnic. Dacă paginile dumneavoastră noi sunt descărcate încă din ziua publicării, nu trebuie să vă preocupați de acest subiect. Pentru un site precum cel al Bloemenatelier Lotte, cu treizeci de pagini, nu este o problemă. Un sitemap actualizat și o privire ocazională în raportul de indexare sunt suficiente.

În practică: jurnalul serverului

În DirectAdmin și în panouri similare puteți vizualiza jurnalul de acces al site-ului. Căutați „Googlebot” sau „bingbot” și veți vedea ce pagini au solicitat și ce cod de stare au primit. Dacă vedeți acolo multe erori 404 sau 5xx, știți de unde să începeți. La alți furnizori găsiți de obicei jurnalele sub o denumire similară în panoul de client.

Rezumat

• Un crawler descarcă pagini și găsește adrese noi prin linkuri și prin sitemap.
• Sunt urmărite doar linkurile reale <a href>; o pagină către care nu trimite niciun link este o pagină orfană.
• Google execută JavaScript, dar mai târziu; alți crawleri adesea nu. Conținutul important trebuie să fie în HTML.
• Codul de stare determină ce face un crawler: 200 procesare, 301 mutare, 404/410 eliminare, 5xx și 429 crawlare mai lentă.
• Bugetul de crawlare contează doar pentru site-urile foarte mari sau care se schimbă foarte rapid.

Test

Exercițiu

Exercițiul A1.2: Ce vede un crawler pe pagina dvs. principală? Introduceți adresa site-ului dumneavoastră (sau www.wikipedia.org dacă nu aveți un site propriu). Apoi completați ce vă așteptați: codul de stare al paginii finale, adresa la care ajungeți după redirecționare și dacă pagina are un noindex. Programul descarcă pagina principală ca un crawler, fără JavaScript, și afișează lanțul de redirecționări, codul de stare, numărul de linkuri reale către propriul site din HTML și dacă textul paginii poate fi citit fără JavaScript.

Resurse suplimentare

Pașii din aceste articole se aplică panourilor WebOké; la alți furnizori procedura este similară.

• Manual DirectAdmin 4.7: Site Redirects: redirecționarea unui domeniu sau a unei pagini
• Manual DirectAdmin 17.2: Site summary & logs: jurnalul de erori și jurnalul de acces
• Redirecționarea obligatorie a vizitatorilor către https
• Google, Cum influențează codurile de stare HTTP și erorile de rețea Google Search: https://developers.google.com/search/docs/crawling-indexing/http-network-errors
• Google, Noțiuni de bază despre SEO pentru JavaScript: https://developers.google.com/search/docs/crawling-indexing/javascript/javascript-seo-basics
• Google, Bugetul de crawlare pentru site-uri mari: https://developers.google.com/crawling/docs/crawl-budget