Sitemap și robots.txt în WordPress și pe propriul site

Un sitemap este o listă cu adresele pe care doriți să le vedeți în motoarele de căutare. Un fișier robots.txt le spune motoarelor de căutare ce adrese nu au voie să viziteze și unde se află sitemap-ul dumneavoastră. Iată cum le verificați în WordPress și pe un site pe care îl creați singur.

WordPress

Începând cu versiunea 5.5, WordPress creează singur un sitemap și un robots.txt:

• Sitemap-ul se află la https://jouwdomein.nl/wp-sitemap.xml.
• Fișierul robots.txt este virtual: în folderul web nu există niciun fișier, dar WordPress îl afișează la https://jouwdomein.nl/robots.txt, cu o trimitere la sitemap.
• Folosiți un plugin SEO, cum ar fi Yoast SEO sau Rank Math? Atunci acesta creează adesea un sitemap propriu, de exemplu sitemap_index.xml. Adresa o găsiți în setările pluginului. Pe aceasta o trimiteți la Google și Bing.

Un robots.txt standard din WordPress arată aproximativ așa:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://jouwdomein.nl/wp-sitemap.xml

Blochează WordPress motoarele de căutare?

1. Autentificați-vă în WordPress și accesați Setări, apoi Citire.
2. La vizibilitatea pentru motoarele de căutare, verificați bifa Nu încuraja motoarele de căutare să indexeze acest site.
3. Această bifă trebuie să fie debifată. Faceți clic pe Salvează modificările.

Dacă bifa este activă, WordPress cere motoarelor de căutare să ignore întregul dumneavoastră site. Este adesea activată în timpul construirii site-ului și apoi uitată.

Mai multe despre vizibilitatea în WordPress citiți în Vizibilitate în căutări: noțiunile de bază.

Un robots.txt propriu

Dacă plasați dumneavoastră un fișier robots.txt în folderul web, acesta are prioritate față de robots.txt-ul virtual al WordPress. La un pachet de găzduire WebOké, folderul web este public_html al domeniului dumneavoastră. Puneți fișierul acolo cu File Manager din DirectAdmin (consultați Deschiderea File Manager: folderele din pachetul dumneavoastră) sau prin FTP.

Un robots.txt simplu, care permite totul și indică sitemap-ul dumneavoastră:

User-agent: *
Allow: /
Sitemap: https://jouwdomein.nl/sitemap.xml

Un site pe care îl creați singur

Vă creați site-ul singur sau cu un alt program? Verificați atunci dacă acel program generează un sitemap. Dacă nu, vă puteți descurca și fără: un site mic, cu legături bune între pagini, este găsit oricum. Totuși, un sitemap ajută. Puneți-l în folderul web și menționați-l în robots.txt, ca mai sus.

Verificare

• Deschideți https://jouwdomein.nl/robots.txt. Apare Disallow: / sub User-agent: *? Atunci niciun motor de căutare nu are voie să vă viziteze site-ul. Eliminați acea linie când site-ul este gata.
• Există o linie Sitemap:? Deschideți adresa respectivă în browser. Ar trebui să vedeți o listă cu adresele site-ului dumneavoastră, cu https și propriul domeniu.

Sfat: robots.txt nu ține o pagină în afara Google. O pagină care nu are voie să fie vizitată poate apărea totuși în rezultatele căutării dacă alte site-uri trimit către ea. Dacă doriți cu adevărat să țineți o pagină în afara Google, folosiți un noindex. Diferența o găsiți în lecția robots.txt: ce blocați și ce nu din cursul Găsit online.