Sitemap XML și robots.txt: ce rol are fiecare și cum le verifici

Pe scurt: sitemap-ul XML este lista paginilor pe care vrei să le descopere motoarele de căutare, iar robots.txt este fișierul care le spune ce zone să nu parcurgă. Ambele se află în rădăcina site-ului și se verifică în câteva minute, direct în browser și în Google Search Console.

Pentru un site mic, aceste două fișiere par detalii tehnice, dar o singură linie greșită în robots.txt poate ascunde tot site-ul de motoarele de căutare. De aceea merită să știi ce conțin și să le controlezi după fiecare schimbare importantă.

Ce este un sitemap XML

Sitemap-ul XML este un fișier care enumeră adresele paginilor importante ale site-ului, uneori cu data ultimei modificări. Nu garantează că paginile sunt indexate, dar ajută roboții să le găsească, mai ales pe cele noi sau cele care nu au multe linkuri interne. Platformele de tip WordPress îl generează automat, de obicei la adresa /sitemap.xml sau /sitemap_index.xml.

Ce este robots.txt

Fișierul robots.txt este un text simplu, aflat la adresa /robots.txt, în care îi spui robotului ce directoare nu are voie să parcurgă. Este o indicație, nu o protecție: nu pune în el pagini private, pentru că oricine îl poate citi. Pentru pagini care nu trebuie să apară în căutări se folosește eticheta „noindex”, nu blocarea în robots.txt.

Un exemplu simplu de conținut:

• User-agent: * înseamnă că regula se aplică tuturor roboților;
• Disallow: /cos/ blochează parcurgerea directorului „cos”;
• Sitemap: urmat de adresa completă indică unde se află sitemap-ul.

Cum verifici sitemap-ul

Deschide adresa sitemap-ului în browser și vezi dacă lista conține doar pagini reale, accesibile și cu răspuns normal. Un sitemap bun nu include pagini șterse, redirecționate sau marcate „noindex”. Apoi trimite-l în Google Search Console, la secțiunea dedicată sitemap-urilor, unde vezi câte adrese au fost descoperite și dacă apar erori.

Cum verifici robots.txt

Scrie în browser adresa site-ului urmată de /robots.txt și citește fișierul rând cu rând. Caută mai ales linia „Disallow: /”, care singură, pentru toți roboții, blochează tot site-ul. Este o greșeală frecventă după lansarea unui site nou, când blocajul pus la început pentru testare rămâne uitat.

Greșeli frecvente

Cele mai comune probleme sunt ușor de evitat dacă le știi dinainte.

• sitemap cu adrese care duc la pagini inexistente sau redirecționate;
• blocarea fișierelor de stil sau de script, ceea ce face paginile greu de înțeles pentru roboți;
• adrese în sitemap scrise cu altă variantă (www sau fără, http sau https) decât cea folosită efectiv;
• robots.txt rămas din faza de test, cu tot site-ul blocat.

Strâns legată de sitemap este problema paginilor aproape identice. Dacă ai aceeași pagină accesibilă la mai multe adrese, citește despre conținutul duplicat și pagina canonică pentru a alege varianta care trebuie să rămână în sitemap.

Cât de des le reverifici

Reverifică ambele fișiere după orice schimbare de structură: migrarea pe alt domeniu, trecerea la https, schimbarea platformei sau adăugarea unei secțiuni noi. Pentru un site care se modifică rar, o verificare o dată la trei luni este suficientă. Notează într-un document simplu data ultimei verificări și ce ai găsit, ca să observi repede dacă apare o diferență neașteptată față de data trecută.

Întrebări frecvente

Am nevoie de sitemap dacă site-ul meu are puține pagini?

Nu este obligatoriu, dar nu strică. La un site mic, bine legat prin linkuri interne, motoarele de căutare găsesc paginile și fără el.

Blocarea în robots.txt scoate pagina din Google?

Nu neapărat. Pagina poate rămâne în rezultate, fără descriere, dacă are linkuri din alte părți. Pentru eliminare se folosește „noindex” sau ștergerea paginii.

Cât de des trebuie actualizat sitemap-ul?

Ideal, automat, la fiecare pagină nouă sau ștearsă. Dacă îl faci manual, reverifică-l după fiecare schimbare mare a site-ului.

Pașii de mai sus pot fi parcurși într-o jumătate de oră. Detalii și exemple pentru fiecare verificare găsești în ghidul despre sitemap XML și robots.txt: ce fac și cum le verifici.