Prea mulți roboți pe site: cum îi identificați și cum le reduceți impactul

Nu toți „vizitatorii” unui site sunt oameni. O parte importantă a cererilor vine de la programe automate: roboții motoarelor de căutare (Googlebot, bingbot), uneltele SEO (AhrefsBot, SemrushBot, MJ12bot), roboții care adună texte pentru inteligența artificială (GPTBot, ClaudeBot, CCBot, Bytespider) și scripturi care copiază conținut. Câtă vreme sunt puțini, nu se simt. Când devin mulți, consumă procesorul și memoria contului, iar site-ul se mișcă greu pentru clienții adevărați.

Semne că roboții sunt cauza

• Site-ul încetinește la ore la care nu aveți mulți vizitatori, iar în cPanel, la Metrics, apoi Resource Usage, apar vârfuri de procesor sau mesajul că s-au atins limitele.
• În jurnalele de acces (Metrics, apoi Raw Access, sau statisticile Awstats) apar foarte des nume ca AhrefsBot, SemrushBot, PetalBot, Bytespider, GPTBot, python-requests sau curl.
• La magazinele online: adresele cu ?filter_, ?orderby=, ?min_price= sau paginile de listare foarte îndepărtate, de tipul /page/37/, primesc sute sau chiar mii de cereri. Un om nu deschide niciodată atâtea combinații de filtre, un robot le încearcă pe toate.

Magazinele sunt cele mai afectate tocmai din acest motiv: fiecare combinație de filtru și sortare este, pentru robot, o pagină nouă care trebuie generată de PHP și de baza de date.

Ce oprește deja serverul

Imunify360 și firewall-ul serverului blochează automat o parte din traficul abuziv, de exemplu adresele care trimit un număr anormal de cereri într-un timp foarte scurt. Roboții motoarelor de căutare și ai uneltelor SEO nu sunt opriți la nivel de server, pentru că mulți clienți se bazează pe ei. Accesul lor îl reglați dvs., cu măsurile de mai jos, de la cea mai simplă la cea mai fermă.

1. robots.txt: o rugăminte pe care roboții serioși o respectă

Fișierul robots.txt se află în folderul principal al site-ului (de obicei public_html) și le spune roboților ce să nu acceseze. Google, Bing și majoritatea uneltelor SEO țin cont de el. Iată un exemplu pentru un magazin WooCommerce, pe care îl adaptați:

# Pagini fara valoare in cautare: cos, cont, filtre, sortari
User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /*?s=
Disallow: /*?add-to-cart=
Disallow: /*?orderby=
Disallow: /*?filter_
Disallow: /*?min_price=
Disallow: /*?max_price=

# Unelte SEO si roboti AI: acces oprit complet
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Bytespider
User-agent: AhrefsBot
User-agent: SemrushBot
User-agent: MJ12bot
User-agent: DotBot
User-agent: PetalBot
Disallow: /

Primul grup lasă motoarele de căutare să vadă produsele și categoriile, dar nu și miile de combinații de filtre. Al doilea grup închide complet site-ul pentru uneltele SEO și roboții de AI enumerați. Scoateți din listă ce folosiți: dacă lucrați cu Ahrefs sau Semrush, păstrați accesul pentru robotul lor.

Dacă folosiți Yoast SEO, fișierul se editează din Yoast SEO, apoi Tools, File editor; în Rank Math, din General Settings, apoi Edit robots.txt. Nu blocați /wp-content/, fișierele CSS, JavaScript sau imaginile: Google are nevoie de ele ca să înțeleagă pagina.

2. Cache: o vizită de robot care nu mai costă aproape nimic

O pagină servită din cache nu mai pornește PHP și nu mai interoghează baza de date, așa că nu contează dacă o cere un om sau un robot. Pe pachetele WordPress Hosting și Business Hosting, care rulează pe LiteSpeed, folosiți pluginul LiteSpeed Cache, configurat după articolul LiteSpeed Cache pentru WordPress: activare și setări sigure. Pentru magazine, două setări fac diferența:

• nu excludeți paginile de categorie din cache, pentru că acolo ajung cei mai mulți roboți;
• în secțiunea Cache a pluginului, la opțiunea Drop Query String, adăugați parametrii de urmărire (utm_*, fbclid, gclid), ca fiecare link dintr-o campanie să nu fie tratat ca o pagină nouă.

Pe pachetele Web Hosting SSD, care folosesc Nginx și Apache, folosiți un plugin de cache compatibil cu Apache; principiul este același.

3. .htaccess: refuzați roboții care ignoră regulile

Scripturile care copiază conținut și roboții agresivi nu citesc robots.txt. Pe ei serverul îi poate refuza din .htaccess, înainte să pornească WordPress, deci fără consum de procesor.

1. În cPanel deschideți File Manager, intrați în public_html și activați afișarea fișierelor ascunse (Settings, apoi Show Hidden Files).
2. Descărcați întâi o copie a fișierului .htaccess.
3. Adăugați la începutul fișierului, deasupra liniei # BEGIN WordPress, blocul de mai jos. Pus acolo, nu va fi rescris de WordPress la salvarea legăturilor permanente.

# Roboti refuzati
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (GPTBot|ClaudeBot|CCBot|Bytespider|AhrefsBot|SemrushBot|MJ12bot|DotBot|PetalBot|BLEXBot|DataForSeoBot|MegaIndex|Barkrowler|Scrapy|python-requests|Go-http-client) [NC]
RewriteRule .* - [F,L]
</IfModule>

Roboții din listă vor primi „403 Forbidden”. Ajustați lista: scoateți ce folosiți și adăugați numele pe care le-ați văzut în jurnale. Nu puneți niciodată aici Googlebot, bingbot sau facebookexternalhit (cel care generează previzualizarea linkurilor pe Facebook).

Ca să verificați că regula funcționează, puteți rula de pe calculator curl -I -A "AhrefsBot" https://domeniul-dvs.md/: răspunsul trebuie să fie 403. Dacă după salvare site-ul afișează eroarea 500, urcați la loc copia fișierului.

Limita acestei metode: un robot care se prezintă cu numele unui browser obișnuit nu poate fi recunoscut după nume. Pentru el rămân Cloudflare și blocarea adreselor IP de către noi.

4. Cloudflare: reguli pentru traficul pe care nu-l puteți filtra altfel

Dacă site-ul trece prin Cloudflare (pașii de conectare sunt în ghidul Cloudflare), planul gratuit vă oferă câteva instrumente utile:

• Bot Fight Mode, din setările de securitate pentru roboți, care încetinește roboții cunoscuți ca abuzivi;
• reguli de limitare a ratei (Rate limiting rules), de exemplu pentru adresele cu filtre, când aceeași adresă IP depășește un număr de cereri pe minut;
• reguli personalizate (Custom rules), care închid accesul unor roboți nedoriți pe baza User-Agent.

5. Din WordPress, când nu puteți modifica .htaccess

• Wordfence (versiunea gratuită): în setările firewall-ului, secțiunea Rate Limiting, limitați vizualizările de pagini ale crawlerelor (de exemplu la 60 pe minut) și paginile inexistente cerute de ele (de exemplu 30 pe minut), cu acțiunea de încetinire sau blocare. Activați și opțiunea care blochează imediat roboții care pretind fals că sunt Google.
• LiteSpeed Cache: lăsați funcția Crawler oprită dacă nu aveți nevoie de ea; contează ca paginile de categorie să fie în cache.
• Nu instalați două pluginuri de securitate în același timp. Se încurcă reciproc și încetinesc site-ul în loc să-l protejeze.

Când ne scrieți

Dacă ați aplicat măsurile de mai sus și site-ul tot este lent, deschideți un tichet cu domeniul și, dacă le aveți, numele roboților văzuți în jurnale. Verificăm jurnalele serverului, putem bloca adresele care fac abuz și vă spunem dacă traficul real are nevoie de un pachet cu mai multe resurse. Nu lăsați problema să se prelungească: conform Termenilor și condițiilor, un cont care consumă resurse în exces și pune în pericol stabilitatea serverului poate fi suspendat. Mai multe despre cauzele încărcării găsiți în articolul despre încărcarea serverului de către scripturile site-ului.

Capcane de evitat

• Nu blocați Googlebot și bingbot dacă vreți să apăreți în căutări. Google Search Console nu mai are o setare manuală pentru viteza de accesare: Google încetinește singur când serverul răspunde des cu erori 500, 503 sau 429. Dacă Googlebot suprasolicită site-ul în mod real, Google pune la dispoziție un formular pentru raportarea problemei.
• Nu modificați .htaccess fără o copie. O singură greșeală de sintaxă scoate tot site-ul din funcțiune cu eroarea 500. Pentru varianta corectă a fișierului, vedeți .htaccess pentru CMS-uri populare.
• Nu vă bazați doar pe robots.txt. Este o rugăminte, nu o barieră: roboții care fac cele mai multe probleme sunt tocmai cei care nu îl citesc.

Vezi și

• Resource Limit Is Reached (eroarea 508): de ce apare și cum o eliminați
• LiteSpeed Cache pentru WordPress: activare și setări sigure
• Cloudflare cu găzduirea TopHost: conectare pas cu pas și setările corecte
• Pagină de verificare CAPTCHA în locul site-ului: de ce apare și ce puteți face