Optimizare
Crawl Checker
Dacă boții AI pot citi o pagină a site-ului tău, ce primesc din ea și cum citești rezultatul.
Crawl Checker cere o pagină a site-ului tău așa cum o cer boții AI și îți spune dacă intră și ce găsesc. Nu folosește AI: fiecare verdict e o regulă aplicată răspunsurilor primite de cererile noastre.
Ce verifică
Accesul boților AI, pentru douăzeci de boți (GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot…):
- robots.txt — citit cum îl citesc boții: un grup poate numi mai mulți boți, un bot urmează grupul lui și trece la
User-agent: *doar când niciun grup nu-l numește, iar regula cea mai specifică câștigă. Un robots.txt care nu poate fi descărcat (eroare de server, timeout) înseamnă „totul interzis”, pentru că așa procedează boții. - Serverul — cerem pagina cu user agent-ul fiecărui bot. Un refuz (403, 401, o pagină de verificare ca „Just a moment…” de la Cloudflare) e Blocat; un 429 e o limitare, afișată separat; lipsa răspunsului e Inaccesibil. O a doua cerere, ca un browser obișnuit, deosebește blocarea boților de un site căzut.
Google-Extended, Applebot-Extended și anthropic-ai există doar în robots.txt (botul real se prezintă sub alt nume), deci sunt judecați doar după robots.txt.
Pagina: dacă textul e în HTML sau se încarcă prin script (majoritatea boților AI nu rulează JavaScript),
noindex, datele structurate (schema.org, în special FAQPage), titlul, meta descrierea, H1 și ordinea titlurilor,
adresa canonică, Open Graph și limba declarată.
Site-ul: robots.txt, llms.txt și sitemap-ul.
Cum citești un „Blocat”
Cererile noastre pleacă de pe serverul nostru, nu de la adresele OpenAI sau Anthropic. Unele hostinguri și firewall-uri lasă să intre GPTBot-ul real (îi verifică adresa) și opresc orice altceva care se prezintă drept GPTBot. Un astfel de site ne blochează pe noi și îl servește totuși pe botul real.
Când integrarea Trafic AI e instalată, compară cu ce au primit boții reali:
| Crawl Checker | Trafic AI arată | Cel mai probabil |
|---|---|---|
| Blocat | vizite verificate ale acelui bot | protecție contra boților falși — nimic de reparat |
| Blocat | nicio vizită de săptămâni | hostingul blochează botul — cere-le să-l permită |
| Blocat | integrarea nu e instalată | nu se poate spune — instaleaz-o ca să fii sigur |
Hostingurile shared blochează des boții AI din firewall, înainte să ajungă cererea la site, așa că un plugin de pe site nu-i vede niciodată. Crawl Checker îi vede.
Pagini urmărite
Până la zece pagini ale site-ului se reverifică singure: cele fixate sau adăugate de tine, prima pagină, paginile citate cel mai des de răspunsurile AI, apoi paginile citite cel mai des de boții AI. Lista urmează ce citează AI-ul, deci se schimbă în timp; o pagină scoasă de tine nu mai e aleasă niciodată.
Prima pagină, paginile citate de AI și cele fixate se verifică săptămânal, restul lunar. Verificările programate menajează site-ul: toți boții pe prima pagină, trei (GPTBot, ClaudeBot, PerplexityBot) pe celelalte, pentru că un blocaj de hosting acoperă tot site-ul.
Recomandări
Fiecare problemă găsită de o verificare devine o recomandare: ce e greșit, de ce contează și cum repari. Se închid singure: când următoarea verificare a paginii nu mai găsește problema, recomandarea e marcată rezolvată, cu data. Respinge una pe care nu vrei s-o rezolvi (blocarea unui bot de antrenare poate fi o alegere) și verificările nu o mai aduc înapoi. Regulile pentru tot site-ul (robots.txt, llms.txt, sitemap, blocaje de server) se judecă pe verificările primei pagini; celelalte pe pagina verificată.
Tot în Recomandări e și comparația cu paginile citate: pentru prompturile unde AI nu numește brandul, ce au paginile citate și a ta nu.
Limite
Doar pagini de pe domeniul brandului și subdomeniile lui. O verificare manuală trimite vreo douăzeci de cereri spre site, pe rând; un workspace poate rula 50 pe zi.
AI Crawl Checker gratuit
Aceeași verificare, fără cont și pentru orice site, e pe survelium.ro/ai-crawl-checker: boții, pagina și site-ul, cu un link de partajare a rezultatului. Nu știe vizitele reale ale boților, așa că acolo un „Blocat” nu poate fi deosebit de o protecție împotriva boților falși; în aplicație, da.