# Crawl Checker

> Dacă boții AI pot citi o pagină a site-ului tău, ce primesc din ea și cum citești rezultatul.

**Crawl Checker** cere o pagină a site-ului tău așa cum o cer boții AI și îți spune dacă intră și ce găsesc. Nu
folosește AI: fiecare verdict e o regulă aplicată răspunsurilor primite de cererile noastre.

## Ce verifică

**Accesul boților AI**, pentru douăzeci de boți (GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot…):

- **robots.txt** — citit cum îl citesc boții: un grup poate numi mai mulți boți, un bot urmează grupul lui și trece la
  `User-agent: *` doar când niciun grup nu-l numește, iar regula cea mai specifică câștigă. Un robots.txt care nu poate
  fi descărcat (eroare de server, timeout) înseamnă „totul interzis”, pentru că așa procedează boții.
- **Serverul** — cerem pagina cu user agent-ul fiecărui bot. Un refuz (403, 401, o pagină de verificare ca „Just a
  moment…” de la Cloudflare) e **Blocat**; un 429 e o limitare, afișată separat; lipsa răspunsului e **Inaccesibil**.
  O a doua cerere, ca un browser obișnuit, deosebește blocarea boților de un site căzut.

Google-Extended, Applebot-Extended și anthropic-ai există doar în robots.txt (botul real se prezintă sub alt nume),
deci sunt judecați doar după robots.txt.

**Pagina**: dacă textul e în HTML sau se încarcă prin script (majoritatea boților AI nu rulează JavaScript),
`noindex`, datele structurate (schema.org, în special `FAQPage`), titlul, meta descrierea, H1 și ordinea titlurilor,
adresa canonică, Open Graph și limba declarată.

**Site-ul**: robots.txt, `llms.txt` și sitemap-ul.

## Cum citești un „Blocat”

Cererile noastre pleacă de pe serverul nostru, nu de la adresele OpenAI sau Anthropic. Unele hostinguri și firewall-uri
lasă să intre GPTBot-ul real (îi verifică adresa) și opresc orice altceva care se prezintă drept GPTBot. Un astfel de
site ne blochează pe noi și îl servește totuși pe botul real.

Când integrarea [Trafic AI](https://survelium.ro/docs/ai-traffic.md) e instalată, compară cu ce au primit boții reali:

| Crawl Checker | Trafic AI arată | Cel mai probabil |
|---|---|---|
| Blocat | vizite verificate ale acelui bot | protecție contra boților falși — nimic de reparat |
| Blocat | nicio vizită de săptămâni | hostingul blochează botul — cere-le să-l permită |
| Blocat | integrarea nu e instalată | nu se poate spune — instaleaz-o ca să fii sigur |

Hostingurile shared blochează des boții AI din firewall, înainte să ajungă cererea la site, așa că un plugin de pe site
nu-i vede niciodată. Crawl Checker îi vede.

## Pagini urmărite

Până la zece pagini ale site-ului se reverifică singure: cele fixate sau adăugate de tine, prima pagină, paginile
citate cel mai des de răspunsurile AI, apoi paginile citite cel mai des de boții AI. Lista urmează ce citează AI-ul, deci
se schimbă în timp; o pagină scoasă de tine nu mai e aleasă niciodată.

Prima pagină, paginile citate de AI și cele fixate se verifică săptămânal, restul lunar. Verificările programate menajează
site-ul: toți boții pe prima pagină, trei (GPTBot, ClaudeBot, PerplexityBot) pe celelalte, pentru că un blocaj de
hosting acoperă tot site-ul.

## Recomandări

Fiecare problemă găsită de o verificare devine o recomandare: ce e greșit, de ce contează și cum repari. Se închid
singure: când următoarea verificare a paginii nu mai găsește problema, recomandarea e marcată rezolvată, cu data.
Respinge una pe care nu vrei s-o rezolvi (blocarea unui bot de antrenare poate fi o alegere) și verificările nu o mai
aduc înapoi. Regulile pentru tot site-ul (robots.txt, llms.txt, sitemap, blocaje de server) se judecă pe verificările
primei pagini; celelalte pe pagina verificată.

Tot în Recomandări e și [comparația cu paginile citate](https://survelium.ro/docs/optimization/page-comparison.md): pentru prompturile unde AI
nu numește brandul, ce au paginile citate și a ta nu.

## Limite

Doar pagini de pe domeniul brandului și subdomeniile lui. O verificare manuală trimite vreo douăzeci de cereri spre
site, pe rând; un workspace poate rula 50 pe zi.

## AI Crawl Checker gratuit

Aceeași verificare, fără cont și pentru orice site, e pe [survelium.ro/ai-crawl-checker](/ai-crawl-checker): boții,
pagina și site-ul, cu un link de partajare a rezultatului. Nu știe vizitele reale ale boților, așa că acolo un „Blocat”
nu poate fi deosebit de o protecție împotriva boților falși; în aplicație, da.