Trafic AI
Boți AI și verificare
Ce boți AI recunoaștem, de ce vin (indexare, accesări live, antrenare) și cum verificăm că sunt cine pretind.
Un boț AI e un program al unei companii de AI care îți cere paginile. Îl recunoaștem după numele cu care se prezintă (user agent-ul) și îl verificăm după adresa de la care vine.
De ce vin: cele trei scopuri
| Scop | Ce face | Exemple | Dacă îl blochezi |
|---|---|---|---|
| Indexare AI | Indexează pagini pentru căutarea din asistent, ca un motor de căutare | OAI-SearchBot, Claude-SearchBot, PerplexityBot, Applebot | Asistentul nu-ți mai găsește paginile când caută |
| Accesări live | Deschide o pagină chiar acum, pentru cineva care întreabă asistentul | ChatGPT-User, Claude-User, Perplexity-User | Asistentul nu poate cita pagina în răspunsul acela |
| Antrenare AI | Adună text pentru antrenarea modelelor | GPTBot, ClaudeBot, Google-Extended, CCBot | Nu mai intri în datele de antrenare; căutarea nu e afectată |
Același operator are de obicei câte un boț pentru fiecare scop. Poți bloca antrenarea (GPTBot) și lăsa căutarea (OAI-SearchBot) deschisă.
Verificarea
Oricine poate trimite o cerere cu user agent-ul „GPTBot”. De aceea verificăm IP-ul fiecărei accesări:
- Intervale de IP publicate — operatorul (OpenAI, Anthropic, Perplexity, Google, Apple, DuckDuckGo, Mistral, Common Crawl) publică lista adreselor lui. IP-ul trebuie să fie în listă.
- DNS invers — numele adresei trebuie să se termine în domeniul operatorului și să ducă înapoi la aceeași adresă (Amazon, unii boți Google).
- Neverificabil — operatorul nu publică nicio metodă (Meta, ByteDance, Cohere, DeepSeek…).
Fiecare accesare primește unul dintre statusurile:
| Status | Înseamnă | Se numără |
|---|---|---|
| Verificat | IP-ul aparține operatorului | da |
| Neverificabil | operatorul nu publică nicio metodă de verificare | doar cu „Include neverificabilii” |
| Neverificat | integrarea n-a trimis IP-ul, sau lista operatorului nu putea fi citită atunci | doar cu „Include neverificabilii” |
| Fals | IP-ul nu aparține operatorului: cineva se dă drept boțul acela | niciodată |
Accesările false rămân în Boți AI → Jurnalul cererilor, marcate, ca să vezi cine încearcă.
Dacă site-ul e în spatele Cloudflare sau al unui load balancer și integrarea nu vede IP-ul real, toate accesările ies neverificate sau false. Fiecare ghid de instalare spune cum se setează.
Ce boți nu numărăm
- Googlebot și Bingbot. Alimentează și AI Overviews sau Copilot, dar sunt crawleri clasici de căutare; numărați aici, ar acoperi tot restul cifrelor.
- Boții scoși din listă. Când un boț iese din listă, accesările lui vechi rămân stocate, dar nu se mai numără.
- Boții care nu sunt AI (unelte SEO, monitoare de uptime, scripturi). Nu intră nici în totalul zilnic.
Lista se actualizează săptămânal. Integrările o descarcă zilnic; și dacă o copie e veche, noi potrivim din nou fiecare accesare la primire.
Lista boților
| Boț | Operator | Scop | Verificare |
|---|---|---|---|
| GPTBot | OpenAI | Antrenare AI | IP-uri publicate |
| OAI-SearchBot | OpenAI | Indexare AI | IP-uri publicate |
| ChatGPT-User | OpenAI | Accesări live | IP-uri publicate |
| ClaudeBot | Anthropic | Antrenare AI | IP-uri publicate |
| Claude-SearchBot | Anthropic | Indexare AI | IP-uri publicate |
| Claude-User | Anthropic | Accesări live | IP-uri publicate |
| Claude-Web | Anthropic | Accesări live | neverificabil |
| anthropic-ai | Anthropic | Antrenare AI | neverificabil |
| PerplexityBot | Perplexity | Indexare AI | IP-uri publicate |
| Perplexity-User | Perplexity | Accesări live | IP-uri publicate |
| Google-Extended | Antrenare AI | neverificabil | |
| Google-CloudVertexBot | Antrenare AI | DNS invers | |
| GoogleOther | Antrenare AI | DNS invers | |
| Google-NotebookLM | Accesări live | IP-uri publicate | |
| GoogleAgent-URLContext | Accesări live | IP-uri publicate | |
| Gemini-Deep-Research | Accesări live | IP-uri publicate | |
| Applebot | Apple | Indexare AI | IP-uri publicate |
| Applebot-Extended | Apple | Antrenare AI | neverificabil |
| Amazonbot | Amazon | Indexare AI | DNS invers |
| DuckAssistBot | DuckDuckGo | Indexare AI | IP-uri publicate |
| MistralAI-User | Mistral AI | Accesări live | IP-uri publicate |
| CCBot | Common Crawl | Antrenare AI | IP-uri publicate |
| meta-externalagent | Meta | Antrenare AI | neverificabil |
| meta-externalfetcher | Meta | Accesări live | neverificabil |
| FacebookBot | Meta | Antrenare AI | neverificabil |
| Bytespider | ByteDance | Antrenare AI | neverificabil |
| cohere-ai | Cohere | Accesări live | neverificabil |
| cohere-training-data-crawler | Cohere | Antrenare AI | neverificabil |
| YouBot | You.com | Indexare AI | neverificabil |
| DeepSeekBot | DeepSeek | Antrenare AI | neverificabil |
| Diffbot | Diffbot | Antrenare AI | neverificabil |
| AI2Bot | Ai2 | Antrenare AI | neverificabil |
| Timpibot | Timpi | Antrenare AI | neverificabil |
| kagi-fetcher | Kagi | Accesări live | neverificabil |
Lista curentă, în format JSON, e publică la /api/v1/signatures.