CCBot este crawlerul operat de Common Crawl, o organizatie non-profit care construieste un arhiva publica si gratuita a webului, folosita adesea ca sursa de date pentru antrenarea modelelor de limbaj, inclusiv de catre companii AI care nu ruleaza propriul crawler.
Puncte cheie
- Se identifica in logurile serverului prin user-agent-ul CCBot si respecta directivele din robots.txt.
- Datele colectate sunt publicate ca arhiva deschisa, nu doar pentru folosul intern al unei singure companii.
- Multe modele de limbaj, inclusiv unele dezvoltate de companii mai mici, folosesc arhiva Common Crawl ca sursa principala de date de antrenare.
- Blocarea CCBot poate reduce prezenta unui site in seturile de date folosite de modele care se bazeaza pe aceasta arhiva.
Exemplu practic
Un startup care dezvolta un model de limbaj propriu, fara resurse pentru crawling propriu, foloseste arhiva Common Crawl ca baza de date, ceea ce face relevanta prezenta continutului unui site in aceasta arhiva.
De ce conteaza
Pentru branduri, accesul CCBot determina daca continutul lor devine parte din arhiva pe care multiple modele AI, nu doar unul singur, o pot folosi la antrenare.
Intrebari frecvente
CCBot este operat de OpenAI sau Google?
Nu, este operat de Common Crawl, o organizatie independenta non-profit, separata de companiile AI care ii folosesc datele.
Pot vedea cine foloseste arhiva Common Crawl?
Organizatia publica lista de utilizare generala, dar nu ofera detalii despre fiecare companie care descarca arhiva.