La web està experimentant una transformació silenciosa però profunda amb l’arribada de crawlers impulsats per intel·ligència artificial. Aquests robots, responsables de recollir dades per alimentar models de llenguatge com ChatGPT i Claude, han començat a representar el 28% del trànsit que tradicionalment era dominat per Googlebot. Aquesta nova era d’exploració automatitzada no només canvia la manera en què s’accedeix a la informació, sinó que també planteja serioses interrogants sobre la estabilitat de les infraestructures digitals.
La voracitat d’aquests crawlers és notable. Mentre que els robots d’exploració tradicionals s’enfoquen principalment en text i enllaços, els seus successors són capaços de processar una gamma molt més àmplia de continguts, incloent imatges, àudio i vídeo. Això ha portat a un canvi dràstic en la distribució del trànsit web, ara més saturat que mai.
El creixement exponencial dels crawlers IA
Dades recents indiquen que crawlers com GPTBot d’OpenAI i Claude d’Anthropic generen gairebé un bilió de sol·licituds al mes, la qual cosa representa un canvi significatiu en el paisatge del trànsit automatitzat. Aquest creixement no és casualitat; es deu a la necessitat dels models de llenguatge d’accedir a una quantitat cada vegada més gran de dades. Per exemple, ByteSpider de ByteDance, la companyia darrere de TikTok, lidera en volum de sol·licituds, seguit de prop pels esmentats GPTBot i ClaudeBot.
A diferència dels seus predecessors, aquests crawlers moderns no són particularment considerats amb les limitacions dels servidors. Poden emetre fins a 60 sol·licituds per a una sola pàgina, la qual cosa pot ràpidament portar a una saturació dels recursos disponibles. Què significa això per als propietaris de llocs web? Un repte monumental.
Impactes tècnics i econòmics preocupants
L’efecte d’aquesta nova onada de crawlers no es limita al tècnic. Molts administradors de llocs han notat pics alarmants en el trànsit, amb augments de fins a 20 vegades en les sol·licituds, que no provenen d’usuaris humans, sinó d’aquests robots insaciables. Això ocasiona un deteriorament en el rendiment de les plataformes, que poden experimentar lentitud o fins i tot caigudes totals.
Des del punt de vista econòmic, la situació és igualment complexa. Per mantenir els serveis en funcionament, molts gestors es veuen forçats a realitzar inversions significatives en les seves infraestructures, la qual cosa genera despeses inesperades que poden posar en risc la viabilitat de les seves operacions.
Adaptació davant la nova realitat digital
Front a aquesta invasió de crawlers IA, les estratègies defensives s’estan diversificant. Al voltant del 48% dels principals llocs de notícies en deu països ja han començat a bloquejar l’accés a crawlers d’OpenAI. No obstant això, la implementació d’aquestes mesures varia considerablement segons la regió; als EE. UU., fins a un 79% dels llocs han bloquejat aquests robots, mentre que a Mèxic i Polònia aquest percentatge es redueix a només un 20%.
Les tàctiques de protecció són variades. Alguns llocs opten per sistemes d’autenticació, paywalls i tecnologies específiques per detectar i limitar el trànsit no humà. A més, l’optimització tècnica s’ha tornat crucial, amb experts suggerint l’ús de renderitzat del costat del servidor i una estructuració acurada de l’HTML per reduir errors en les interaccions amb els crawlers.
Estem davant d’un possible futur on internet podria dividir-se en dues velocitats: un accessible però vulnerable, i un altre més protegit però potencialment fragmentat. Estem preparats per a aquest nou escenari?