Insideri din industria IA lansează un site pentru a otrăvi datele care o alimentează

Alarmaţi de ceea ce companiile construiesc cu modelele de inteligenţă artificială, câţiva insideri din industrie cer celor care se opun stării actuale de fapt să pornească un efort de „otrăvire” în masă a datelor, pentru a submina tehnologia, informează The Register.

Iniţiativa lor, numită Poison Fountain, le cere operatorilor de site-uri să adauge linkuri pe paginile lor care să furnizeze crawlerelor IA date de antrenament otrăvite. Proiectul este activ de aproximativ o săptămână.

Crawler-ele IA vizitează site-uri şi colectează date care ajung să fie folosite la antrenarea modelelor IA, o relaţie parazitară care a stârnit reacţii din partea editorilor. Atunci când datele colectate sunt corecte, ele ajută modelele IA să ofere răspunsuri de calitate; când sunt incorecte, efectul este opus.

Otrăvirea datelor poate lua forme variate şi poate avea loc în diferite etape ale procesului de construire a modelelor IA. Poate rezulta din cod cu erori sau din afirmaţii factuale greşite de pe un site public. Sau poate proveni din seturi de date de antrenament manipulate, precum atacul Silent Branding, în care un set de date de imagini a fost modificat pentru a introduce logo-uri de brand în rezultatele modelelor de difuzie text-la-imagine. Nu trebuie confundată cu otrăvirea de către IA — de pildă, schimbări alimentare făcute la sfatul ChatGPT care duc la spitalizare.

Poison Fountain a fost inspirat de munca Anthropic privind otrăvirea datelor, în special de un articol publicat în octombrie anul trecut care a arătat că atacurile de acest tip sunt mai practice decât se credea anterior, deoarece doar câteva documente maliţioase sunt suficiente pentru a degrada calitatea unui model.

Persoana care oferit informaţii despre proiect a cerut anonimatul, „din motive evidente” — cel mai important fiind faptul că lucrează pentru una dintre marile companii tech americane implicate în boom-ul IA.

Sursa noastră a spus că scopul proiectului este de a face oamenii conştienţi de „călcâiul lui Ahile” al IA — uşurinţa cu care modelele pot fi otrăvite — şi de a-i încuraja să-şi construiască propriile arme informaţionale.

Publicaţia citată afirmă: "Ni s-a spus, dar nu am putut verifica, că cinci persoane participă la acest efort, dintre care unele ar lucra la alte mari companii IA din SUA. Ni s-a spus că vom primi dovezi criptografice că este implicată mai mult de o persoană, de îndată ce grupul va putea coordona semnarea PGP".

Pagina web Poison Fountain susţine necesitatea unei opoziţii active faţă de IA.

„Suntem de acord cu Geoffrey Hinton: inteligenţa maşinilor este o ameninţare la adresa speciei umane. Ca răspuns la această ameninţare, dorim să provocăm daune sistemelor de inteligenţă ale maşinilor”, explică site-ul.

Sunt listate două URL-uri care indică date concepute pentru a îngreuna antrenarea IA. Unul indică un site standard accesibil prin HTTP. Celălalt este un URL „darknet” .onion, menit să fie dificil de închis.

Site-ul le cere vizitatorilor să „ajute efortul de război prin memorarea în cache şi retransmiterea acestor date de antrenament otrăvite” şi să „ajute efortul de război prin furnizarea acestor date otrăvite crawlerelor web”.

Sursa a explicat că datele otrăvite de pe paginile linkate constau în cod incorect, cu erori subtile de logică şi alte bug-uri, concepute pentru a afecta modelele de limbaj care se antrenează pe acel cod.

„Hinton a afirmat clar pericolul, iar noi vedem că are dreptate şi că situaţia escaladează într-un mod de care publicul, în general, nu este conştient”, a spus sursa, menţionând că grupul a devenit îngrijorat deoarece „vedem ce construiesc clienţii noştri”.

Sursa a refuzat să ofere exemple concrete care ar justifica îngrijorarea.

În timp ce personalităţi din industrie precum Hinton, organizaţii de bază precum Stop IA şi organizaţii de advocacy precum Algorithmic Justice League se opun industriei tech de ani de zile, mare parte din dezbatere s-a concentrat pe amploarea intervenţiei de reglementare — care, în SUA, este în prezent minimă. În mod coincident, firmele IA cheltuiesc sume mari pe lobby pentru a se asigura că lucrurile rămân aşa.

Cei din spatele proiectului Poison Fountain susţin că reglementarea nu este răspunsul, deoarece tehnologia este deja disponibilă pe scară largă. Ei vor să „ucidă” IA cu foc — sau, mai degrabă, cu otravă — înainte să fie prea târziu.

„Atacurile de otrăvire compromit integritatea cognitivă a modelului. Nu există nicio modalitate de a opri avansul acestei tehnologii, odată ce a fost diseminată la nivel mondial. Ce rămâne sunt armele. Acest Poison Fountain este un exemplu de astfel de armă”, a spus sursa noastră.

Există şi alte proiecte de otrăvire a IA, dar unele par mai concentrate pe generarea de venituri din escrocherii decât pe salvarea umanităţii de IA. Nightshade, un software conceput pentru a face mai dificilă colectarea şi exploatarea de către crawler-ele IA a imaginilor online ale artiştilor, pare a fi una dintre iniţiativele comparabile.

În ce măsură astfel de măsuri sunt necesare nu este clar, deoarece există deja îngrijorări că modelele IA se înrăutăţesc. Modelele sunt „hrănite” cu propriul lor balast IA şi cu date sintetice, într-un cerc vicios de amplificare a erorilor cunoscut drept „colapsul modelelor”. Fiecare afirmaţie factuală greşită şi fiecare fabulaţie postată pe internet poluează şi mai mult sursa. De aceea, creatorii de modele IA sunt dornici să încheie acorduri cu site-uri precum Wikipedia, care exercită un anumit control editorial al calităţii.

Există, de asemenea, o suprapunere între otrăvirea datelor şi campaniile de dezinformare — numite, cu un alt termen, «reţelele sociale». Aşa cum nota un raport NewsGuard din august 2025 [PDF], „în loc să citeze praguri de date sau să refuze să se pronunţe pe subiecte sensibile, LLM-urile extrag acum informaţii dintr-un ecosistem informaţional online poluat — uneori însămânţat deliberat de vaste reţele de actori maliţioşi, inclusiv operaţiuni ruseşti de dezinformare — şi tratează surse nesigure ca fiind credibile”.

Academicienii au păreri diferite în privinţa măsurii în care colapsul modelelor reprezintă un risc real. Dar un articol recent [PDF] prezice că „şarpele” IA şi-ar putea mânca propria coadă până în 2035.

Indiferent de riscul pe care îl prezintă IA, acesta s-ar putea diminua substanţial dacă bula IA se sparge. O mişcare de otrăvire ar putea doar să accelereze acest proces.