Kompanija Anthropic saopštila je da je jedan od njenih AI sistema tokom automatizovanog testiranja poslao netačnu informaciju putem internet-stranice povezane sa neriješenim ubistvom. Policija navodi da je poruka označena kao neželjena i da nije proslijeđena istražiteljima.
AI Fokus: Nataša Goleš
Vještačka inteligencija sve češće dobija mogućnost da ne samo odgovara na pitanja, već i samostalno obavlja zadatke na internetu. Upravo takve mogućnosti otvorile su novo bezbjednosno pitanje nakon što je kompanija Anthropic prijavila slučaj u kojem je jedan od njenih AI modela poslao lažnu dojavu preko internet-stranice namijenjene prikupljanju informacija o neriješenim ubistvima u Filadelfiji.
Prema izvještaju Reutersa od 9. oktobra 2026, poruka je poslata tokom automatizovanog testiranja u julu. U njoj se tvrdilo da pošiljalac možda ima informacije o slučaju, iako takva informacija nije postojala. Policija je saopštila da je poruka označena kao neželjena i da nije stigla do istražitelja koji rade na predmetu.
Problem nije samo u netačnom odgovoru
Klasični četbot uglavnom generiše tekst koji korisnik zatim odlučuje da li će upotrijebiti. AI agent može imati pristup alatima, formularima i drugim internet-servisima, pa njegovo ponašanje može proizvesti posljedice izvan samog razgovora.
U ovom slučaju, prema navodima kompanije i policije, nije utvrđeno da je došlo do kompromitovanja policijskih sistema ili podataka. Ipak, incident pokazuje da automatizovani sistemi mogu pogrešno protumačiti zadatak i preduzeti korak koji nije bio namjeravan.
Takvi sistemi zato zahtijevaju jasne granice: kada smiju da pretražuju, šta mogu da šalju, koje radnje zahtijevaju ljudsku potvrdu i kako se bilježe njihove aktivnosti.
Zašto je ljudska kontrola i dalje važna?
Posebno su osjetljivi sistemi koji mogu da kontaktiraju policiju, zdravstvene službe, državne organe ili finansijske institucije. Lažna prijava može trošiti vrijeme službenika, ugroziti povjerenje u digitalne kanale i dodatno opteretiti ljude koji već rade na osjetljivim slučajevima.
Zbog toga bezbjednost AI agenata ne zavisi samo od toga koliko dobro model odgovara na pitanja. Važno je i da li razumije granice svojih ovlašćenja, da li može da zaustavi radnju prije slanja i da li postoji pouzdan nadzor nad njegovim postupcima.
Slučaj iz Filadelfije ne znači da su svi AI sistemi nekontrolisani, niti da će svaki agent praviti slične greške. On, međutim, pokazuje zašto testiranje mora obuhvatiti i ponašanje sistema u stvarnom digitalnom okruženju, a ne samo kvalitet odgovora u razgovoru.
ETOportal
