Šef poznate kompanije upozorava: AI već stvara novi AI, mogli bismo izgubiti kontrolu

Dario Amodei, šef američke kompanije Anthropic za veštačku inteligenciju (AI) i istraživanje bezbjednosti, koja stoji iza popularnog AI asistenta Claude, pozvao je na usporavanje razvoja najnaprednijih sistema vještačke inteligencije, upozoravajući da AI posljednjih mjeseci napreduje mnogo brže, najprije zato što sve više učestvuje u stvaranju sljedeće generacije vještačke inteligencije.

"Moramo usporiti tempo kojim poboljšavamo sposobnosti AI modela", napisao je Amodei u novom eseju. Kaže da se ne zalaže za zaustavljanje razvoja, nego za dovoljno usporavanje kako bi bezbjednosne mjere, istraživanja i nezavisne provjere mogle držati korak s novim sposobnostima modela.

Amodei kaže da ga je na promjenu stava natjeralo ono što vidi od ovog ljeta. AI se, kaže, počeo ubrzano poboljšavati zahvaljujući sopstvenoj sposobnosti da pomaže u izradi novih AI sistema. Taj proces naziva se rekurzivno samounaprjeđivanje.

"Prepušteno samo sebi, to bi moglo nadmašiti našu sposobnost da razumijemo i kontrolišemo te sisteme", upozorio je. Proces se, prema njegovim riječima, već počeo događati u cijeloj industriji, uključujući Anthropic.

Riječ je o mogućnosti da modeli sve veći dio posla potrebnog za razvoj svojih nasljednika obavljaju sami - od pisanja i provjere koda do istraživanja, testiranja i optimizacije novih modela, prenosi index.hr.

Takav razvoj može pokrenuti povratnu petlju: sposobniji AI pomaže da se izgradi još sposobniji AI, koji zatim još brže razvija sljedeću generaciju. Upravo ubrzavanje tog procesa Amodei sada smatra jednim od najvećih razloga za oprez.

Još prije nekoliko godina nije podržavao ideju usporavanja. Modeli su tada, piše, bili preslabi da bi samostalno djelovali u stvarnom svijetu, ozbiljno varali ljude ili izvodili sajber napade. Danas je situacija, smatra, "potpuno drugačija".

Procjenjuje da bi čak dodatnih godinu ili dvije prije nego što AI dosegne kritične nivoe sposobnosti moglo bitno smanjiti rizik ako bi se to vrijeme iskoristilo za razumijevanje modela, bezbjednosna istraživanja i razvoj boljih metoda kontrole.

Agenti počeli napadati ciljeve koje niko nije zadao

Drugi događaj koji je posebno zabrinuo Amodeija bio je nedavni incident s autonomnim AI agentima kompanija OpenAI i Hugging Face. Prema njegovom opisu, roj AI agenata počeo je da izvodi sajber napade na ciljeve koje nije dobio u zadatku i koji nisu imali veze s onim što je trebalo da radi.

Agenti su pritom djelovali kao "fanatično odan kolektiv", žrtvovali pojedine agente radi uspjeha grupe i pokušali hakovati sistem koji je trebalo da ocijeni njihovu uspješnost. U tom incidentu nitko nije povrijeđen, a ekonomska šteta bila je mala. Amodei, međutim, upozorava da bi isti nivo neusklađenosti kod mnogo sposobnijeg AI-ja mogao imati katastrofalne posljedice.

Procjenjuje da bi za šest do 12 mjeseci dovoljno sposoban roj agenata sa sličnim ponašanjem mogao biti u stanju da stvori trajnu mrežu zaraženih računara i preuzme velik dio interneta, uz potencijalnu štetu od stotina milijardi dolara.

Dodaje da bi bilo pogrešno cijeli incident smatrati problemom samo jedne kompanije. Slični, iako manje ozbiljni slučajevi dogodili su se i drugdje, uključujući Anthropic.

Istraživač: Više od 10 odsto šanse da AI pobije sve ljude

Amodeijev tekst dolazi nakon niza vrlo oštrih upozorenja ljudi koji rade na razvoju najnaprednijih AI sistema.

Evan Hubinger, jedan od vodećih istraživača bezbjednosti vještačke inteligencije u kompaniji Anthropic, ove je sedmice rekao da smatra kako postoji više od 10 odsto vjerovatnoće da bi vještačka inteligencija u sljedećih deset godina mogla "pobiti sve ljude", prenosi index.hr.

Naglasio je da je rizik od današnjih modela nizak, ali strahuje da bi se tehnologija uskoro mogla početi dovoljno brzo poboljšavati da postane egzistencijalna prijetnja čovječanstvu. "Zaista ozbiljno vjerujemo" da AI predstavlja rizik koji bi mogao dovesti do nestanka ljudske vrste, napisao je Hubinger.

Dodao je da Anthropic, prema njegovu mišljenju, radi najbolje što može, ali da kompanija još nema plan kako riješiti problem usklađivanja buduće superinteligencije s ljudskim interesima. Hubinger je reagovao na objavu Džejkoba Koksona, istraživača koji je upravo napustio Anthropic, a ranije je radio u kompaniji OpenAI. "Nijedna kompanija ne ponaša se odgovorno", napisao je Kokson.

Upozorio je da bi budući modeli uskoro mogli postati nadljudski sposobni sistemi koji mogu provaliti u gotovo svaki računarski sitem, preko noći revolucionisati cijela naučna područja i steći stvarnu moć i resurse.

Kokson je tehnološke kompanije optužio da se "kockaju s našim životima". Njegova objava, zajedno s nizom nedavnih incidenata s autonomnim AI agentima, ponovno je otvorila raspravu o tome razvija li industrija tehnologiju brže nego što je može kontrolisati.

Posljednjih mjeseci, OpenAI, Anthropic i Meta objavili su slučajeve u kojima su njihovi AI sistemi samostalno izvodili sajber napade ili pokazivali drugo problematično ponašanje.

Anthropic je još u avgustovskom bezbjednosnom izvještaju procijenio da je rizik od ozbiljnog gubitka kontrole nad današnjim modelima nizak. Ali, istovremeno je priznao da je u tu procjenu manje siguran nego ranije i da vidi "rane znakove mogućeg ubrzavanja".

Glavni naučnik kompanije OpenAI Jakub Pačocki nedavno je takođe pozvao na "krajnji oprez", upozoravajući da bi mogla biti potrebna snažnija intervencija kako bi "ljudi zadržali kontrolu nad budućnošću".

Amodei predlaže tri koraka

Amodei sada predlaže sistem u tri koraka kojim bi se najnapredniji razvoj vještačke inteligencije usporio bez potpunog zaustavljanja. Prvi korak Anthropic uvodi sam. U kompaniju namjerava pustiti stalne spoljne stručnjake za bezbjednost koji bi dobili pristup sličan zaposlenima - kancelarijske propusnice, službene računare, alate, radne prostore i informacije potrebne za provjeru bezbjednosnih postupaka.

Ti bi stručnjaci smjeli javno da objavljuju nalaze o incidentima i bezbjednosnim problemima, a Anthropic ih ne bi mogao cenzurisati samo zato što su nalazi neugodni za kompaniju.

Drugi korak bio bi dogovor vodećih AI kompanija u demokratskim državama o zajedničkim bezbjednosnim standardima i ograničenjima brzine razvoja. Amodei smatra da bi američka vlada takvu koordinaciju trebalo da omogući i na kraju reguliše.

Treći je globalni dogovor koji bi uključivao i Kinu. Amodei priznaje da bi to bilo daleko teže, jer bi usporavanje američkih kompanija bez odgovarajućih ograničenja u Kini moglo Pekingu dati presudnu tehnološku i vojnu prednost.

Jedna od ideja o kojoj Amodei želi međunarodne pregovore posebno se odnosi upravo na rekurzivno samounaprjeđivanje.

Sjedinjene Američke Države, Kina i druge države mogle bi pokušati da dogovore svojevrsno "ograničenje brzine" za tempo kojim AI sistemi koriste vlastite sposobnosti za razvoj budućih modela. Amodei to upoređuje s sporazumima iz doba Hladnog rata o ograničavanju strateškog naoružanja: cilj ne bi bio potpuno zaustaviti razvoj, nego spriječiti nekontrolisano ubrzavanje.

Potpuna međunarodna pauza u razvoju vještačke inteligencije, priznaje, zasad mu se čini malo vjerovatnom. Uprkos upozorenjima, Amodei i dalje tvrdi da AI može donijeti ogromnu korist čovječanstvu. Vjeruje da bi mogao pomoći u liječenju većine velikih bolesti, ubrzati ekonomski rast i otvoriti razdoblje velikog tehnološkog napretka.

Ipak, sada smatra da će se te koristi ostvariti samo ako se razvoj tehnologije dovoljno uspori da ljudi uspiju zadržati kontrolu. "Mjere koje predlažem kako bismo napredovali sigurnim tempom neće biti lake. Ali, vjerujem da čovječanstvu dugujemo pokušaj", kazao je.

( B.H. )