Roser Martínez dėsto Barselonos autonominiame universitete (Universitat Autònoma de Barcelona), yra dirbtinio intelekto ekspertė ir Jungtinių Tautų įgaliotinė konvencinių ginklų sutarties klausimais. Ji nerimauja, kad mirtini autonominiai ginklai gali pradėti priimti sprendimus patys, nepriklausydami nuo žmonių.
Ispanijos nacionalinis transliuotojas RTVE.es kalbėjosi su eksperte Europos žurnalistų asociacijos tarptautiniame saugumo ir gynybos seminare „Sąjungininkai ir grėsmės“, kuris vyko Tolede.
– Šiuo metu stebime precedento neturintį dirbtinio intelekto sistemų, skirtų gynybai, vystymosi pagreitį. Kur šios technologinės revoliucijos ribos?
– Manau, ribų nėra, nes evoliucija bus nuolatinė. Reikia tobulinti šios technologijos reguliavimą, nes vienintelis būdas žmonėms, įskaitant vyriausybes, kariuomenę, policiją ir šių sistemų operatorius, veikti laisvai šios technologijos atžvilgiu yra nustatyti taisykles, apibrėžiančias jų veiksmų ribas.
Technologija yra gera ir, žinoma, technologijų plėtra Ispanijoje yra pažangi. Tokios įmonės, kaip „Indra“ ar „GTD“, yra šios rinkos lyderės. Bet valstybė negali būti įsitikinusi, kad šiuo atveju rinka yra laisva, – kitaip tariant, kad turėtų būti daugiau rinkos ir mažiau valstybės. Tokia yra Jungtinių Valstijų pozicija. Tai kelia akivaizdžią riziką ne tik piliečiams, kurie priklauso nuo tos saugumo sistemos, bet ir pačiai valstybei, kuri galėtų būti apkaltinta karo nusikaltimais, jei nebūtų apribojimų ar privalomos reguliavimo sistemos.
– Kokia yra pagrindinė autonominių ginklų keliama rizika? Jūs ne kartą kalbėjote apie sprendimų perdavimo pavojų.
– Tiesa, kad valstybės – subjektai, atsakingi už priešo puolimą ir pašalinimą, – iki šiol visada buvo žmogaus rankose, o teisė yra sukurta tam, kad ją taikytume už šiuos sprendimus atsakingiems žmonėms.
Nors programuotojai bei inžinieriai su manimi nesutinka ir sako, kad algoritmus visada kontroliuoja žmogus, nes juk visada žmogus paspaus mygtuką algoritmui paleisti, – taip nėra, nes egzistuoja pilkosios sritys, kur dėl neaiškių aplinkybių mes linkę labiau pasitikėti algoritmu nei savo pačių sprendimais. Būtent tada pagalvojame: „Tikriausiai algoritmas nesuklys.“ Čia ir glūdi pavojus, kad toks sprendimas negali būti pateisintas nei karo teise, nei teise į savigyną. Todėl tai būtų neteisminis susidorojimas, kuriam privalome užkirsti kelią.
– Ar pakankamai greitai reaguojame į šiuos technologinius pokyčius?
– Ne, nepakankamai. Tiesa, teisė visada atsilieka nuo pažangos, bet dabar ji ne šiaip sau atsilieka – ji atitolusi šviesmečiais, nes inžinieriai taip sparčiai vysto šias technologijas, kad, deja, teisė nespėja prisitaikyti.
Kas dėl to kaltas? Iš dalies kalti teisininkai, kurie nepastebėjo, kad mokslas ir technologijos vystosi tokiu tempu. Mes, teisininkai, liekame savo komforto zonoje, t. y. teisėje, kuri visada egzistavo, o aš manau, kad žmonija turi judėti link visiškai naujos teisinės tvarkos.
Esame kritinėje padėtyje, ir teisė taip pat turi reaguoti į šią padėtį bei su ja susijusius naujus pavojus. Elektros tiekimo sutrikimai, COVID-19 pandemija – visa tai privertė mus suvokti, kad nebeužtenka reguliavimo sistemos, kuria didžiavomės, t. y. teisinės valstybės Europoje.
– Galų gale liksime pajuokų objektu dėl to, kad nesureagavome laiku ir neturime sprendimo?
– Prieš 10 metų parašėme knygą apie mirtinus autonominius ginklus ir žurnalistai tai vertino kaip mokslinę fantastiką, kaip „Terminatorių“. Bet mes nekalbame apie „Terminatorius“.
Prieš 10 ar 15 metų kalbėjome apie tokį scenarijų, kur dronai yra naudojami selektyviam asmenų žudymui valstybėje, kuri mums priešiška, su kuria kariaujame, ar net tokioje, kuriai net nesame paskelbę karo. Naudojant šio tipo technologijas, buvo padaryta žiaurių nusikaltimų. Ar įmanoma tai sustabdyti?
Dėl nutekintos informacijos mes, piliečiai, galime bent šiek tiek suvokti, kas naudojama mūsų teritorijoje, ir, svarbiausia, kad šios kovos yra visiškai nelygios ne tik tarp šalių, turinčių šią technologiją, bet ir prieš piliečius, kurie neturėtų būti taikiniais, nes šie ginklai naudojami prieš civilius.
– Ar šiuo metu nėra jokio privalomo tarptautinio teisinio pagrindo?
– Sutarties, kuri įpareigotų valstybes nekurti ir nenaudoti tokios rūšies technologijų? Kol kas apribojimų nėra. Tai turėtų būti padaryta per konvencinių ginklų sutartį, bet mums nepavyko to pasiekti.
Mes, ekspertai, Ženevoje per 10 metų nesugebėjome parengti nuostatos, kurioje būtų teigiama: „Draudžiami autonominiai mirtini ginklai be reikšmingos žmogaus kontrolės.“ O juk tai labai paprasta. Ar mes tai aptarėme su kariškiais? Taip, akivaizdu, kad kai nėra jokios žmogaus kontrolės... Gerai, įsivaizduokime valstybę, kuri nekontroliuojamai naudoja tokio tipo ginklus. Ji gali būti apkaltinta nusikaltimais žmogiškumui arba genocidu. Tačiau mes dar nesame pasiekę tokios teisinės tvarkos lygio.
– Kokie apribojimai turėtų būti nustatyti šioje naujoje sutartyje arba jei būtų keičiama sutartis dėl nekonvencinių ginklų?
– Esminis dalykas yra tas, kad žmogus operatorius privalėtų turėti kontrolę bent kuriame nors mirtinos autonominės ginklų sistemos veikimo ciklo etape. Bet kuriuo momentu žmogus privalėtų turėti galimybę pasakyti: „Aš esu atsakingas už tavo sprendimus ir noriu, kad tu veiktum“ arba „Noriu, kad tu dabar pat sustotum.“ Jei nėra jokios žmogaus kontrolės, nei tiesioginės, nei netiesioginės, manome, kad toks ginklas turėtų būti uždraustas.
Mes priešinamės ne plėtrai, o tam, kad algoritmas spręstų dėl piliečių gyvybės ir mirties. Tiesa, kai autonominė ginklų sistema sustabdo puolimą, t. y. kai ji atlieka gynybos, o ne puolimo funkciją, ir kai joks žmogus nėra taikinys, problemų nėra. Tačiau mes kalbame apie ginklus, galinčius žudyti žmones. Tokiu atveju turi būti nubrėžta labai aiški riba.
– Bet ar tikrai įmanoma užtikrinti, kad žmogaus kontrolė būtų išlaikyta šiose vis labiau autonomiškose sistemose?
– Problema ta, kad jos veikia kaip juodosios dėžės. Sprendimas atrinkti taikinį ir jį sunaikinti yra priimamas tokiu būdu, kurio žmogus negali iki galo suprasti, nes algoritmas veikia remdamasis tokia sudėtinga sistema, kad net jis pats negali paaiškinti, kodėl priėmė tokį sprendimą, kodėl jis nusprendė, kad būtent tamsesnės odos žmogus, apsirengęs žaliai ir nešantis bulvę, yra priešas, o ne kas nors kitas.
Išvada aiški: kai sprendimo nepriima žmogus, kai sprendimas prieštarauja logikai, sveikas protas, žmogiškumas, blaivus mąstymas, jautrumas ir net intuicija netenka prasmės. Šių savybių neįmanoma perduoti algoritmui, nes visa, ką jis daro, – tai kopijuoja, ir jis neapsakomai šališkas – toks pat šališkas ir besilaikantis tokių pačių stereotipų, kurių laikėsi tas informatikas ar technikas, kuris jį iš pat pradžių sukonfigūravo.
Kad algoritmas visada yra „geras“, kad visada atkartoja tai, ką turėtų, – visa tai yra netiesa. Tai nėra nei žmogiškas, nei sveiku protu paremtas sprendimas. Galiausiai, pavyzdžiui, jei dirbtinio intelekto sistema įvykdo karo nusikaltimą, tai nėra nei žmogiškas, nei sveiko proto sprendimas. Bent jau kol kas.
– Kas už tai būtų atsakingas?
– Tai aišku. Yra atsekamumas. Kol kas galime teigti, kad sistemą sukūrė tas, kas ją paleido, ir tas, kas leido ją naudoti tokiomis aplinkybėmis. Yra tiesioginė atsakomybė, taip pat atsakomybė už tai, kad nebuvo pakankamai pasirūpinta tokių sistemų apsauga ir buvo leista bet kokiam programišiui ar teroristinei valstybei ja pasinaudoti.
Tačiau problema ta, kad kai mes pagaliau pripažinsime, kad dirbtinis intelektas, t. y. algoritmas, veikia nepriklausomai nuo sprendimų priėmimo proceso ar net prieštarauja pačios valstybės interesams, nes mano, jog geriau veikti taip, o ne kaip buvo užprogramuota, taps aišku, kad teisme valstybė galės pasakyti: „Ne, aš liepiau jam veikti kitaip; įvyko algoritmo klaida – tai ne mano kaltė.“ Tuomet atsiras atsakomybės trūkumas ir nutrūks ryšys tarp genocido, padaryto nusikaltimo žmogiškumui ir paties sprendimo, leidusio tam įvykti.
– Kai kurie sako, kad galime naudoti dirbtinį intelektą, jog sumažintume žmogiškųjų klaidų ir netgi šalutinę žalą. Ar tai tiesa?
– Taip, žinoma, tai tikrai efektyviau ir pigiau. Algoritmai nejaučia šalčio ar karščio, nevalgo, jiems nereikia mokėti kompensacijų sutuoktiniams ar šeimoms, o kareiviams reikia. Bet vien todėl, kad jie efektyvesni, nereiškia, kad turėtume deleguoti tokią milžinišką galią, nes vėliau nebus kam prisiimti atsakomybės už sprendimą.
Akademijoje sakoma, kad mes mažiname tikimybę, jog kariai įvykdys nusikaltimus prieš civilius, – dažniausiai kalbama apie seksualinį prievartavimą. Tie kareiviai bus patraukti atsakomybėn teisme.
Kita vertus, kad ir kokie efektyvūs būtų, algoritmai niekada negalės būti patraukti atsakomybėn, jei yra palikti be žmogaus priežiūros. Yra tokių situacijų, kur paprasčiausiai nėra galimybės užtikrinti, kad žmogus prižiūrės algoritmo priimtus sprendimus, mes jas teisiname sakydami: „Na, bet juk tai labai efektyvu.“ Bet kaip tada mes atseksime, kas buvo padaryta. Juk nežinome, ką tas algoritmas daro.
– Taip pat susiduriame su problema, kad algoritmo šališkumas galiausiai persikelia į mūšio lauką.
– Iš esmės tai persikelia į mūšio lauką, nes informacija, kurią gavo tie algoritmai, informacija, esanti debesyje, yra apie žmones, kuriems netaikomi rasiniai stereotipai: baltuosius, kaukaziečius, vyrus. Turime daug duomenų apie juos, bet ne apie kitų rasių žmones. Ten jie nebus tokie veiksmingi, ypač kalbant apie juodaodžius ir azijietiškų bruožų žmones. Trūksta informacijos, kad šie sprendimai būtų tokie pat veiksmingi. Jų atveju algoritmo šališkumas yra dar didesnis.
– Ar jums nekelia nerimo, kad šios technologijos ir autonominiai ginklai gali patekti į nevalstybinių veikėjų rankas?
– Nevalstybiniai veikėjai yra viena iš rizikos sričių. Tačiau yra ir dar didesnė rizika – kad technologija taps plačiau prieinama visuomenei. Šie dronai atpigs ir pateks į civilių rankas – piliečių, manančių, kad turi teisę į savigyną, ir norinčių apsiginkluoti tokiais dronais, kad galėtų nuspręsti, ar įleisti į savo namus ar nuosavybę asmenis, kuriems jie gali sukelti mirtiną grėsmę.
Kaip suprantu, Jungtinės Valstijos, turinčios 2-ąją Konstitucijos pataisą, skatina savo piliečius ginkluotis savo šalies, valstijos gynybai ir savigynai. Tai bus pelninga verslo sritis technologijų kompanijoms, norinčioms pereiti nuo įprastinių ginklų gamybos prie dirbtinio intelekto valdomų ginklų, kurie bus daug pigesni ir labiau mirtini, gamybos. Kur slypi pavojus? Pavojus slypi diktatoriškose valstybėse, nesąžiningose valstybėse, principų neturinčiose valstybėse, kurios gali jais pasinaudoti, bet svarbiausia problema – tokio tipo ginklų plitimas.
Tokiose visuomenėse, kaip Jungtinių Valstijų, kur šiuo metu apyvartoje yra daugiau nei 300 milijonų ginklų, įskaitant šaunamuosius ir karinius ginklus, šie algoritmais paremti ginklai tik prisidės prie jau esamų ginklų kiekio, o ne juos pakeis.
Dėl to JAV kasmet miršta 30 000–40 000 žmonių, t. y. 10 iš 100 000, daugiau nei Europoje. Kitaip tariant, jie turi didesnį civilių mirtingumo rodiklį būtent todėl, kad leidžia ginklus naudoti asmeninei gynybai. Bet jei turi ginklą, tai turėtum jį naudoti tam, kad išgelbėtum gyvybę, o ne atvirkščiai. Bet amerikietiškame kontekste ginklai sukelia mirtiną epidemiją. Jei prie to pridėsime dirbtinio intelekto valdomus ginklus, aukų ir žmogžudysčių skaičius tik dar išaugs.
– Egzistuoja strateginė konkurencija tarp Jungtinių Valstijų, Kinijos ir Rusijos, kurios skatina šias technologines lenktynes. Ar yra rizika, kad prasidės naujos ginklavimosi lenktynės, šįkart paremtos dirbtiniu intelektu?
– Tikrai taip, ir jos jau vyksta. Vienintelis dalykas, kurį reikia žinoti, yra tai, kad ant kortos stovi ne tik pats prietaisas, bet ir kodas, leidžiantis perskaityti duomenis. Yra atvirieji ir uždarieji kodai.
Europa pralaimi kovą dėl savo kodo kūrimo, kad nereikėtų priklausyti nuo Jungtinių Valstijų ir Kinijos. Jei neturėsime savo kodo, visi europiečių duomenys atsidurs kitų šalių, kurios, tiesa, buvo sąjungininkės, bet dabar kelia grėsmę, rankose.
Ką turėtume daryti? Manau, Europai iššūkis – sukurti savo kodus bei kompanijas ir svarbiausia – nepalikti to vien privačioms įmonėms, kaip daro Jungtinės Valstijos, – tai pavojinga. Pavojinga, kad mūsų saugumas ir privatumas priklausytų nuo duomenų monopolijų „Google“, „Amazon“, „Microsoft“ ir t. t.
– Ar dronų pramonė, kurią kuriame, yra europietiška?
– Jei nesugebėsime vieningai sukurti europinės strategijos, išvengdami vidinių nesutarimų nacionalinio saugumo klausimais (vis dar yra valstybių, kurios nori išsaugoti suverenumą ir kurios nesupranta, kad tas suverenumas jau nebėra teritorinis, o yra skaitmeninis suverenumas, kuris pranoksta teritoriją ir dėl kurio kova vyksta kibernetinėje erdvėje), ir kol nesuprasime šio ontologinio ir epistemologinio paradigmos pokyčio, negalėsime išgelbėti mūsų Europos piliečių.
Turime labiau didžiuotis šiuo modeliu. Kaip sako Miguelis Ángelas Aguilaras, mums reikia europinių vertybių, daugiau valstybės ir mažiau rinkos, daugiau prevencijos ir mažiau represijų.
– Ar esame pasirengę spręsti etinius iššūkius, kuriuos meta ši transformacija?
– Technologiniu požiūriu Europa pasirengusi. Etikos klausimas yra aiškus, ir mes pirmieji keliame šias problemas Jungtinėse Tautose. Esame pasirengę, tačiau mums reikia drąsaus politinio postūmio, kuris įvertintų teisės aktų taikymo ar priėmimo pasekmes. Visa tai taip pat turi reikšmingų ekonominių pasekmių šalies BVP atžvilgiu, į kurias būtina atsižvelgti.
– Kokį poveikį šios technologijos gali turėti civiliams?
– Šios technologijos neatskiria kovotojų nuo civilių. Akivaizdu, kad nors jos kasdien tobulėja, mūšio lauke atskirti labai sunku. Tačiau už mūšio lauko ribų tai reikš, kad tam tikros šalys galės jas naudoti privačiame sektoriuje, ne tik per savo ginkluotąsias pajėgas ir saugumo tarnybas. Jų reikalaus ir policija. O kodėl ne?
Brazilijoje Bolsonaras jau pareiškė, kad jo policija neis į tam tikrus rajonus, o policijos funkcijas ten atliks ginkluoti dronai. Kils rizika arba galimybė pakeisti pareigūnus dronais – tai būtų priimtina tik tuo atveju, jei tai būtų nemirtini dronai. Kol jie padės skatinti piliečių bendradarbiavimą, jie bus sveikintini, bet kai jie taps mirtinais dronais ir civiliai gyventojai jų reikalaus asmeniniam naudojimui, kils aiškus destabilizacijos ir kontrolės praradimo pavojus.
– Kokias pamokas turėtume išmokti iš dabartinių konfliktų, kuriuose jau naudojami šie ginklai, t. y. konfliktų Ukrainoje, Artimuosiuose Rytuose ir Raudonojoje jūroje?
– Pamoka ta, kad suverenumas yra nebe teritorinis, o skaitmeninis. Bet tiesa, kad tokio tipo ginklų kontrolė turi eiti kartu su reguliavimu. Pamoka ta, kad reguliavimo nėra ir kad pačios valstybės, kurios juos naudoja, atsiduria pažeidžiamoje padėtyje. Taigi išvada aiški: reguliavimas, apribojimai ir visuomenės informavimas.
– Ar kada nors bus sudaryta konkreti tarptautinė sutartis?
– Esu įsitikinusi, kad bus, nes tuo užsiimame jau 10 metų. Jei netikėčiau ta sutartimi, čia nesėdėčiau. Ar prisimenate Ledi Di [velionė Velso princesė Diana – LRT]? Ledi Di, kovojusią su priešpėstinių minų naudojimu. Visi sakė, kad tai tik dėl akių, kad jai niekada nepavyks jų uždrausti. Na, prieš mirtį ji sugebėjo pasiekti draudimą.
Tiesa, kai kurios šalys suprato, kad tai buitinės minos, o kai kurios principų neturinčios šalys jas net pardavinėja. Bet 90 procentų šalių, ypač išsivysčiusiame pasaulyje, jų nebegamina. Ispanija jų negamina, taigi padarėme didelę pažangą.
– Kokį vaidmenį šiandien kare vaidina duomenys?
– Duomenys tapo nauju traukos centru – tai naujoji karo, dronų, algoritmų ir dirbtinio intelekto nafta. Viskas matuojama duomenimis. Anksčiau kompanijos turėdavo užsiimti gavyba ir investuoti pinigus į metalą, o dabar duomenys monopolinėms įmonėms yra nemokami. Jos naudoja juos dirbtiniam intelektui bei algoritmams maitinti, kad galėtų parduoti šią technologiją.
Jos tai daro, nes mes, piliečiai, nesuvokėme, kad esame parduodami mes patys. Jos pardavė mūsų duomenis, mūsų biometrinę informaciją ir visus mūsų pomėgius. Bet mes tai atidavėme nemokamai, mainais negaudami nieko. Dabar jos turi milžinišką duomenų kiekį, ypač išsivysčiusio pasaulio – europiečių ir amerikiečių – ir parduoda juos pasiūliusiam didžiausią kainą.
Šiuo metu vyriausybės neturi jokios galios: jos nekontroliuoja programos kodo ir nevaldo duomenų, kuriuos turi privačios kompanijos, ypač palydovų operatoriai, naudojantys šiuos duomenis.
Straipsnis pirmą kartą publikuotas 2026 m. birželio 29 d., 07:12 (CEST).
Straipsnis išverstas naudojant dirbtinį intelektą, bet visą tekstą perskaitė ir patikrino žmogus.
