Præst: Hvordan placerer vi et ansvar, når maskiner slår ihjel?

Afonso Seixas Nunes er præst, men bruger det meste af sin tid på at studere robotter i krig. Han ser både fordele og ulemper ved robotterne, men mener, at de udfordrer demokratiet, fordi de fjerner rædslerne fra almindelige menneskers øjne

Modsat paven, der sender fredsduer af sted, nærstuderer Afonso Seixas Nunes de førerløse droner, der kan dræbte mennesker, uden at nogen opdager det. Som jesuit ser han det som sin pligt at nærstudere fjenden, som han siger.
Modsat paven, der sender fredsduer af sted, nærstuderer Afonso Seixas Nunes de førerløse droner, der kan dræbte mennesker, uden at nogen opdager det. Som jesuit ser han det som sin pligt at nærstudere fjenden, som han siger. Foto: Peter Krogh Andersen.

Forestil dig, at en selvmordsbomber finder vej ind i menneskemylderet på Hovedbanegården i København. Ingen på stationen ved, at de står tæt på en person med sprængstoffer om livet, men få hundrede meter væk er en drone på mindre end 200 gram allerede lettet. Fodret med måneders informationer og advarsler om terroristen på stationen, finder den vej ind til perronen. Lydløst og uden indblanding fra et menneske. Det er en portugisisk præst, Afonso Seixas Nunes, der beskriver den foruroligende scene.

”Når dronen er på perronen, identificerer den selv personen og vælger den bedste ammunition og tidspunkt til angrebet. Og så angriber den. Måske med en gift-indsprøjtning i nakken. På den måde undgår vi, at hele stationen går i panik,” siger præsten og understreger sin pointe:

”Her synes jeg, det giver rigtig god mening at bruge en drone. Problemet er så bare, hvordan vi definerer, hvad der er en terrorist.”

Afonso Seixas Nunes er jesuitisk præst med grader i jura, filosofi og teologi. Han har de senere år specialiseret sig i de etiske og juridiske udfordringer, der følger med, når vi fjerner menneskets finger fra aftrækkeren og overlader beslutninger om liv og død til robotter. I traditionel krig såvel som i kampen mod terror. Før sommeren var han tilknyttet det institut på Oxford Universitet, som forsøger at besvare etiske og juridiske spørgsmål relateret til krig. Blandt andet stillet af stater.

”Hvad sker der, hvis dronen i København eller på en slagmark i Libyen identificerer den forkerte person? Hvis den tror, det er dig og ikke en anden blond person, der skal rammes. Og den angriber og slår ihjel. Det er jo en krigsforbrydelse. Men hvem er så ansvarlig? I dag er svaret: Ingen. Ingen er ansvarlig. For der er ikke noget menneske at holde ansvarligt,” siger han.

Den portugisiske præst sidder i en baggård på en café i Lissabon og fortæller. I knap tre timer udfolder han roligt sine argumenter og forklarer, hvorfor han som præst beskæftiger sig med autonome våben, hvorfor han ikke altid er enig med Vatikanets udmeldinger og visse menneskerettighedsorganisationer, og hvorfor vi alle bør være bekymrede, når stater stort set uhindret kan indsamle informationer om almindelige mennesker og derefter fodre dem til autonome våbensystemer.

Men Afonso Seixas Nunes begynder hele samtalen med at forklare, hvad der adskiller et traditionelt våben fra et våben, der kan operere på egen hånd, altså et autonomt våbensystem. På café-bordet foran sig stiller han tre grønne flasker ved siden af hinanden og bruger sin telefon som dronen, der kommer flyvende.

Først er det et Brimstone-missil, som blandt andet er blevet brugt i Afghanistan og Libyen, og som er et af de mest avancerede missiler på markedet, fordi det er uhyre præcist og forårsager færre følgeskader end mange andre missiler.

”Men, selv om Brimstone er et avanceret missil, er det forprogrammeret, så når du sender det af sted for at smadre den her grønne flaske, så gør det det og afviger ikke fra sin mission, uanset om det også smadrer de to andre grønne flasker,” siger han.

Et fuldt ud autonomt våbensystem kan derimod løbende tilpasse sig de lokale forhold. Ligesom et menneske i krig kan det observere, orientere sig, beslutte noget og handle – alt sammen uden indblanding fra et menneske. På engelsk kaldes det OODA-loopet sammensat af ordene: observe, orient, decide and act (observer, orienter, beslut, og handl).

”En fuldt ud autonom drone er programmeret til en mission, men derefter vælger den selv hvert eneste skridt. Ligesom et menneskes hjerne lærer den hele tiden af sine egne observationer og kan tilpasse sig en ny situation. Hvis den skal ramme den her grønne flaske, men der står to andre grønne flasker foran den – eller der er en bus med mennesker foran den – så kan dronen vente, til der er mere frit, eller den kan vælge et mere præcist våben,” forklarer han.

I maj offentliggjorde FN en rapport, der beskrev, at ”dødbringende autonome” droner sidste år angreb og chikanerede en konvoj af soldater fra oppositionsstyrkerne i Libyen. Det er usikkert, om dronerne slog soldater ihjel, men flere medier stillede derefter spørgsmålet: Er autonome våben begyndt at slå ihjel i krig?

Ifølge Afonso Seixas Nunes er svaret dog nej. Ifølge ham er dronerne, i dette tilfælde af det tyrkiske mærke Kargu 2, ikke i stand til at afvige fra deres forprogrammerede mission. Dermed er de i princippet styret af et menneske, siger den jesuitiske præst.

Eksperter er uenige om, hvor langt vi er i udviklingen af den autonome teknologi, og sandheden er, at det er svært at være sikker, fordi våbenindustrien opererer i hemmelighed, og fordi der ikke eksisterer en klar definition. Men angrebet i Libyen og de mange uklarheder om, hvad der reelt skete på slagmarken, er en påmindelse om, hvilke udfordringer vi står overfor, når de fuld-autonome våbensystemer letter og udfører missioner på egen hånd.

Og udfordringerne begrænser sig ikke til verdens krige. Faktisk bør vi alle være bekymrede, mener Afonso Seixas Nunes, fordi den teknologiske udvikling og digitale overvågning af indvider gør stater stærkere og stærkere og giver dem en enorm magt over deres borgere. Præsten tager igen sin telefon op og bruger den som eksempel på en computer styret af en stat. På computeren er et program, som hele tiden bliver fodret med informationer fra Facebook, din bank, apps på din telefon og så videre.

”Hvis jeg laver et program, som er indstillet til at lede efter potentielle terrorister, og hvis det program på et tidspunkt slår fast, at ja, det var dig, der betalte for et missil til Islamisk Stat eller en anden terrorgruppe, så kan programmet uafhængigt af mennesker klassificere dig som et militært mål,” siger han og fortsætter:

”Og hvis de informationer automatisk sendes videre til en autonom drone, så kan dronen selv lette, finde dig og tilintetgøre dig. Droner, der selv letter fra militærbaser, de findes allerede.”

Til gengæld er Afonso Seixas Nunes ikke så nervøs for, at stater opfinder våben, som ikke har en eller anden form for menneskelig kontrol. Ganske enkelt fordi staten, der står bag, risikerer at våbnene vender sig mod staten selv. Her er præsten langt mere bekymret for terrorister – såkaldte ikke-statslige aktører – fordi de ikke vil have samme overvejelser. Han nævner den norske terrorist Anders Behring Breivik, som i sommeren 2011 slog 77 mennesker ihjel med en bombe i Oslo og derefter skydevåben på øen Utøya:

”Så hvis en type som Anders Breivik har den tekniske viden til at bygge en bombe, og hvis han sender den af sted med en drone – som alle jo kan få fat i – kan han forårsage en langt større og ukontrolleret katastrofe. Og det bliver langt, langt sværere at finde frem til, hvem der stod bag.”

Afonso Seixas Nunes bliver ofte mødt af forbløffelse, når han fortæller om, at han bruger det meste af sin tid på det, som ofte kaldes for ’dræber-robotter’. Den 48-årig portugiser insisterer dog på, at han er en ganske almindelig mand, der blot gør som mange jesuitter før ham selv og beskæftiger sig med international lov og krigens ofre.

”Jeg besluttede mig bare for at studere fjenden. Den bedste måde at sejre over fjenden på er jo at studere den grundigt,” siger den katolske præst med et smil.

Når en soldat eller en civil bliver dræbt i krig, har familien ifølge international humanitær lov krav på at få at vide, hvordan deres pårørende døde, hvad omstændighederne var, og hvad der sker med liget. Men det er mere reglen end undtagelsen, at familierne står tilbage uden svar, fortæller han:

”Den lov fik mig til at tænke på alle de ofre, som vi ikke kender noget til. Vi ved måske, at 5000 mennesker blev dræbt i en konflikt, og at der var civile iblandt. Vi kender måske dem, der begår forbrydelsen, men ofrene ender ofte blot som tal. Som jesuit ser jeg det som min pligt at arbejde for ofrene og deres familier.”

Når de pårørende i fremtiden skal forsøge at finde ud af, hvad der skete med deres brødre, søstre og børn efter et angreb med et autonomt våben, er det vigtigt, at mennesker kan forstå, hvad der foregik inde i dronens ’hjerne’. Sådan er det langt fra i dag, hvor maskinernes indsamling og udregning af data – også kaldet algoritmerne – er ekstremt komplicerede.

”Hvis en dommer skal placere et ansvar, vil han normalt forsøge at opklare forbrydelsen ved at gå tilbage og se, hvad der skete. Trin for trin. Men de her maskiner bruger så mange millioner af data og udregner dem så hurtigt og på så mange leder og kanter, at de er umulige for et menneske at forstå. Så reelt er der ingen beviser for dommeren,” siger han.

Løsningen på det problem er ifølge nogle, at algoritmerne skal kunne forklare sig selv. Afonso Seixas Nunes mener, at det er den rigtige vej at gå, men det vil næppe løse problemet med, hvor ansvaret skal placeres, når en maskine begår en fejl.

Her siger nogle tilhængere af de autonome våben, at robotterne kan stoppes, så længe der sidder et menneske og overvåger dem. Men præsten er skeptisk og peger på, at selvkørende biler har kørt mennesker ned trods menneskelig supervision, ligesom de to Boeing 737 Max-fly, der styrtede ned i Etiopien og Indonesien i 2018 og 2019, havde piloter i cockpittene.

”Men i de to Boeing-fly blev det automatiske system ved med at trumfe piloterne, selvom de gjorde alt, hvad de kunne for at få kontrollen med flyene. Og så styrtede de ned. De episoder kan hjælpe os med at forstå, hvor komplekst det her er. Med de her avancerede våben vil skaden formentlig allerede være sket, når en kommandør opdager, at noget er galt,” siger Afonso Seixas Nunes.

Trods alt det, der kan gå galt, når autonome våben sendes i krig, er Afonso Seixas Nunes ikke enig med dem, der vil forbyde udviklingen og brugen af de autonome våben. Stater har ret til at forsvare sig selv, hvad end det er mod andre stater eller terrorister, og i nogle tilfælde – såsom i Kosovo i 1999 – er der ingen udvej andet end et militært indgreb. Og her kan det give god mening at bruge våben, som er langt mere præcise end eksempelvis bomber, der tidligere er blevet kastet ned fra fly og har ødelagt hele byer og slået tusinder af civile ihjel.

”Juridisk mener jeg, at det er en dårlig sag at gå efter at gøre de autonome våbensystemer ulovlige. Der står ikke noget sted i krigens love, at det skal være et menneske, der trykker på aftrækkeren. Faktisk hedder det, at man skal mindske de indirekte skader, så hvis en maskine er mere præcis, hvad er så argumentet for ikke at bruge en maskine?,” spørger han.

Forsvaret af de autonome våben gør også, at den portugisiske præst kommer på kant med udtalelser fra Vatikanet, som er bekymret for de autonome våben, fordi de ændrer krigens natur og fjerner krigen yderligere fra mennesket.

”Og når du taler om autonomi virker det åbenlyst, at der ikke længere er menneskelig kontrol. Det er jeg bare uenig i, fordi vi stadig har menneskelig kontrol, når vi designer og programmerer et våben. Ligesom en mikrobølgeovn: Har den brug for menneskelig kontrol? Ja, den kræver, at et menneske indstiller minutterne og programmet og trykker på start. Men derfra gør den selv, hvad du har bedt den om,” siger Afonso Seixas Nunes.

Til gengæld mener han, at demokratiet er truet, når robotterne fjerner krigens rædsler fra menneskets øje. Allerede i 1100-tallet pegede den katolske kirke på det problem, da den daværende pave forbød brugen af bue og pil. Blandt andet fordi soldaterne ikke længere blev konfronteret direkte med konsekvenserne af deres angreb, siger Afonso Seixas Nunes:

”Det virker til at være det samme argument, som vi nu ser med de autonome våbensystemer. Og det er et vigtigt argument, fordi du med autonome våbensystemer kan have et land, der er i krig, uden at dets befolkning ved det. Normalt ser befolkningen, at de døde kommer hjem i kister, og de bliver modtaget af generaler og politikere. Men med de nye våben er der folk, der dør, uden at nogen ved, hvem der dør, og hvem der slår ihjel. Og det er et problem for demokratiet.”