ALGORITMER MIG HER, ALGORITMER MIG DER…
Af

Offentliggjort: 17. april 2017

Maskine betjener maskine (fra ” ​The Future of Robot Labor Is the Future of Capitalism”, Motherboard,  1. september 2016)

Fakta:

Ordet ’algoritme’ er en latiniseret forvanskning af en berømt, muslimsk matematiker Muhammed ibn Musa al-Khwarizmis navn. Han levede i det 9.århundrede og skrev det første kendte skrift om algebra. Kristne intellektuelle, der i de efterfølgende århundreder fik kendskab til arabisk videnskab brugte, det latinske ’algorismus’ til at betegne hans regnemetode i modsætning til de i datiden brugte regnemetoder som f.eks. tabeller eller kugleramme.

En algoritme et det matematiske udtryk for et sæt af instruktioner, hvorved man opnår et forudsigeligt resultat med et nærmere defineret input. F.eks. kan en madopskrift i snæver forstand siges at være en algoritme og kræver som sådan ikke en computer for at kunne udføres. På engelsk brugtes ordet ’computer’ længe før den elektroniske regnemaskine var opfundet, f.eks. var ’computer betegnelsen’ for de kvinder på University of Pennsylvania, der udførte ballistiske beregninger under 2. verdenskrig.[1]

Algoritmer er fundamentet for moderne IT, selvom algoritmen i sig selv ikke kan forstås af en computer. Algoritmen må nemlig først omsættes til et sprog, som computeren forstår. Denne proces kaldes programmering (eller kodning) og det er denne proces der frembringer software (programmer). Softwaren består af mange algoritmer, der er forbundet med hinanden således, at de frembringer det ønskede resultat, når de er læst ind i computerens hardware. Hardwaren består overordnet set af umådelige mængder af elektriske kontakter med to mulige stillinger, ’til’ eller ’fra’, der reagerer på instruktionerne fra softwaren.


[1] Jennifer Light ”When Computers Were Women”, Technology and Culture, July 1999.

Artiklen herunder tager udgangspunkt i og bygger på Massimo Mazzottis artikel ”Algorithmic Life”, Los Angeles Review of Books, 22. januar 2017. Ansvaret for indholdet er derfor vores

I 2016 blev begrebet ’algoritme-økonomi’ for første gang introduceret blandt erhvervsledere og trendsættere. Dette ville i sig selv være uinteressant, hvis det ikke var fordi, fagbevægelsen og almindelige mennesker har fået en frygt for, at robotter og anden form for kunstig intelligens vil overtage deres job og på den anden side at selvsamme algoritmer i stadig større omfang styrer menneskers hverdag.

Hvordan fungerer algoritmen så? Med algoritmer forsøger man at bruge fortiden som en indikator for fremtiden. Algoritmer antages almindeligvis at være neutrale, uden fordomme og følelser, men algoritmer kan programmeres til at have fordomme, eller utilsigtet partiskhed kan krybe ind i dem. De tillader også multinationale selskaber at træffe nærmest hemmelige beslutninger om, hvordan de behandler forbrugerne og deres ansatte. Og de giver statslige organisationer eller regeringer mulighed for at beslutte, hvorledes velfærdsydelse skal fordeles – ja endog hvorledes retfærdighed ydes.

Algoritmen som alternativ til håndens og åndens arbejde

Når algoritmer er begyndt at interessere den brede offentlighed, hænger det sammen med, at udbredelsen af IT nu er blevet så omfattende, at IT gennemtrænger hele menneske- og samfundslivet på globalt niveau og især at udviklingen er nået så langt, at det ikke længere bare er håndens arbejdere, der risikerer at blive overflødiggjort af robotter og kunstig intelligens (Artificial Intelligence, AI), men også mellemlagenes arbejdsfunktioner i form af f.eks. automatiseret sagsbehandling, som bl.a. Københavns kommune nu vil eksperimentere med. Og det er gået op for mange mennesker, at algoritmer både kan være ’gode’ og ’onde’, være bærere af skumle forretningsinteresser og af det gode. Men måske er denne tvedeling ikke rigtig.

For nogen er algoritmer superproblemløsere, der næsten kan ophæve døden og i hvert fald hjælpe med til løse menneskehedens store plager. For andre er det modsat: Algoritmerne truer menneskeheden. Yuval Harari forudser i sin bog ”Homo Deus”[1], at der opstår en ’dataisme’, en slags religiøs tro på algoritmernes magt, der vil hjælpe menneske med at bringe forståelsesmæssig orden i en kaotisk virkelighed på samme måde som andre religioner. Den pris der skal betales kan let blive voksende ulighed og maskinernes overtagelse af magten. Når det kan komme så vidt, er det fordi, teknologien i vid udstrækning er blevet autonom, fordi og mennesket har overset teknologiens politiske dimension.

I vore dage bruges ordet ’algoritme’ ikke længere kun om et sæt af instruktioner. Det bruges snarere om et program, der kører på en fysisk maskine og på dets indvirkning på andre systemer. Algoritmerne bestemmer over vigtige aspekter af vor sociale virkelighed og frembringer nye former for subjektivitet og nye sociale relationer for viden og maskiner er aldrig blot og bart neutrale værktøjer. De legemliggør og udtrykker og konkrete kulturer og det stade kapitalismen er nået og de former det liv, vi lever i overensstemmelse med de forudsætninger og prioriteringer, disse kulturer udviser.

Teknologiske frembringelser indfanger og omdanner folks forestillinger og bliver symboler for en given tidsperiode. På en gang er de instrumenter for handling og for tanke. Det mekaniske ur, der på Newtons tid blev perfektioneret, fik uhyre indvirkninger: Tiden forandres fra at være en strøm til at blive noget, der kan nedbrydes i små enheder, der kan måles videnskabeligt og som der ikke mindst kan sættes en nøjagtig pris på.

Uret blev den industrielle revolutions taktgiver og samtidigt ansås uret som den bedste repræsentant for den verden det skabte: En mekanisk, kvantificerbar og forudsigelig verden sammensat af enkle grundkomponenter og mekaniske kræfter.

At opfatte den menneskelige hjernes virkemåde som analog til den måde, en kraftig computer fra den kolde krig virker på, signalerer et voldsomt erkendelsesmæssigt og samfundsmæssigt skred, en erkendelse, der var indlejret som en sort boks i skinnende, inhumane maskiner som HAL i Stanley Kubricks film 2001: A Space Odyssey. Efter 2.verdenskrig var der en udbredt tro på, at maskinernes algoritmer, der jo antoges at være fri for følelser og forudfattede meninger, kunne løse alle problemer. Verden var imidlertid for kompleks til at den kunne reduceres til spilteori og i slutningen af 1960erne var de mest højtflyvende drømme om automatiseret problemløsning druknet i Vietnam-krigens morads.

Uret og koldkrigscomputeren er repræsentative genstande. De formede den måde, mennesker forstod verden på og handlede i den, den måde folk forstod sig selv på og hvorledes de forestillede sig fremtiden.

Algoritmen som samfundsmæssig aktør

Forestillingen om algoritmen, som noget der handler, indfanger et fremtrædende træk i vores erfaring – algoritmer kan ændre virkeligheden, forandre os og verden omkring os. Den californisk baserede bevægelse Quantified Self er et eksempel på, hvorledes subjektiviteten kan omformes algoritmisk - i dette tilfælde ved at overvåge kroppens funktioner i realtid og behandle livsstilsdata. Disse data bruges til selvdisciplinering. Et eksempel på algoritmisk frembringelse af infrastruktur og sociale relationer er sociale medier som f.eks. Facebook og Instagram. Disse medier vælger ikke blot informationer for os, nej de definerer også graden af disse informationers relevans, hvorledes man får fat i dem og hvorledes vi deltager i den offentlige diskussion om dem.

Økonomer og sociologer beskriver skiftevis algoritmer som en ny teknologi, en særlig form for beslutningstagning, inkarnationen af en ny erkendelse, bærere af en ny ideologi og endda som en veritabel moderne myte - en måde at sige noget på, en form for tale, der gør overbevisninger og verdensanskuelser til noget givet, noget naturligt. [2].

Det faktum at algoritmer danner betingelserne for vores møde med den samfundsmæssige virkelighed står i skarp kontrast til deres relative usynlighed. Når vi først er blevet vant til en infrastruktur, plejer vi at tage den for givet - den bliver usynlig. Men der er noget afgørende ved algoritmernes usynlighed. I en hidtil uset grad er de indlejret i den verden vi bebor. Det hænger sammen med, at algoritmerne ikke er klart afgrænset fra omgivelserne og når vi prøver at indfange dem, opfører de sig som en ål eller et stykke sæbe og ender med at blive til sorte kasser. At omdanne en teknologi til en sort kasse betyder at gøre den til noget selvfølgeligt, noget der tages for en givet del af livet. Teknologien skærmes på denne måde fra undersøgelser af brugere og analytikere, der derfor holder op med at opfatte den som noget, der kan modificeres. Derefter kan den pågældende teknologi blive en byggesten til andre og mere komplekse teknologiske systemer. Når det at omdanne teknologi til sorte kasser går så let, når det drejer sig om algoritmer, er det fordi det antages, at det at behandle tal eller programkode i henhold til formelle regler ikke indeholder nogen samfundsmæssige forudsætninger eller forudindtagede opfattelser – de er rent tekniske og derfor neutrale.

Men sådan er det ikke. Den måde algoritmer behandler information på, er ikke bare en mekaniseret version af den gamle logik. Det er en helt igennem ny logik, der afhænger af de valg, som er nedlagt i procedurer, og som en maskine derefter træffer – en maskine, der er designet af mennesker for at automatisere en slags erstatning for menneskelig dømmekraft eller for at finde mønstre på tværs af sociale spor. At tage denne logik til sig og gøre algoritmer til informationsværktøjer, man stoler på, er ikke noget nødvendigt, det er et kollektivt valg, der har alvorlige samfundsmæssige følger. Det er derfor nødvendigt at undersøge, hvorfor algoritmerne opfattes som troværdige og hvilke politiske forudsætninger, der betinger deres udbredelse og legitimitet og hvorledes de spiller sammen med de mekaniske og menneskelige miljøer, de indgår i.

En ting er, at man kan læse en algoritmes kildetekst linje for linje, men det er er svært at inspicere koden når den udføres[3]. Det bliver endnu sværere at forstå algoritmer, når de er indlejret i deres driftsmæssige sammenhæng, fordi vi som regel opfatter dem som isolerede enheder, der lever uafhængigt af deres omgivelser og som en lille maskine altid frembringer de samme resultater, uanset hvor og hvornår de bruges. Men når instruktionssæt kører på maskiner, der interagerer med andre systemer, sker der noget andet og den deterministiske opfattelse af algoritmen mister sin forklaringskraft – den dynamiske forklaring kræver, at algoritmens funktionalitet kun kan forstås ved at inddrage de socio-teknologiske miljøer, den er indlejret i.

Den anden vigtige grund til, at opfattelsen af algoritmen som en handlende enhed, er vildledende er, at denne opfattelse skjuler algoritmens designproces og de menneskelige hensigter og materielle betingelser, der formede den.

Internettidsskriftet Version 2 fortæller således, at politiet i byen Fresno, Californien har benyttet en overvågningssoftware ved navn Beware, som inddeler folk efter trafiklysets farver i rød, gul eller grøn. Beware er udviklet af firmaet Intrado og benytter sig af millioner af datakilder, heriblandt politirapporter, ejendomsregistre, kommercielle databaser, web-søgninger og indlæg på sociale medier. Formålet er ifølge politiet at give betjentene et bedre indblik i, hvem der er på den anden side af døren.

Siden politiet i Fresno er begyndt at kategorisere befolkningen efter trafiklysets tre farver, er det kommet under heftig kritik fra både lokalpolitikere og borgerrettighedsadvokater. Da et byrådsmedlem spurgte politiet om, hvilken farve systemet ville give ham, returnerede det ‘grønt’. Til gengæld indikerede systemet, at hans hus var ‘gult’ - ifølge politiets forklaringer sandsynligvis på grund af de tidligere beboere.

»Selvom jeg ikke er den ‘gule’ fyr, så vil betjentene behandle enhver, der kommer ud af huset i sine boksershorts som den ‘gule’ fyr. Det er ikke fair over for mig,« siger politikeren Clinton J. Olivier til Washington Post.

Netop denne upålidelighed er et af de centrale problemer i systemet. For hverken offentligheden eller politiet har indsigt i, hvordan systemets algoritmer udregner trusselsniveauet. Det er kun Intrado, der har adgang til denne information. Det er bekymrende ifølge borgerrettighedsadvokaten Rob Navarro, som påpeger, at systemet måske vil kunne fejlvurdere en uskyldig persons trusselsniveau, hvis vedkommende eksempelvis skriver noget kritisk om politiet på de sociale medier. Resultatet kan være, at politiet reagerer hårdere over for vedkommende.

Lokale amerikanske medier har tidligere beskrevet, hvordan en kvindes trusselsniveau var blevet hævet ved en fejl, fordi hun havde tweetet omkring et kortspil kaldet ‘Rage’ - dermed antydes, at Beware-systemet betragter ordet ‘vrede’ som mistænkeligt.

Et andet eksempel på de skævheder, der kan være indbygget i algoritmer, er det program visse FN-organer på et tidspunkt brugte til at undersøge, om de ansatte kiggede på porno i arbejdstiden fra deres PCer. Programmet var indstillet til at slå alarm, hvis en vis del af skærmens farve var hudfarvet. Men hvad er ’hudfarvet’? Ja, det afhænger naturligvis af den farve, programmets designer sikkert uden at tænke nærmere over det har opfattet som ’hudfarve’. Det viste sig at ’hudfarve’ var ensbetydende med hvide personers hudfarve. Det betød at programmet kun slog alarm for det, det opfattede som ’hvid’ porno og da programmet ikke kunne skelne mellem menneskelignende skærmobjekter og andre skærmobjekter, slog det alarm alene på en procentsats. Man kan naturligvis grine af, hvor klodset programmet var udformet, men det alvorlige var jo, at overvågning på et falsk grundlag potentielt kunne skabe alvorlige vanskeligheder for en ansat, mens andre ’skyldige’ gik fri.[4]

Algoritmens elementer

Opfattelsen af algoritmerne (og ’tekniske’ systemer) som neutrale er i høj grad udbredt, for ikke at sige næsten altdominerende. Forskeren Tarleton Gillespie gjorde i 2012 opmærksom på de utallige måder, hvorpå algoritmerne er relevante for offentligheden[5]. Han påpegede, at algoritmer vælger oplysninger og vurderer relevans på meget specifikke måder, hvorefter brugerne ændre deres praksis som reaktion på algoritmernes funktion. Med andre ord bliver algoritmerne til mekaniserede og automatiske eksperter.

Facebook forsøger via sin algoritme at maksimere brugernes engagement og tid på platformen ved at cirkulere de mest populære nyheder igen og igen. Hvis en falsk nyhed bliver meget populær, forstærker algoritmen lynhurtig spredningen og dermed skaden. Så hvis man alene overlader det til Facebook at bestemme, hvilke nyheder man skal læse, ledes man først og fremmest i retning af produkter, som man forbruger, så Facebook kan tjene penge. Men værst af alt får man kun de nyheder, som Facebook vurderer, man gerne vil have. Dermed kan der potentielt gå reelle informationer tabt, som rent faktisk kunne gøre den enkelte klogere. Og universet for samtale og debat forsvinder til fordel for bekræftelse i egne holdninger.

Algoritmer benyttes på børserne verden over, hvor stadig flere handler foretages af algoritmer, de såkaldt højfrekvente handler, der gennemføres på millisekunder eller sekunder og hvor tre-cifrede millionbeløb skifter – computer. I dag vurderes det, at ca. 45% af den danske aktiehandel og over 80% af handlen på New Yorks børs foregår ved højfrekvente handler, der er helt afhængig af den rette algoritme. En forkert – eller måske en bevidst forkert - algoritme kan på få sekunder skabe kaos, ruinere en virksomhed og gøre tusinder af mennesker arbejdsløse og dermed lægge grunden til en ny finanskrise, sådan som det var ved at ske 6. maj 2010 på New Yorks børs[U1] .

Algoritmernes indtog er blot det nyeste led i en konstante proces, der går ud på at mekanisere og automatisere det menneskelige arbejde, en proces der er snævert forbundet med kapitalismen. Som uret, dampmaskinen og elektriciteten før dem er anvendelsen af algoritmer et forsøg på at gøre menneskets tanker og handlinger mere effektive og pålidelige. Som det illustreres i Charlie Chaplins berømte film fra 1936 Moderne Tider, hvor Chaplin næsten knuses i maskinens hjul: Jo mere effektive maskinerne bliver, jo farligere bliver de. Det rejser naturligvis spørgsmålet om, hvad ’effektivitet’ egentligt betyder i denne sammenhæng. Marx mente, at maskinerne ikke alene øgede produktionen og sænkede omkostningerne, men at de også var et redskab til at slavebinde og udbytte arbejderne. Og netop maskinen som et våben i klassekampen har optaget adskillige marxistiske forfattere og videnskabsmænd. Nogen mente, at der var stærk evidens for, at de numerisk styrede maskiner[6] blev udformet med henblik på at forandre styrkeforholdet mellem ledelse og arbejdere for at fravriste arbejderne kontrollen med det, der foregik på fabriksgulvet ved at ’stjæle’ deres håndværksmæssige kunnen og erfaring og indlejre den i maskinerne som algoritmer. Dermed antydes også, at andre former for automatisering er mulig og at automatiseringens effektivitetsforøgelse ikke blot er en neutral foreteelse.

Et eksempel: I 1970erne forsøgte f.eks. bl.a. den danske elektronikvirksomhed Radiometer at ’afkvalificere’[7] arbejdet ved hjælp af automatisering. Firmaets slutkontrolafdeling var bemandet med erfarne og faglærte elektronikteknikere, der sørgede for den sidste kvalitetskontrol inden apparaterne blev sendt til kunderne. Firmaets ledelse mente dels, at lønningerne var for høje og dels at slutkontrolafdelingen var for sårbar – uden slutkontrol, intet salg. Man forsøgte derfor ved hjælp af kortlægning af de optrædende fejl i apparaterne og efterfølgende statisk databehandling af de indsamlede data, at skaffe sig et datagrundlag, der kunne indlægges i testmaskiner, som derefter kunne betjenes af ufaglærte arbejdere, der blot skulle se om maskinens lampe lyste rødt eller grønt og derefter kassere eller godkende det undersøgte produkt.

Indførelsen af automatisk testudstyr betjent af ufaglærte arbejdere ville slå flere fluer med et smæk: Lønomkostningerne ville falde og man ville ikke længere være afhængig af viden og erfaringer hos en velkvalificeret, faglært arbejdskraft, der tilligemed var militante Metal-medlemmer og dermed i givet fald kunne lamme slutkontrolafdelingen. Forsøget på at indføre automatisk testudstyr betjent af ufaglært arbejdskraft blev imidlertid opgivet, dels fordi modstanden var stor og dels fordi ledelsen formentligt indså at man ikke på daværende tidspunkt havde råd til at miste de faglærte erfaringer og viden – det var nemlig svært at skaffe faglært arbejdskraft på det tidspunkt.[8]

Computeriserings- og automatiseringsprocessen er ikke kun et spørgsmål om produktivitet og profit. Enhver teknologi er formet af den kultur og de interesser, der har skabt den. Ligesom man i 1970erne sagde, at ’det private er politisk’, kan man her sige, at ’det tekniske er samfundsmæssigt’. Teknologiske forandringer er således aldrig neutrale, endsige naturlige. At påstå at en mekaniseret procedure er mere ’effektiv’ end sin forgænger er ikke en tilstrækkelig historisk forklaring på dens succes. Begrebet effektivitet står altid i forhold til et sæt forudsætninger og mål. At gøre disse antagelser og mål synlige er således en forudsætning for enhver oplyst diskussion om teknologisk forandring og dens konsekvenser.

Hvordan præcist gør disse indsigter sig gældende for studiet af algoritmer? Man bør her overveje sociologen Donald MacKenzies arbejde vedrørende de antagelser og forhandlinger, der formede visse algoritmer, der nu er indlejret i software, som anvendes over hele verden af de, der handler med finansielle produkter. Disse algoritmers design kunne have været anderledes; der er aldrig kun én måde at automatisere en given finansiel transaktion på og mere generelt, er der aldrig kun én måde at regulere et marked på. Der er foretaget valg, og disse valg følger ikke en neutral, universel logik - de er resultatet af visse interesser og forhandlinger i modsætning til andre interesser og forhandlinger.[9]

På samme måde har Elizabeth Van Couvering og Astrid Mager vist, hvordan algoritmer bag kommercielle søgemaskiner er formet af bestemte forretningsmodeller, primært baseret på annoncering, der er målrettet brugere. De har også vist, hvordan disse søgealgoritmer stabiliserer og styrker den socioøkonomiske praksis, de rummer. Netop på grund af deres unikke kombination af at være altgennemtrængende og usynlige, kan algoritmer effektivt integrere og forstærke eksisterende samfundsmæssig lagdeling. Algoritmernes neutralitet er derfor en illusion. Eller i visse tilfælde et magtfuldt, retorisk redskab.

Det er etableret en kendsgerning at mange algoritmer, der er vigtige for vores væren som sociale væsener, er uigennemsigtige og der er endda en tendens til, at man bare skal stole på dem som en slags trosartikel. Videnskabsteoretikeren Malte Ziewitz mener, at der en mærkelig spænding mellem magt og forståelse i dagens debat om algoritmer: På den ene side påkaldes algoritmerne som noget, der besidder præcise evner: De bedømmer, regulerer, vælger, klassificerer, disciplinerer. På den anden side beskrives de som mærkelige, svære at fastholde, noget der unddrager sig vores undersøgelser.

Hvad hvis nu algoritmerne, der skulle frigøre os for forudfattethed, i virkeligheden simpelthen er bedre til at skjule, hvorledes de manipulerer os?

Internettets sociale medier og platforme hyldes ofte som en åben offentlighedssfære for uhæmmet demokratisk deltagelse, men der er også brug for at anlægge et perspektiv på teknologien som en trussel mod den personlige frihed. Enkelte taler endog om behovet for en slags Geneve-konvention for udviklere af algoritmer.

Således fortæller det tyske ugeblad Der Spiegel om en ung syrisk flygtning, der tog en selfie med kansler Angela Merkel, som han lage på Facebook. Først blev det lagt ind i en fotomontage om terrorangrebet i Bruxelles. Billedets undertekst var ”Dum, dummere Angela, Har Merkel taget en selfie med en af Bruxelles terrorister.” Efterfølgende har billedet været brugt i forbindelse med andre terrorangreb.

Den pågældende syriske flygtning har siden da været nød til at skjule sig. Eksemplet har været med til at sætte fokus på falske nyheder i Tyskland. Ikke mindst viser eksemplet, hvad der kan ske, når løgne om et individ får lov at cirkulere uhindret på nettet. Efter pres fra flere sider blev opslagene slettet af Facebook. Kort efter kom et nyt opslag hvor selvsamme flygtning blev fremstillet – ikke som terrorist – men som kriminel. Da en journalist klagede, svarede Facebook, ifølge Der Spiegel, at fremstillingen af den pågældende som en ond kriminel ikke var en overtrædelse af Facebooks ”community” standarder.

I dag er algoritmen en så gennemgribende del af hverdagen og den måde, virkeligheden bliver præsenteret på for os som forbrugere, at det kalder på både personlig, demokratisk og politisk stillingtagen. De forstås på baggrund af, hvad de løser. Modernisering og effektivisering er blevet synonymer med moderne computerteknologi, i stedet for, hvad der burde være det centrale: Hvordan ’vi’ etisk og politisk forsvarligt bruger computerteknologi til at fremme moderniseringen i overensstemmelse med menneskelige behov.

Udviklingen har fået det britiske Labours skyggeminister for industri, Chi Onwurah, til at kræve gennemsigtighed og offentlig kontrol med de bagvedliggende algoritmer hos de teknologiske giganter som Google, Amazon og Facebook. Ifølge Labour har borgerne krav på, at der lovgives om brugen af personlige data.

Det er på tide, der sker en politisering af teknologien – også i lille Danmark.

Problemet ved, at undersøge algoritmer empirisk tillægges normalt det, at de er ’hemmelige’, dvs. at der er gjort et bevidst forsøg på at skjule deres funktionsmåde. Men der er behov for et mere generelt koncept og her foreslår sociologen Jenna Burrell ’uigennemskuelighed’.

Der kan være mange og forskellige grunde til at en algoritme er ’uigennemskuelig’. En kan være at algoritmens opfinder eller ejer ønsker at skjule dens funktion. F.eks. ønsker mange internet-firmaer af konkurrencemæssige grunde ikke at offentliggøre kriterierne for de valg, deres søge- og klassifikationsalgoritmer træffer.

I Prosa-bladet citeres den amerikanske juraprofessor Frank Pasquale i et interview i anledning af udgivelsen af sin bog ”The Black Box Society”[10]:

Vi kender de sorte bokse, man leder efter, når et fly styrter ned. De indeholder data fra en meget tæt overvågning af alt, der er sket i flyet. Men sorte bokse er også betegnelse for mekanismer, hvor man kender input og output uden at vide, hvordan det ene bliver til det andet,” siger Frank Pasquale til Prosabladet. Nutidens samfund er ramt af begge metaforer, lyder argumentet i Frank Pasquales bog. Borgerne er som flyvemaskinen, der konstant overvåges. Når vi færdes på internettet, handler i supermarkedet eller passerer et overvågningskamera, produceres der data om vores adfærd. Hvordan disse data bruges, når de ender hos massive firmaer i it- og finanssektorerne, ved vi sjældent noget om. De ender i den anden form for black box. Resultatet er et samfund, hvor både det private og det offentlige gransker borgernes liv i mindste detalje, mens borgerne frarøves muligheden for at vende luppen. Når borgerne ikke kan få indblik i de algoritmiske regler, der strukturerer så centrale dele af livet som vores opsparinger og vores nyhedskilder, opstår der forvridninger af magten, som kan true demokratiet.[11] En anden grund til manglen på gennemskuelighed kan være teknisk kompleksitet, ikke på grund af programkoden (kildeteksten), men på grund af det softwaresystem, algoritmen er indlejret i. Det er ikke nok blot at læse kildeteksten for at forstå algoritmen. Man er nødt til at forstå hele softwarestrukturen. At gøre datasæt gennemskuelige er relativt nemt, men at gøre komplekse algoritmer transparente er ikke. Derfor er sandsynligheden for at algoritmens funktion forbliver utilgængelig for outsidere stor. Ekspertgruppers tekniske valg kan således få enorm indflydelse på fællesskabet uden at hverken offentligheden eller myndighederne har ekspertisen til at vurdere disse gruppers ansvar eller handlinger.

Alligevel er det vigtigt at slå fast, at den algoritmernes uigennemskuelighed, der omtalt ovenfor, skyldes bevidste, menneskelige beslutninger. Det skulle derfor i princippet også være muligt ved anvendelse af de nødvendige ressourcer at gennemskue og forstå de indre virkemåde af de algoritmer, der hviler på disse beslutninger. Men i andre tilfælde har vi at gøre med en dybere grad af uigennemskuelighed, der ikke skyldes informationsunderskud, men snarere begrænsninger i menneskets erkendelsesstrukturer.

Denne type begrænsninger, som er uden fortilfælde, er en konsekvens af de store og hurtige fremskridt i maskinlæring. Maskinlæring er en afart af kunstig intelligens (AI), der fokuserer på at fremstille programmer, der uden menneskelig indgriben og ved hjælp af feedback kan ændre sig i forhold til de data, programmet behandler. Maskinen overtager med andre ord den rolle som programmøren tidligere havde. Anti-spam programmer fungerer på denne måde. Når først maskinen selv har overtaget programmeringen af sig selv. Dermed kan den ændre algoritmerne så de bliver uigennemskuelige og det bliver umuligt for mennesker at forklare hvorfor maskinen behandler noget som spam og andet ikke."

Kilden til denne umulighed er let at identificere. Menneskelig programmering følger en overordnet logik, der bygger på eksplicitte kriterier. Modificeres programmet af en maskine er overskuelighed ikke længere en prioritet og den overordnede struktur behøver ikke at kunne forstås eller undersøges af et menneske. Desuden kan en maskine forøge beslutningskriteriernes skala og kompleksitet enormt og kan automatisk kombinere dem, så de ikke længere følger en forståelig logik.

Ændringer i skala og ikke-lineær interaktion mellem programmets funktioner frembringer en uigennemskuelighed som kaldes forståelsesproblemet[12]. Der er imidlertid en balance mellem den kendsgerning, at en algoritme ved hjælp af maskinlæring kan blive mere pålidelig til at udføre sit formål end en algoritme, der alene er designet af mennesker nogensinde ville kunne blive og så gennemskueligheden. Hertil kommer at øget gennemskuelighed kan koste i form af stærkt forøget behov for computerregnekraft.

Der skal træffes nogle valg – ikke bare mellem pålidelighed og omfanget af fortolkningsmulighed, men også hvilken slags og hvilken grad af fortolkningsmulighed man skal sigte efter. Transparens er ikke et entydigt begreb og man er nødt til at enes om hvad det at udstille den indre virkemåde af en algoritme i virkeligheden betyder.

Hvad skal vi så stille op med algoritmerne, når de om lidt for alvor bliver bragt i spil? Hvorledes skaffer vi os indsigt i deres funktionsmåder, deres forudsætninger og de forudsætninger der er indbygget i dem? Når de som David Budtz skriver i Informations ModerneTider:

”Den algoritmiske autoritet vil formentligt blive endnu stærkere i fremtiden, hvor kunstig intelligens vil bidrage til at redigere den menneskelige erkendelse på nye og gennemgribende måder. De personer eller virksomheder, der besidder den algoritmiske autoritet, og som nyder en vis lydhørhed i befolkningen, vil efter alt at dømme kunne influere de politiske beslutningsprocesser med minimale muligheder for demokratisk kontrol.”[13]

En række fremtrædende forskere og forretningsfolk har fremlagt deres bekymringer i et åbent brev.[14]

Bare fordi man kan, skal man så?

I ”Fantasia” - en gammel Disney-tegnefilm - er der et afsnit, der hedder ”Troldmandens lærling”.[15] Mikey Mouse er lærling hos en troldmand og et af hans job er at fylde et stort kar med vand. Det er et trættende job og Mickey vil gerne være fri. Da troldmanden går op for at tage sig en lur, ser Mickey sit snit til at slippe for slæbet vand og ved hjælp af en trylleformular, han har opsnappet, får han kosten til at hente vand. Men selvom kosten godt kan hente vand, kan den ikke holde op med at hente det uden at få besked og da Mickey kun kender halvdelen af trylleformularen, kan han ikke stoppe kosten. Vandet løber over og i sin fortvivlelse hugger Mickey øksen til pindebrænde, men ak, det betyder bare, at kosten genopstår, men nu som hundredvis af klonoste, der ustoppeligt slæber vand uden, Mickey kan gøre noget. Heldigvis kommer troldmanden ned fra sin lur og får stoppet vanviddet.

Filmen giver et godt billede på, hvorledes det kan gå, hvis man omgås noget, man kort fortalt ikke har forstand på eller ikke kan styre. I tegnefilmen var der heldigvis en overordnet magt, troldmanden, der kunne redde situationen. Men i virkelighedens verden er der ingen Gud, der kan hjælpe mennesket, når først de selvlærende maskiner er sluppet løs – noget, der sat lidt på spidsen, svarer til at slippe en ebola-variant løs.

En simpel løsning ville naturligvis være at gennemlæse programkoden, men for det første er der som beskrevet ovenfor en række grundlæggende problemer ved alene at kontrollere kildeteksten, for det andet er mange algoritmer skarpt bevogtede forretningshemmeligheder og for det tredje ville man, selvom man fik adgang til koden, nok ikke kunne aflæse dens eventuelle, indbyggede skævhed i kodelinjer som denne:

if (race = IKKE_HVID) then illegal_diskrimination();

Man kunne også, som nogle forskere gør, argumentere for offentlig regulering i form af et krav om at algoritmerne skulle kunne revideres af et offentligt finansieret kontrol- og forskningsorgan. Det kræver til gengæld en diskussion af hvad en rigtig revisionsstandard egentlig er, der kan koges ned til: Hvordan ønsker vi som samfund, at algoritmerne skal opføre sig?[16]

Et andet stort problem er også de datasæt, som de selvlærende algoritmer fodres med. De er ikke fuldkomne indeholder i sagens natur altid skjulte forudsætninger og fordomme, hvad enten disse er klassebaserede, relaterer til race eller til køn. Her gælder den gamle IT-vits GIGO (Garbage-In-Garbage-Out) fuldt ud. Derfor skal datasættene også kunne revideres og gennemses for værdidomme.

I en rapport om IT-folks holdninger til kunstig intelligens fra PEW-instituttet anfører en af de interviewede:

”De Utilsigtede Konsekvensers Lov siger, at de voksende lag af samfundsmæssig og teknisk kompleksitet, der er indkodet i algoritmerne sikrer at uforudsete, katastrofale begivenheder vil optræde – [men] formentligt ikke dem, vi er bekymrede for.”[17]

Hvad gør man så? Det er der ingen, der rigtig ved endnu, men en begyndelse kunne være at følge tre af Isaac Asimovs fire ’love’ eller adfærdsregler for robotter, herunder modificeret til algoritmer:

1. lov: En algoritme må ikke skade menneskeheden eller ved uvirksomhed lade menneskeheden blive skadet.

2. lov: En algoritme må ikke skade et menneske eller ved uvirksomhed lade et menneske komme til skade.

3. lov: En algoritme skal adlyde ordrer, som gives til den af mennesker, for så vidt disse ordrer ikke er i konflikt med den første lov.[18]

Lovene kunne kombineres med en femte lov:

5. lov: En algoritme, system, program eller kunstig intelligens må kun tages i brug, hvis dens kompleksitet, funktionsmåde og resultater ikke overstiger den menneskelige erkendelse.

Dette bud rejser naturligvis i sig selv en række spørgsmål, men at bringe algoritmerne under demokratisk kontrol er en politisk opgave, man ikke kan undslå sig for og det skal gøres inden det er for sent. Teknologien kan bruges både som redskab til demokratisk deltagelse såvel som til begrænsning og manipulation af samme deltagelse. Kapitalismen venter ikke.


[1] Yuval Harari ”Homo Deus – A Brief History of Tomorrow”, Harvill Secker, 2016

[2] David Beer “Power Through The Algorithm”, New Media & Society, no.11, 2009.

[3] Normalt fejlsøger eller inspicerer man kørende kode ved en proces, der kaldes ‘debugging’, hvor programmet afvikles instruktion for instruktion mens debuggeren følger kildeteksten. Selvom man på denne måde kan fejlfinde eller inspicere de enkelte rutiner, giver det ikke i sig selv et helhedsbillede af den til tider meget store og uoverskuelige samling af algoritmer, der udgør et kørende program.

[4] For en gennemgang af ansigtsgenkendelsessystemer, se Lucas D. Intona, David Wood ”Picturing Algorithmic Surveillance: The Politics of Facial Recognition Systems, Surveillance & Society, vol. 2 , 2/3, 2004. Artiklen tager ikke højde for den nyeste udvikling , der fik et ekstra boost efter angrebet på de to tårne i New York 11.september 2001. Succesraten for genkendelse er vokset betragteligt, bl.a. takket være de selvlærende algoritmer.

[5] Tarleton Gillespie, ”The Relevance of Algorithms”, Media Technologies, 2014.

[6] En numerisk styret maskine er en maskine, der styres af en computer og derfor kan bearbejde emner eller producere genstande, der er helt ens i store mængder.

[7] Det er naturligvis et spørgsmål, der kan diskuteres, om der i det lange løb finder en afkvalificering sted eller ej. Tilsyneladende kan passager i Marx’ ’Kapitalen’ læses således, at på trods af afkvalificering i det korte løb af den enkelte arbejdere eller grupper af arbejdere, så sker der under kapitalismen på længere sigt en opkvalificering af arbejdskraften, som er forbundet med kapitalens krav om stadig stigende fleksibilitet og med produktivkræfternes udvikling (teknologien – ikke blot som maskineri, men også som arbejdets organisering og arbejdernes færdigheder). Se Paul S. Adler ”Marx, Machines and Skill” i Technology and Culture, Vol. 31, No. 4 (Oct., 1990), s. 780-812, hvor forfatteren diskuterer den kendte, amerikanske marxist H. Bravermans modsatte synspunkt i “Labor and Monopoly Capital: The Degradation of Work in The Twentieth Century”. Artiklen nævner også til sidst muligheden for at maskinerne overtager menneskeligt arbejde, der indeholder høj grad af intellektuelle, sociale og kreative funktioner, men anser det lidet sandsynligt. Det var i 1990.

[8] Diskussionen af automatiseringen og det politiske svar på den er lige så gammel som industrialiseringen og arbejderbevægelsen. Det har ikke skortet på beskyldninger for maskinstormeri eller på ukritisk tekno-optimisme. Basalt set er automatiseringen naturligvis altid sket på de herskendes betingelser og for profittens skyld. At oplyst kapitalisme også har indset at nedslidning af arbejdskraften ikke var i dens interesse er en forholdsvis sen erkendelse, der i høj grad er gennemtvunget af arbejderbevægelsens kampe og som også i høj grad har et element af sikring af samfundsstabiliteten – den utilslørede udbytning kan jo i sidste instans føre til oprør. Tilbage står imidlertid spørgsmålet om hvilken samfundsformation, der er nedlagt i en automatisering. I den socialdemokratiske opgangstid før 1.verdenskrig var mange især i det tyske socialdemokrati af den opfattelse, at den udviklede kapitalismes produktionsmidler, herunder organisationsformerne, blot skulle overtages af arbejdernes organisationer og vupti havde man socialisme. Man så ikke at kapitalismen så at sige også var krøbet ind i produktionsmidlerne og arbejdets organisering. Den voldsomme sociale uro i de vestlige industrilande i slutningen af 1960erne satte endnu engang disse spørgsmål på dagsordenen med fabriksbesættelser og forsøg med oprettelse af alternative organisationsformer af arbejdet, især i Frankrig og Italien, hvor en stærk syndikalistisk tradition spillede ind. Den tredje bølge af denne diskussion frembringes af automatiseringen og anvendelsen af kognitiv IT. Se f.eks. Jasper Bernes ”Logistik, modlogistik og det kommunistiske projekt”, KritiskDebat, 15.februar 2017 – særligt note 26, http://www.kritiskdebat.dk/articles.php?article_id=1795

[9] Donald MacKenzie, Judy Wajcman “The Social Shaping of Technology”, Introductory Essay, 1999.

Donald MacKenzie “A Sociology of Algorithms: High-Frequency Trading and the Shaping of Markets”, First Draft, Februar 2014.

[10] Frank Pasquale, ”The Black Box Society - The Secret Algorithms That Control Money and Information”, 2015, Harvard University Press, 2015

[11] ”Algoritmernes hemmelige tyranni”, PROSA-Bladet nr. 5, maj 2015.

[12] På engelsk anvendes udtrykket ’interpretability’, der betyder noget i retning af ’graden af muligheden for fortolkning’. Naturligvis er der en høj grad af sammenfald mellem ’forståelse’ og ’fortolkning’, men ’fortolkning’ antyder udover ’forståelse’ et andet og mere subjektivt aspekt.

[13] David Budtz Pedersen: ”Algoritmisk autoritet er fremtidens magt”, Information, ModerneTider, 18 marts 2017.

[14] ”Research Priorities for Robust and Beneficial Artificial Intelligence”, 2015.

[15] ”Fantasia”, Disney Enterprises Inc., 1940. Tryk på linket for at se et brudstykke af filmen.

[16] Christian Sandvig, Kevin Hamilton, Karrie Karahalios, Cedric Langbort ”Auditing Algorithms: Research Methods for Detecting Discrimination on Internet Platforms”, 22. Maj 2014, Seattle, WA, USA.

[17] Lee Rainie, Janna Anderson ”Code-Dependent: Pros and Cons of the Algorithm Age”, Pew Research Center, 8.februar 2017, s. 17.

[18] ’Lovene’ er formuleret af den amerikanske science-fiction forfatter Isaac Asimov i 1942 som svar på den teknologiforskrækkelse han mente at kunne spore. De kommenterede ’love’ findes her: http://www.etiskraad.dk/etiske-temaer/optimering-af-mennesket/homo-artefakt/leksikon/isaac-asimovs-robotlove Asimovs 3.lov: ”En algoritme skal beskytte sin egen eksistens, for så vidt dette ikke er i konflikt med den første eller den anden lov” er ikke medtaget, fordi den ikke entydigt lader et menneske bestemme over hvorvidt algoritmen skal eksistere eller ej og dermed unddrager algoritmen fuldstændig menneskelig kontrol.