Datum: 07-06-2019 | Opleiding: Communication and Multimedia Design | Cursus: Design Ethics

Algoritmes in de publieke sector

Datum: 07-06-2019 | Opleiding: Communication and Multimedia Design | Cursus: Design Ethics

Algoritmes in de publieke sector

Bron foto: www.bnr.nl

Inleiding

Het leven wordt steeds digitaler, de overheid is hier geen uitzondering op. Op 18 maart 2019 vond de eerste editie van het congres ‘Nederland digitaal’ plaats. Op het congres, een initiatief van het Kabinet-Rutte 3, werd besproken op welke vlakken de Nederlandse overheid zal gaan digitaliseren in de komende jaren. Het thema van het congres was kunstmatige intelligentie (Rijksoverheid, 2019). De Nederlandse overheid is bezig met digitalisering, op welke manier dit gaat gebeuren is de vraag.

Algoritme-gedreven technologieën zoals: kunstmatige intelligentie, machine learning, big data en deeplearning krijgen een steeds prominentere rol in onze maatschappij. Veel bedrijven maar ook overheden overal in de wereld implementeren deze technologie in hun producten en diensten. Deze technologieën zijn afhankelijk van wiskundige formules dat, gebaseerd op verzamelde data, bepaalde keuzes maakt. De toepassingen zijn eindeloos en hebben veel voordelen, maar het gaat niet altijd goed. Algoritme-gedreven technologie kan bevooroordeeld zijn, niet transparant en de privacy van mensen schenden (VPRO Tegenlicht, 2018).

Met de dag komen er meer toepassingen van algoritme-gedreven technologieën bij, zowel in de privésector als in de publieke sector. Voor ons als designers is het belangrijk om op de hoogte te zijn van deze veranderingen. Wanneer je iets ontwerpt voor in de publieke sector is het belangrijk om transparant, eerlijk en goed om te gaan met de privacy van je gebruiker. Als algoritme-gedreven technologie die je hiervoor gebruikt deze waarde in gevaar brengt moet je het dan nog wel gebruiken? Het ethische vraagstuk van dit betoog is dan ook: Hoe ver mag de publieke sector gaan met het toepassen van algoritme-gedreven technologieën?

Context

Algoritme-gedreven technologie

Algoritme-gedreven technologie is een term met veel verschillende betekenissen. In dit betoog definiëren we de term als volgt: algoritme-gedreven technologie is software dat aan de hand van big data een stappenplan gebruikt om een actie uit te voeren die te complex is voor een mens om te begrijpen. Een voorbeeld hiervan is de foto herkenning technologie van Google. Deze is gebaseerd op de reCAPTCHA testen die op veel websites te vinden zijn (zie figuur 1). Uit deze testen komt een duidelijk beeld van op welke foto bijvoorbeeld wel een verkeersbord staat en welke niet. Deze data gebruikt het algoritme achter Google om foto’s te herkennen. Voor dit hele proces heeft een computer maar een paar milliseconden nodig. (CGP Grey, 2017).

Figuur 1: reCAPTCHA test van Google waarin iemand moet aangeven welke vierkanten wel en niet een verkeersbord hebben (Darius, 2018).

Toepassingen

De Nederlandse overheid maakt op dit moment ook gebruik van algoritme-gedreven technologie. Het ministerie van Economische Zaken en Klimaat heeft begin 2019 de “Taskforce AI” opgezet. Deze taskforce is bezig met het schrijven van een actieplan dat de toepassing van AI in de publieke sector in Nederland moet gaan stimuleren (VNO-NCW, 2019). Uit een onderzoek van het CBS bleek dat 48% van de overheid organisaties in Nederland gebruik maakt van algoritmes. Organisaties die hier nog geen gebruik van maakten gaven aan dit in de nabije toekomst wel te gaan doen (Doove & Otten, 2018).

In veel andere landen maken overheden ook gebruik van algoritme-gedreven technologie. De Amerikaanse overheid maakt bijvoorbeeld gebruik van het systeem Compass dat gevangenen classificeert in hoe groot de kans is dat deze opnieuw een misdaad zullen begaan (VPRO Tegenlicht, 2018). In Australië worden algoritme-gestuurde chatbots ingezet op websites van de overheid om de klantenservice te vervangen (Australian Government, 2017). De overheden van Singapore, New York en North Carolina hebben vergelijkbare chatbots op hun website. De olympische spelen in Pyongyang maakte gebruik van algoritme-gedreven technologie om al hun informatie te vertalen voor de bezoekers. Als laatste gebruikt het Ministerie van Economie, Handel en Industrie van Japan deze technologie om antwoorden te schrijven voor ingediende moties (Mehr, 2017).

Praktijkvoorbeelden

Politie

De Nederlandse politie zet algoritme-gedreven technologie in om gebieden te kwalificeren op het risico van criminaliteit. Het zogeheten Criminaliteits Anticipatie Systeem verdeelt Nederland op in kleine vakjes waaraan het een kleur geeft. Deze kleur vertegenwoordigt de voorspelling dat hier crimineel gedrag vertoont zal worden (zie figuur 2). Hiermee was Nederland in 2018 het eerste land in de wereld dat dit soort technologie landelijk inzetten bij de Politie (Schuilenburg, 2018).

Figuur 2: Criminaliteits Anticipatie Systeem van de Nederlandse politie (Landelijk Centraal, 2017).

Intention Outcome Matrix

Uit de Intention Outcome Matrix (zie bijlage 1) komt het volgende: De data gebruikt voor het Criminaliteits Anticipatie Systeem is gebaseerd op gebeurtenissen uit het verleden. Heirdoor zal het alleen voor gebieden waar vroeger criminaliteit was een hoge score geven, terwijl dit niet de werkelijkheid hoeft te zijn. Het systeem, net als veel andere algoritme-gestuurde toepassingen, is gebaseerd op de aanname dat patronen zich herhalen, dit blijkt niet altijd zo te zijn (De Balie, 2018).

Kritische denker

In een Ted Talk vertelt Cathy O’Neil, een datawetenschapper, over de toepassing van een vergelijkbaar systeem in Amerikaanse steden. Zij is erachter gekomen dat, door segregatie en de vooroordelen (ook wel: bias) dat bestaat in de politie tegen minderheden, een systeem als het Criminaliteits Anticipatie Systeem ook bevooroordeeld is tegenover gebieden waar veel minderheden wonen (O’Neil, 2017).

Wet- en regelgeving

Zowel uit de Intention Outcome Matrix als de Ted Talk van Cathy O’Neil kwam naar voren dat, gezien de data van het systeem gebaseerd is op oude gebeurtenissen, het een bias heeft tegenover bepaalde bevolkingsgroepen. In Nederland is het verboden om te discrimineren. Discriminatie in deze technologie is alleen lastig te bewijzen. Dit komt doordat algoritme-gedreven technologie complex is, kan het lastig zijn om te bewijzen dat een bepaald onderdeel van de data gezorgd heeft voor een bepaalde uitkomst. In Nederland kennen wij ook het gelijkenbehandelingsrecht. Door dit recht is het verboden om iemand te benadelen over een vermeend kenmerk, ook al heeft het persoon dat kenmerk niet. Het is daarom nog steeds discriminatie als het systeem van de politie een bepaalde groep mensen kwalificeert als potentieel crimineel omdat ze uit een bepaalde wijk komen, ook al wonen ze niet in die wijk en hebben ze niks crimineels gedaan. Het systeem zit dus juridisch gezien in een grijs gebied (Vetzo, Gerards, Nehmelman, & Montaigne Centrum voor Rechtspleging en Conflictoplossing (Utrecht), 2018).

Onderwijs

In het onderwijs wordt algoritme-gedreven technologie gebruikt om te bepalen wie de grootste kans heeft om een schoolverlater te worden. Zo wordt algoritme-gedreven technologie in Dordrecht op een middelbare school gebruikt om op spijbelende leerlingen, met een hoog risico op het verlaten van de school, een leerplichtambtenaar af te sturen. Leerlingen met een laag risico kregen alleen een brief thuisgestuurd (Lonkhuyzen, 2018).

Dark Patterns

Veel Universiteiten en Hogescholen gebruiken applicaties als Blackboard; een virtuele leeromgeving applicatie uit Amerika. Deze applicatie is verplicht om te gebruiken als student en zonder kan je geen opleiding doen. Blackboard verkoopt de data van de studenten door aan externe bedrijven die deze data weer gebruiken om bijvoorbeeld een student een keuring te geven voor de potentie van slagen. Blackboard maakt het expres lastig voor de gebruiker om erachter te komen dat dit het geval is (zie figuur 3 & 4). Deze vorm van Dark Pattern wordt ook wel Privacy Zuckering genoemd (Brignull, n.d.).


Figuur 3: Inlog pagina van Blackboard, rechts onderin via een kleine link kan de gebruiker informatie vinden over zijn gegevens.

Figuur 4: Deel van de privacypagina van Blackboard waarop te lezen is dat Blackboard persoonsgegevens verkoopt aan derden.

Kritische denker

Jan Middendorp (Kamerlid Tweede kamer VVD, Overheid & Digitalisering) strijdt voor nieuwe wetgeving op het gebied van big data. Hij is vooral bang voor de controle die grote Amerikaanse bedrijven gaan hebben op de Nederlandse publieke sector. Algoritme-gedreven systemen die gebruikt worden in de publieke sector, zoals in het onderwijs, worden vaak gemaakt door Amerikaanse bedrijven. In het onderwijs is het hierboven genoemde Blackboard een voorbeeld van. Gezien de complexiteit van de systemen, is het niet mogelijk om vanuit Nederland controles te doen en zijn de organisaties totaal afhankelijk van het bedrijf dat het gemaakt heeft. Hiermee kunnen de grote bedrijven achter algoritme-gedreven technologie veel invloed uitoefenen op Nederlandse burgers (Middendorp, 2019).

Wet- en regelgeving

Bij het voorbeeld van de school in Dordrecht is het niet mogelijk om inzicht te krijgen in het beslissingsproces van het systeem. Dit ontneemt iemand het recht om een toelichting te krijgen op de keuze die gemaakt is door de school. Dit staat in strijd met artikel 6 van het Europees Verdrag tot bescherming van de rechten van de mens en de fundamentele vrijheden. In dit artikel staat dat een inwoner het recht heeft op een eerlijk proces, waarbij een toelichting op een beslissing in kaart gebracht moet kunnen worden (Vetzo, Gerards, Nehmelman, & Montaigne Centrum voor Rechtspleging en Conflictoplossing (Utrecht), 2018).

Zorg

In het UMC Utrecht en een GGZ-instelling in Rotterdam wordt algoritme-gedreven technologie ingezet op de psychiatrische afdeling om agressiviteit bij patiënten te voorspellen. De technologie werkt door middel van de gesprekken op te nemen en woorden een bepaalde risico kwalificering te geven. De makers van de technologie, studenten van de Universiteit Utrecht, geven zelf aan niet te kunnen achterhalen waarom bepaalde keuzes worden gemaakt. Een hoog risico score kan ervoor zorgen dat een patiënt extra medicatie krijgt toegediend (Lonkhuyzen, 2019).

Moral Value Map

Uit de Moral Value Map (zie bijlage 2) komt duidelijk naar voren dat de correctheid van de technologie voor alle stakeholders belangrijk is. Als er een mogelijkheid is dat er een verkeerde uitslag uitkomt is dat voor iedereen een probleem. Het feit dat er niet te achterhalen is waarom een keuze is gemaakt brengt voor iedereen deze waarde in gevaar.

Kritische denker

Als we naar het hierboven genoemde voorbeeld kijken door de bril van de filosoof Aristoteles met zijn deugdenethiek komen we tot de volgende conclusie: De deugdenethiek draait erom dat ethische problemen opgelost worden door naar jezelf te kijken en na te gaan wat voor persoon jij zelf wilt zijn. Zoals in de Moral Value Map hierboven zien we dat eerlijkheid een belangrijke waarde is die in het gevaar is. Als je een persoon bent die eerlijk wilt zijn en mensen ook op die manier wilt behandelen is dit niet een techniek die je moet gebruiken. Door het gebrek aan transparantie over het beslissingsproces is niet zeker te achterhalen of iemand wel of niet eerlijk wordt behandeld (Hendricks, 2018).

Wet- en regelgeving

De aanwezigheid van algoritme-gedreven technologie in de kamer van een psychiater kan leiden tot het ‘chilling effect’. Dit is wanneer mensen zich anders gaan gedragen door de angst dat bijvoorbeeld het algoritmische programma ze gaat veroordelen. Doordat mensen niet weten op welke manier de technologie hun zal beoordelen is dit effect meer aanwezig. Dit kan gezien worden als een inbreuk op het recht tot vrijheid van meningsuiting, wat op te lossen is door meer inzicht te geven in het beslissingsproces van de technologie (Vetzo, Gerards, Nehmelman, & Montaigne Centrum voor Rechtspleging en Conflictoplossing (Utrecht), 2018).

Fraude opsporing

De belastingdienst is een van de eerste publieke organisaties in Nederland dat gebruik maakte van algoritme-gedreven technologie. Het wordt gebruikt om belastingfraude op te sporen en het voor mensen die hun belastingen goed invullen het proces makkelijker te maken (Vetzo, Gerards, Nehmelman, & Montaigne Centrum voor Rechtspleging en Conflictoplossing (Utrecht), 2018).

Moral Value Map

Uit de Moral Value Map (zie bijlage 3) is te zien dat voor alle stakeholders het belangrijk is dat het proces van het opsporen van fraudeurs zo eerlijk en efficiënt mogelijk gebeurt. Een fout kan grote gevolgen hebben voor zowel het slachtoffer al de belastingdienst.

Wet- en regelgeving

De belastingdienst verzamelt alle soorten gegevens die ze kunnen krijgen. Ze hebben geen afbakening van welke gegevens ze wel en niet nodig hebben. Hiermee komt de privacy van de burger in gevaar. De belastingdienst bevindt zich in grijs gebied: zolang ze aangeven bepaalde gegevens te verzamelen is het legaal, alleen heeft de burger hier geen keuze in. Een Nederlandse burger heeft geen keuze of hij/zij wel of niet belasting betaalt, daarbij heeft hij/zij ook niet de keuze of de belasting wel of niet zijn/haar gegevens verzamelt. Om dit recht te trekken zal de belastingdienst meer gericht data moeten gaan verzamelen in plaats van alles op te slaan (Geurts & Universiteit van Tilburg, 2018).

Kritische denkers

Als we het bovengenoemde voorbeeld gaan bekijken door de bril van de filosoof John Stuart Mill komen we tot een bijzondere conclusie. Mill is onderdeel van het utilisme, wat betekent dat hij het belang van de massa belangrijker vindt dan dat van het individu. Het systeem van de belastingdienst werkt zoals het zou moeten werken, dat het niet transparant genoeg is of dat de belastingdienst te veel data verzamelt zijn zaken die alleen het individu benadelen. Volgens de denkwijze van Mill is dit systeem dan ook iets positiefs (Tomar, 2019). Hier tegenover staat de filosoof Immanuel Kant die vindt dat je altijd moet handelen naar wat jij vindt dat je plicht is. Dit zal betekenen dat het systeem niet positief is volgens Kant, gezien het iemand zijn plicht is om eerlijk en rechtvaardig te zijn. Het systeem is niet transparant en verzamelt te veel onnodige data (Dupré, 2017).

Conclusie

Algoritme-gedreven technologie is in opkomst in de Nederlandse publieke sector. De overheid is bezig met het stimuleren van deze technologie. Op dit moment zijn er al een aantal voorbeelden van toepassingen van de technologie in publieke organisaties. Veel van deze toepassingen gaan over het kwalificeren van het risicogehalte dat iets zal gebeuren. Dit is terug te zien bij de politie, in het onderwijs en in de zorg. De belastingdienst, als een van de voorlopers op het gebied van deze technologie, gebruikt het om fraude op te sporen. In alle gevallen is het gebrek aan transparantie van het beslissingsproces een probleem. Doordat de technologie te complex is voor mensen om te begrijpen is niet te achterhalen of de uitkomst rechtvaardig is. Ook is bias in de data een gevaar, dit zorgt voor discriminatie bij bijvoorbeeld de Politie.

Mijn visie

Ikzelf ben in tweestrijd over deze kwestie. Aan de ene kant ben ik het met John Stuart Mill eens en zie ik dat deze technologie over het algemeen goed is voor de Nederlandse maatschappij. De innovatie zorgt voor een meer efficiëntere werkmethode binnen de publieke sector. Alleen vind ik het risico op individuele miscalculaties te groot. Het probleem waar ik niet overheen kan komen is dat de fouten door deze technologie niet opgelost kunnen worden; er is geen inzage in het beslissingsproces. Hiernaast vind ik de macht die grote internationale bedrijven op onze maatschappij hebben te groot. Ik ben dan ook voor deze technologie nadat hier uitgebreide wetten voor geschreven worden die de macht van grote internationale bedrijven vermindert en transparantie over het beslissingsproces verplicht.

Bronnenlijst

Australian Government. (2017, December 20). ATO Regulator Performance Framework self-assessment report 2016-17. Retrieved May 28, 2019, from https://www.ato.gov.au/about-ato/commitments-and-reporting/in-detail/ato-regulator-performance-framework-self-assessment-report-2016-17/?page=3

Brignull, H. (n.d.). Privacy Zuckering – A Type of Dark Pattern. Retrieved May 31, 2019, from https://www.darkpatterns.org/types-of-dark-pattern/privacy-zuckering

CGP Grey. (2017, December 18). How Machines Learn [YouTube]. Retrieved May 28, 2019, from https://www.youtube.com/watch?v=R9OHn5ZF4Uo

Darius, S. (2018). Google Invisible reCAPTCHA plugin for WordPress released. Photograph. Retrieved from https://blog.threatpress.com/google-invisible-recaptcha-plugin-wordpress/

De Balie. (2018, November 21). De macht van data – Hoe algoritmen ons leven vormgeven. Retrieved May 31, 2019, from https://debalie.nl/debalie-tv/de-macht-van-data-hoe-algoritmen-ons-leven-vormgeven/

Doove, S., & Otten, D. (2018). Verkennend onderzoek naar het gebruik van algoritmen binnen overheidsorganisaties. Geraadpleegd van https://www.cbs.nl/nl-nl/maatwerk/2018/48/gebruik-van-algoritmen-door-overheidsorganisaties

Dupré, W. (2017, April 19). Categorische imperatief. Retrieved June 2, 2019, from https://www.ensie.nl/lexicon-van-de-ethiek/categorische-imperatief

Geurts, & Universiteit van Tilburg. (2018). BELASTINGDIENST, BIG DATA & PRIVACY. Retrieved from http://arno.uvt.nl/show.cgi?fid=146758

Hendricks, S. (2018, October 5). How to be happy: Aristotle’s 11 guidelines for a good life. Retrieved June 2, 2019, from https://bigthink.com/scotty-hendricks/aristotles-11-guidelines-for-living-a-good-life

Landelijk Centraal. (2017). Criminaliteits Anticipatie Systeem nog niet in HAL-gebied. Photograph. Retrieved from https://www.langedijkcentraal.nl/nieuws/52311305-criminaliteits-anticipatie-systeem-nog-niet-in-hal-gebied

Lonkhuyzen, L. (2019, January 25). De computer weet: deze patiënt krijgt straks een aanval. Retrieved June 1, 2019, from https://www.nrc.nl/nieuws/2019/01/25/de-computer-weet-deze-patient-krijgt-straks-een-aanval-a3651750

Lonkhuyzen, L. (2018, May 11). U gaat frauderen. Dat zegt de computer. Retrieved May 31, 2019, from https://www.nrc.nl/nieuws/2018/05/11/u-gaat-frauderen-dat-zegt-de-computer-a1602684

Martijn, M. In: De Correspondent. Hoe jouw gedrag wordt beïnvloed zonder dat je het doorhebt en wat we eraan kunnen doen. 31 augustus 2016. Geraadpleegd via: https://decorrespondent.nl/5161/hoe-jouw-gedrag-wordt-beinvloed-zonder-dat-je-het-doorhebt-en-wat-we-eraan-kunnen-doen/338759937230-0c895678

Mehr, H. (2017). Artificial Intelligence for Citizen Services and Government (1). Retrieved from https://ash.harvard.edu/files/ash/files/artificial_intelligence_for_citizen_services.pdf

Middendorp, J. (2019, May 26). Op naar een nieuwe balans tussen overheid, markt en algoritmen. Retrieved May 31, 2019, from https://www.volkskrant.nl/columns-opinie/op-naar-een-nieuwe-balans-tussen-overheid-markt-en-algoritmen~b378b396/

O’Neil, C. (2017, August 22). The era of blind faith in big data must end. Retrieved May 31, 2019, from https://www.ted.com/talks/cathy_o_neil_the_era_of_blind_faith_in_big_data_must_end

Rijksoverheid. (2019, March 22). Nederland Digitaal: afspraken voor betere samenwerking digitalisering. Retrieved May 28, 2019, from https://www.rijksoverheid.nl/actueel/nieuws/2019/03/21/nederland-digitaal-afspraken-voor-betere-samenwerking-digitalisering

Schuilenburg, M. (2018, June 18). De burger moet kunnen weten hoe de misdaadvoorspeller werkt. Retrieved May 30, 2019, from https://www.nrc.nl/nieuws/2018/06/18/de-burger-moet-kunnen-weten-hoe-de-misdaadvoorspeller-werkt-a1606978

Tomar, D. A. (2019, February 25). 20 Major Philosophers & Their Big Ideas. Retrieved June 2, 2019, from https://thebestschools.org/magazine/major-philosopher-ideas/

Vetzo, M., Gerards, J. H., Nehmelman, R., & Montaigne Centrum voor Rechtspleging en Conflictoplossing (Utrecht). (2018). Algoritmes en grondrechten. Retrieved from https://www.uu.nl/sites/default/files/rebo-montaigne-algoritmes_en_grondrechten.pdf

VNO-NCW. (2019, March 21). Artificial Intelligence (AI). Retrieved May 28, 2019, from https://www.vno-ncw.nl/standpunten/artificial-intelligence-ai

VPRO Tegenlicht. (2018, 9 augustus). Verslaafd aan het algoritme [Video]. Geraadpleegd op 30 april 2019, van https://www.vpro.nl/programmas/tegenlicht/speel%7EVPWON_1293329%7Everslaafd-aan-het-algoritme-vpro-tegenlicht%7E.html

Bijlage

Bijlage 1: Intention Outcome Matrix

Bijlage 2: Moral Value Map zorg

Bijlage 3: Moral Value Map Belastingdienst