Verslag van de vergadering van 21 maart 2023 (2022/2023 nr. 23)
Status: gecorrigeerd
Aanvang: 13.42 uur
Mevrouw Veldhoen i (GroenLinks):
Dank u wel, voorzitter. Digitalisering raakt aan alle aspecten van het leven: hoe we met elkaar praten, hoe we ons verplaatsen, hoe we een partner vinden en hoe onze overheid met haar burgers omgaat. We zitten nog maar aan het begin van een technologische revolutie. Die zal ook onze democratie en rechtsstaat blijvend veranderen. Sterker nog, die heeft onze democratie en rechtsstaat eigenlijk al blijvend veranderd. Het is onze plicht in Nederland en in Europa om een digitale wereld te creëren ten dienste van haar burgers, waarin de publieke waarden en grondrechten centraal staan en waarin technologie dienstbaar is aan de mens. Dat is dus heel anders dan in China. We zien dat het staatssysteem van China bijna volledige macht heeft vergaard over haar burgers, door het alleenrecht op technologie en big data. Het moet echter ook anders dan in Amerika. Daar heeft een kleine groep marktpartijen namelijk het gros van alle data en technologie in handen.
Voorzitter. In Nederland en Europa moet het publieke belang centraal staan. In Nederland en Europa moet het dienstbaar zijn aan de mens. Daarom zijn begrippen als "privacy by design", "open source" en "dataminimalisatie" geen holle begrippen, maar fundamenten van een human-centric approach van technologie. Dat begint met het AI-proof maken van de democratische rechtsstaat. Daarom staan we hier vandaag. We staan hier vandaag om van gedachten te wisselen over de toekomst van wetgeving en de manier waarop we in het digitale tijdperk politiek bedrijven en besturen.
De rol van AI in de uitvoering van regelgeving zal namelijk alleen maar groeien. AI heeft bijgedragen aan het toeslagenschandaal. AI stond centraal bij het Systeem Risico Indicatie, gefocust op bijstandsgerechtigden. Dat raakt aan fundamentele rechten, met soms vernietigende gevolgen voor de persoon in kwestie. Deze niet te onderschatten rol van AI in wetgeving gaf Jeroen Recourt en mij aanleiding om initiatief te nemen tot het instellen van de werkgroep AI.
Natuurlijk zijn er heel veel positieve elementen van AI te benoemen. Het biedt grote kansen en heeft ons leven enorm verrijkt. Dat staat buiten kijf. Maar vanuit onze rol en verantwoordelijkheid zal ik vandaag vooral stilstaan bij de risico's van AI als het gaat om mensenrechten, privacy- en databescherming en wetgevingskwaliteit. Uit vergelijkend landenonderzoek blijkt dat AI-inzet door overheden vooral lagere sociaal-economische klassen treft en ongelijke verhoudingen in de samenleving bestendigt. Om de voordelen van AI te kunnen benutten en het gebruik te kunnen legitimeren, is tegenwicht nodig.
Allereerst dank aan de griffie en aan het Rathenau Instituut voor hun waardevolle ondersteuning. Dank ook aan de staatssecretaris voor haar reflectie op de twee door het Rathenau Instituut opgestelde notities en de daarin genoemde handelingsopties. Mijn fractie en die van de Partij van de Dieren, voor wie ik inderdaad vandaag ook spreek, kiezen ervoor niet puntsgewijs te reageren op de brief van de staatssecretaris, maar om daar een aantal nieuwe perspectieven aan toe te voegen. Ik begin met de reflectie op de gevolgen van digitalisering voor de trias. Dan sta ik stil bij het huidige recht en de vraag of het kader aanscherping behoeft. Tot slot sta ik stil bij het wetgevingsproces en de uitvoering.
Ik begin bij de rechtsstaat. AI heeft grote impact op het functioneren van de rechtsstaat, en ook op het evenwicht der machten binnen de trias politica. Herman Tjeenk Willink wees ons er al op dat bestuur en wetgeving steeds meer verknoopt zijn geraakt, en dat er daarmee de facto sprake is van een duas politica. Ik deel zijn visie. Technologie dreigt deze verdeling verder onder druk te zetten. We lijken steeds meer in de richting van een unitas politica te gaan. Het AI-gebruik door de overheid vergroot de al bestaande dominantie van het bestuur, dat er het meeste in is geslaagd om digitale technologie op te nemen in haar processen. Deskundige Passchier wees hier ook al op. Het UWV en de Belastingdienst maken in hun beschikking al jaren gebruik van AI. Het parlement en de rechtspraak blijven ver achter met de kennis over en het gebruik van AI, waardoor het evenwicht in de trias verder verstoord raakt.
Het is hoog tijd om een been bij te trekken, zeker nu de mate van digitalisering steeds verder toeneemt. Dat moet allereerst gebeuren door het instellen van een vaste Kamercommissie Digitale Zaken, net als in de Tweede Kamer. Bovendien hebben we een staatssecretaris van Digitale Zaken. Deskundigen wijzen op de noodzaak daarvan, de staatssecretaris vindt het een goed idee en het gebeurt al in tal van landen. We moeten niet alleen de staf versterken, maar juist ook de kennis bij de leden zelf; vandaar ook een vaste Kamercommissie Digitale Zaken.
De heer Dittrich i (D66):
Daar heb ik toch een vraag over aan mevrouw Veldhoen. Ik snap de gedachte heel goed en in beginsel steunen wij het idee van een vaste Kamercommissie voor Digitale Zaken waarin ook over AI wordt gesproken. Ziet mevrouw Veldhoen echter niet het risico dat andere commissies dan toch alles wat met AI en digitalisering te maken heeft over het hekje van die commissie heen gaan kieperen, zodat de leden in die commissie misschien wel heel erg goed op de hoogte zijn, maar de kennis als het ware weglekt bij de andere commissies? Als zij dat gevaar ziet, zou ik haar willen vragen of ze daar een remedie voor ziet.
Mevrouw Veldhoen (GroenLinks):
Dank voor de vraag. Ik zie dat gevaar zelf niet. We hebben een overleg gehad met de vaste Kamercommissie van de Tweede Kamer en dat gevaar werd daar niet aan de orde gesteld. Dat gevaar ervaren zij niet in die mate. Belangrijker nog is dat wij in deze Kamer natuurlijk gewend zijn om gecombineerde commissievergaderingen te plannen of in het leven te roepen. Dat doen we vaker. Daarbij zou je gezamenlijk kunnen kijken naar de wetgeving. Dat heeft twee voordelen. Ten eerste worden de kennis en ervaring van de commissie voor Digitale Zaken benut. Ten twee worden de kennis en ervaring van de aansluitende commissie vergroot, doordat je samenwerkt en de kennis gaat delen. Ik denk dat er juist in deze Kamer een heel mooie combinatie zou kunnen worden gemaakt tussen de vaste Kamercommissie voor Digitale Zaken en een andere commissie. Er is wetgeving die puur ziet op digitalisering of digitale elementen. We hebben net zo'n wet aangenomen. Het is natuurlijk evident dat die in die vaste Kamercommissie terecht zou komen. Er is veel wetgeving die op verschillende gedachten hinkt en waar elementen daarvan in kunnen zitten. Juist die gecombineerde commissie zou daarvoor een oplossing kunnen bieden.
De heer Dittrich (D66):
Twee dingen nog. Over de gecombineerde vergaderingen wordt in ander verband wel gezegd dat we die zo min mogelijk moeten houden, ook vanwege het werk van de griffie en zo. Maar goed, dat is één ding. Het andere is dat ik nog wel de volgende vraag heb. Als een wetsvoorstel waar digitalisering of AI in voorkomt, bij een heel andere commissie wordt ingediend, hoe gaan we er dan voor zorgen dat daar bewustwording is dat de commissie voor Digitalisering en AI daar een rol in heeft te spelen? Hoe organiseren we dat? Gaat dat misschien via de fracties of via de commissies en het systeem dat we al hebben?
Mevrouw Veldhoen (GroenLinks):
Ik kan me voorstellen dat de griffie daar ook een belangrijke rol in kan spelen. Die ziet welke wetgeving er aankomt en kan daarvoor een goede verdeling maken. Ik zal later in mijn bijdrage terugkomen op het feit dat ik vind dat in de wetgeving zelf veel duidelijker moet worden dat er sprake is van algoritmische besluitvorming bij de uitvoering. Dat maakt veel transparanter dat er digitale elementen in een wet zitten, waardoor je een wetsvoorstel ook eerder kunt labelen en zeggen dat het bij de commissie voor Digitale Zaken terecht zou moeten komen. Op die manier wordt het voor de griffie ook makkelijker om het te plannen.
Misschien kan ik hier wat aan toevoegen: uiteindelijk moet natuurlijk iedereen kennis van zaken over digitale elementen hebben, want dat wordt in de toekomst alleen maar erger. Dat zou betekenen dat we eigenlijk allemaal kennis van zaken moeten hebben. Ik zie het misschien wel als een tussenoplossing om nu een commissie voor Digitale Zaken in te stellen, zodat wij allemaal op vlieghoogte komen en het niveau met elkaar verhogen. We moeten daar gewoon een stap in zetten als leden. Dat geldt niet alleen voor de griffie, maar ook voor onszelf. Ik kan me voorstellen dat zo'n commissie overbodig wordt als we over tien jaar allemaal voldoende kennis van zaken hebben. Op dit moment vind ik het echt nodig dat wij als Kamerleden zelf een been bijtrekken om ervoor te zorgen dat we meer kennis van zaken krijgen.
Mevrouw Gerkens i (SP):
Dat laatste is eigenlijk bijna een ondersteuning met argumenten van de doelstelling die mijn fractie zou willen voorstellen, namelijk: versterk inderdaad de staf. Want als je het alleen bij een commissie voor Digitale Zaken laat en daar het niveau opplust, om het maar even zo te zeggen, dan laat je het bij een klein groepje. Mevrouw Veldhoen stelt voor om gecombineerde vergaderingen te hebben, maar we zien in de praktijk dat de woordvoerders gaan van de commissie die het voortouw heeft. Ik vrees dat we dan geen kennisvermeerdering zullen krijgen. Waar ik naartoe wil, is een voorbeeld uit de Tweede Kamer, waar de commissie Digitale Zaken inderdaad over heel interessante dingen spreekt. Maar terwijl zij over die interessante dingen sprak, werd er in de Tweede Kamer door andere fractieleden een motie aangenomen om coûte que coûte de Omgevingswet erdoorheen te drukken, een wet waar hier ook uw fractie tegen heeft gestemd, mede omdat de digitale kant nog niet helemaal klaar was. Is het nou niet veel belangrijker dat we ervoor zorgen dat ál die Kamerleden weten waar ze het over hebben? En kunnen we dat niet veel beter doen via de staf die dat dan ook in de wetsvoorstellen kan inbrengen?
Mevrouw Veldhoen (GroenLinks):
Ik denk dat het een het ander niet uitsluit. Ik zal er zo meteen zelfs nog een element aan toevoegen. Ik denk dat wij zodanig een achterstand hebben, ook als het gaat om de verhoudingen binnen de trias waarbij je én een staf zou moeten versterken én die commissie Digitale Zaken zou moeten instellen. Ik pleit ook nog — daar zal ik zo op terugkomen — voor een adviescommissie digitale zaken die onafhankelijk Kamerleden, zowel van de Eerste als van de Tweede Kamer, kan adviseren over digitale elementen in wetgeving. Maar ik noem ook de rechtspraak, want ook de rechtspraak blijft achter. Dus ik zou eigenlijk een drietrapsraket willen voorstellen: én versterking van de staf én een vaste Kamercommissie én een adviescommissie die daarover gaat adviseren. Want we lopen echt zodanig achter dat het op verschillende punten versterking behoeft. Ik ben het met u eens wat betreft het voorbeeld van de Omgevingswet. Daarbij is er een ongelukkige gang van zaken. Ik kan me voorstellen dat je juist door de staf beter op te lijnen en door de planning zodanig te laten zijn dat een commissie digitale zaken wel aan de voorkant is aangesloten, dit soort ongelukken kunt voorkomen.
Mevrouw Gerkens (SP):
Ik hoor mevrouw Veldhoen zeggen "we lopen zodanig achter". Maar dan vraag ik aan haar om het te specifiëren. Wie zijn "we", waarin lopen we achter en wat lopen we dan achter? Want volgens mij hebben we hier de laatste paar keren een aantal heel goede debatten gehad bij dit thema, met een fors aantal meer Kamerleden dan ik ooit heb gezien in mijn politieke loopbaan. Dus volgens mij lopen we helemaal niet zo achter.
Mevrouw Veldhoen (GroenLinks):
Dat is wat ook deskundigen zeggen: juist bij de wetgeving, bij de parlementen en de rechtspraak, is er nog veel minder kennis van zaken rondom algoritmische besluitvorming dan bij bijvoorbeeld het bestuur. Ik heb onderzoeken gelezen waaruit dat blijkt. Het is waar dat we bezig zijn met onszelf daarover onderwijzen. Ook met alle voorbereidende bijeenkomsten voor dit debat proberen we natuurlijk een been bij te trekken. Maar ik neem aan dat u het met mij eens bent dat daar nog heel wat moet gebeuren en dat dat versterking behoeft.
De voorzitter:
Tot slot, mevrouw Gerkens.
Mevrouw Gerkens (SP):
Dat klopt. Er moet nog heel veel gebeuren. Maar ik zie ook dat er heel veel gebeurt. Dan is het de vraag of het wel gerechtvaardigd is om, zoals ik nu hoor, zelfs met een drietrapsraket de boel te verzwaren. Schieten we dan niet een beetje door?
Mevrouw Veldhoen (GroenLinks):
Ik denk daar anders over, maar dat mag duidelijk zijn.
De voorzitter:
Vervolgt u uw betoog.
Mevrouw Veldhoen (GroenLinks):
Ik vervolg mijn betoog. Ik heb gezegd dat ik een motie zal indienen samen met de Partij van de Arbeid voor het instellen van die vaste Kamercommissie Digitale Zaken, of in ieder geval om de wens daarvoor uit te spreken.
Daarnaast zal de ondersteuning van het parlement verder moeten worden versterkt. Gedacht kan worden aan het instellen van een adviesorgaan digitale zaken voor beide Kamers, zoals bijvoorbeeld in de Verenigde Staten en in het Verenigd Koninkrijk is gebeurd. Bij dit bureau kunnen individuele leden terecht met vragen over technologie. Hetzelfde zal moeten gelden voor de rechtspraak. Ook de rechter zou vanuit het oogpunt van de equality of arms in de trias zich veel meer moeten kunnen laten bijstaan door deskundigen op het gebied van AI. Dit zou de rechtspraak helpen om minder afhankelijk te worden van informatie die bestuursorganen aanreiken en om zelf meer zicht te krijgen op structurele vraagstukken die zich achter individuele zaken schuilhouden. Is de staatssecretaris bereid zich hiervoor in te spannen en in overleg te treden met minister Weerwind en de uitkomsten van dit overleg met de Kamer te delen?
Dan de wettelijke verankering.
Mevrouw Gerkens (SP):
Toch een vraag. Hoe verhoudt deze commissie zich dan tot het Adviescollege ICT?
Mevrouw Veldhoen (GroenLinks):
Het Adviescollege ICT gaat echt over de techniek van de ICT. Die gaat over ICT-projecten en niet zozeer — als ik het goed heb begrepen; ik hoor het graag als het anders is — over algoritmische besluitvorming die het gevolg is van de uitvoering van wetgeving. Ik heb begrepen dat het Adviescollege ICT veel meer gaat over de uitvoering van ICT-projecten, zoals bij de Omgevingswet, maar niet zozeer over de uitvoering van algoritmische besluitvorming.
Mevrouw Gerkens (SP):
Dan begrijp ik dat u specifiek en alleen over algoritmische besluitvorming nog een aparte commissie wil?
Mevrouw Veldhoen (GroenLinks):
Nou, specifiek over de digitale uitvoering van wetgeving, onder meer middels algoritmes.
Mevrouw Gerkens (SP):
Maar zou u zich dan kunnen voorstellen dat we dan vragen aan de Adviescollege ICT om haar taken met deze taak uit te breiden?
Mevrouw Veldhoen (GroenLinks):
Dat zou kunnen, maar zoals het ICT-adviescollege nu is ingericht, heeft die een ander doel.
De heer Dittrich (D66):
Ik hoorde mevrouw Veldhoen net iets zeggen over de uitvoering van wetgeving, maar zou het niet een beter of een ander idee zijn om in evaluatiebepalingen van wetsvoorstellen die we aannemen altijd op te nemen, als het relevant is uiteraard, qua digitalisering en AI, dat er meetmomenten worden geïntroduceerd? Dan kunnen we zien welke impact de AI heeft op de mensen in de samenleving en dan kunnen we zelf de vinger aan de pols houden. Ik hoor mevrouw Veldhoen nu zeggen dat er een apart adviesorgaan moet komen waar we vragen aan kunnen stellen, maar zijn we dan niet ons eigen werk een beetje aan het outsourcen? Als dat zo is, zou ik daar mijn bedenkingen bij hebben.
Mevrouw Veldhoen (GroenLinks):
Dank voor de vraag. Het gaat zeker niet om het outsourcen van ons eigen werk. Het gaat erom dat we ons werk inhoudelijk goed en onderbouwd met de juiste informatie kunnen doen. Daar gaat het om. Dat is wat mij betreft geen outsourcen, maar juist het niveau van ons werk verhogen. Ik kom zo dadelijk terug op de wetgeving zelf, op de vraag hoe we zouden kunnen borgen dat in de wetgeving duidelijker wordt op welke wijze de algoritmische besluitvorming zal plaatsvinden. Dan kom ik ook terug op uw vraag over de evaluatie.
De heer Dittrich (D66):
Ik ga toch nog even op dit punt door. Als in de praktijk blijkt dat algoritmes een grote impact hebben op het dagelijks leven van mensen en dat grondrechten in gevaar komen, zullen we toch zelf aan de bel moeten trekken? Dat kan door ergens advies in te winnen, maar dat doen we nu toch ook al? We kunnen nu toch ook deskundigen naar de Kamer halen en hun vragen hoe zij ertegen aankijken? Mijn vraag aan mevrouw Veldhoen is dan ook: wat is de meerwaarde van een geïnstitutionaliseerde adviescommissie boven een actie van onszelf? Want we kunnen zelf aan de bel trekken en ad hoc als het ware deskundigheid naar binnen trekken.
Mevrouw Veldhoen (GroenLinks):
Ik denk dat de meerwaarde alleen al blijkt uit het feit dat onder meer het ministerie van Financiën en de Belastingdienst nu zo'n adviescommissie gaan inregelen — dat las ik vanochtend — om te adviseren over algoritmische besluitvorming. Er zijn ook gemeenten die al zo'n commissie hebben. De gemeente Eindhoven bijvoorbeeld doet het met een ethische commissie op het gebied van digitalisering. Dat is allemaal omdat we er niet zijn met het versterken van onze eigen kennis; realistisch gezien denk ik dat we niet de kennis hebben die noodzakelijk is om de finesses van die algoritmische besluitvorming echt te kunnen beoordelen. Er moeten deskundigen worden geraadpleegd om die precies te kunnen uitleggen. Maar nogmaals, ik kom straks terug op de vraag hoe dat in de wetgeving beter geborgd kan worden. Maar er zijn op dit moment dus al bestuursorganen of gemeenten die zo'n commissie instellen, omdat ze tot hetzelfde oordeel zijn gekomen als ik.
De voorzitter:
Tot slot, meneer Dittrich.
De heer Dittrich (D66):
Tot slot. Soms worden er door algoritmes ook keuzes gemaakt die een politieke impact hebben. Dan zullen we daar als politiek een antwoord op moeten vinden. Ik ben een beetje bevreesd voor het volgende — daarom vraag ik ernaar; ik sta er open in. Als er een adviesorgaan is dat gaat kijken naar de algoritmes en de impact daarvan op de samenleving, worden daarbij misschien ook politieke afwegingen gemaakt, terwijl dat echt aan ons als gekozen volksvertegenwoordigers is. Ik zie daar dus, voorlopig althans, een spanningsveld. Ik vraag mevrouw Veldhoen hoe zij dat ziet.
Mevrouw Veldhoen (GroenLinks):
Ik zie dat eigenlijk net als in de niet-digitale wereld. In de gewone wereld hebben wij ook allerlei adviesorganen die ons advies geven over tal van onderwerpen. Vervolgens maken wij daarin politieke keuzes. Bij een digitale adviescommissie zal dat precies hetzelfde zijn: we krijgen informatie aangereikt; die wegen wij, al naar gelang onze politieke voorkeur en overtuigingen; vervolgens trekken we daar onze conclusie uit. Maar het is niet zo dat met een adviescommissie ook gezegd is wat je politiek zou moeten doen.
De voorzitter:
Vervolgt u uw betoog.
Mevrouw Veldhoen (GroenLinks):
Dank u wel. Ik was bij de wettelijke verankering. De staatssecretaris wijst in haar brief van 16 februari op een aantal maatregelen die zij reeds heeft genomen. Dat zijn in beginsel goede wegingen, die wij ondersteunen. Daarnaast wijst zij op reeds bestaande waarborgen uit onder andere de AVG en de algemene beginselen van behoorlijk bestuur van de Algemene wet bestuursrecht. Het gaat dan om het motiveringsbeginsel, het evenredigheidsbeginsel en het verbod op discriminatie. Hiermee meent de staatssecretaris dat er "in feite al een regulerend kader voor de inzet van algoritmische besluitvorming" is. Dat zien wij anders. Een belangrijke rol in de algoritmische besluitvorming is weggelegd voor de algemene beginselen van behoorlijk bestuur. We hoeven alleen maar het toeslagenschandaal, SyRI of de fraudeopsporingslijst van de Belastingdienst in herinnering te brengen om te kunnen concluderen dat die algemene beginselen niet altijd worden gerespecteerd. Ik heb mij persoonlijk afgevraagd hoe het toch mogelijk is geweest dat die fraudelijst door honderden medewerkers van de Belastingdienst is bewerkt en gebruikt, zonder dat daarbij een rode vlag van de algemene beginselen omhoogging. Deze beginselen worden in een normale wereld al te gemakkelijk in de wind geslagen, laat staan in de meer ondoorgrondelijke digitale wereld. Is de staatssecretaris dat met me eens?
Er zou meer zou moeten gebeuren. Het regulerend kader verdient versterking. De staatsecretaris geeft in haar brief aan dat een wijziging van de Awb in voorbereiding is met als doel het waarborgkarakter van die wet te versterken. Wat ons betreft moet de Awb worden aangepast op het gebruik van algoritmes in besluitvorming. Wij kennen artikel 22 van de AVG, op grond waarvan uitsluitend geautomatiseerde besluitvorming verboden is als het besluit rechtsgevolg voor betrokkene heeft, of het de betrokkene anderszins in aanmerkelijke mate treft.
Maar we zouden een stap verder moeten gaan. Er zijn landen die al het goede voorbeeld geven met specifieke wetgeving zoals Frankrijk en België. Een wezenlijk element in de wetgeving is het volgende. Als de overheid een besluit neemt op basis van algoritmische besluitvorming, moet dat in de beschikking vermeld worden. En de belanghebbende heeft dan recht op begrijpelijke informatie over het doel, de mate van algoritmegebruik, het type gegevens en de bronnen. Daarbij is zeer belangrijk dat als hier niet aan wordt voldaan, het besluit zijn geldigheid verliest. Dat is nog eens een heldere en rechtvaardige sanctie, vergelijkbaar met het onrechtmatig verkregen bewijsmateriaal in een strafzaak. Dat heeft een enorm zelfreinigend effect, weet ik uit de praktijk. Ook als het besluit weliswaar door een ambtenaar is genomen, maar dat alleen gebeurde omdat een algoritme deze persoon als een risicovolle burger heeft aangemerkt, moet dat worden meegedeeld. Hadden we deze wetgeving gehad, dan was veel eerder duidelijk geweest dat er sprake was van een discriminerend algoritme in de toeslagenaffaire en bij SyRI.
De verplichting dat het bestuur moet kunnen uitleggen hoe een algoritme werkt, vormt ook een garantie tegen het gebruik van zelflerende algoritmes en tegen het gebruik door de overheid van systemen van particuliere bedrijven die ambtenaren zelf helemaal niet meer begrijpen. Ook dat komt voor. De Autoriteit Persoonsgegevens, die ik erover heb geraadpleegd, gaf aan hier een groot voorstander van te zijn, en gaf aan dat hoe meer je aan de voorkant regelt, hoe minder je aan de achterkant hoeft te controleren. Dit zou een zeer welkome aanvulling zijn.
Met een algoritmeregister zoals door de staatssecretaris wordt voorgesteld, wordt het initiatief helemaal bij de burger gelegd. Maar bij dit voorstel moeten bestuursorganen zelf actief burgers gaan informeren, en dat is precies waar de Autoriteit Persoonsgegevens naartoe wil. Ondersteunt de staatssecretaris dit, en kan de staatssecretaris met haar collegae van JenV dit onderwerp oppakken en hier schriftelijk op terugkomen?
AI-systemen kunnen bedoeld of onbedoeld discriminatoire effecten hebben. De staatssecretaris zegt dat zij zal inzetten op het stimuleren en zoveel mogelijk inbedden van mensenrechtentoetsen in werkprocessen en cultuur. Wij pleiten voor een extra stap. Een impactassesment mensenrechten en algoritmes voor het gebruik van algoritmes zullen steeds onderdeel moeten zijn van het implementatiekader en de uitkomsten van deze onderzoeken moeten ook steeds gepubliceerd worden, dus niet alleen bij digitale diensten met grote impact op burgers. In de Tweede Kamer is dit met een motie aangenomen, en Amnesty International pleit hier ook voor. Wil de staatssecretaris zich hiervoor inspannen en aangeven hoe zij dit gaat doen?
Dan een vraag naar aanleiding van de recente onthullingen rondom het frauderisico-algoritme van de gemeente Rotterdam. Kan de staatssecretaris toezeggen een overzicht te verstrekken van al het gebruik door lokale of nationale overheden van risicoprofileren om potentieel strafbare feiten of fraude te voorspellen? Criminaliteitsvoorspellingen staan als hoog risicosysteem in het huidige compromis van de AI-verordening. Maar daaraan zou wat ons betreft naast de "criminal offences" ook "other offences" moeten worden toegevoegd. Dan zouden risicoprofielen of het voorspellen van het overtreden van andere regelgeving dan het Wetboek van Strafrecht, zoals bijvoorbeeld bij bijstandsfraude, ook door dat verbod gedekt worden.
Dan een ander punt waar we het allemaal over eens zullen zijn. Dat is een wettelijk verbod op bepaalde AI-besluiten zonder menselijke tussenkomst. Van belang is dat die menselijke tussenkomst betekenisvol is. Dat betekent dat de mens die tussenkomt moet weten hoe het algoritme werkt. Als het algoritme een bepaalde selectie maakt die ondoorgrondelijk is en de mens daarop voortborduurt, dan is de menselijke tussenkomst van geen betekenis. Betekenisvolle menselijke tussenkomst dient te worden geborgd door wettelijk te verankeren dat dit toezicht plaatsvindt voorafgaand aan het nemen van een formeel besluit. Hoe gaat de staatssecretaris dat borgen?
De heer Recourt i (PvdA):
Ik was nog even aan het nadenken over het vorige puntje: de uitbreiding van risicoprofielen, niet alleen voor strafrechtelijke verdenkingen, maar ook voor andere. Toen noemde u bijstand. Ik dacht: dan bedoelt u waarschijnlijk bestuursrechtelijke sancties. Of bedoelt u het nog breder?
Mevrouw Veldhoen (GroenLinks):
Ik bedoel bestuursrechtelijke sancties. Dat klopt.
Wij spraken in het verband van onze werkgroep vooral over het binden van publieke autoriteiten aan fundamentele waarden.
De heer Verkerk i (ChristenUnie):
Ik had nog een vraag over die menselijke tussenkomst van een ambtenaar. Dat voelt erg goed en ik begrijp wat u bedoelt, maar er zijn ook vrij eenvoudige algoritmes, bijvoorbeeld als je door rood rijdt of te hard rijdt en je wordt geflitst. Betekent dit dat voor elk algoritme dat de overheid toepast een betekenisvolle menselijke tussenkomst nodig is of bijvoorbeeld alleen voor kansalgoritmes?
Mevrouw Veldhoen (GroenLinks):
Ik zou in eerste instantie zeggen voor kansalgoritmes, want daar zijn de gevolgen voor mensen vaak natuurlijk ook veel groter. Of er bij het rijden door rood überhaupt sprake is van algoritmische besluitvorming durf ik niet te zeggen. Ik vraag me dat af. In dat soort gevallen wordt het inderdaad niet doenlijk om daar menselijke tussenkomst bij te hebben. Het gaat mij erom dat een mens moet kunnen tussenkomen als iets daadwerkelijk rechtsgevolgen van enig belang heeft voor de burger. Dan kunnen we er niet mee volstaan dat die ambtenaar aan het eind nog ergens een vinkje zet. De ambtenaar moet echt betekenisvol kunnen tussenkomen. Die moet dus weten wat eraan voorafgegaan is wanneer die beschikking op zijn bureau belandt.
De heer Verkerk (ChristenUnie):
Ik ben blij met het antwoord, want als het over kansmodellen en kansalgoritmes gaat, is het absoluut noodzakelijk en u onderstreept dat het een betekenisvolle interactie moet zijn. Dank u wel.
Mevrouw Veldhoen (GroenLinks):
We spraken in het verband van onze werkgroep vooral over het binden van publieke autoriteiten aan fundamentele waarden. Ik zei het al. Maar we moeten niet alleen het gebruik van AI door de overheid beter reguleren, maar ook het gebruik door het bedrijfsleven, waaronder ook zorgverzekeraars en banken. Denk aan het gebruik van AI bij sollicitatieprocedures of door bigtechbedrijven zoals Google, Meta en TikTok. Dit soort grote spelers lijken in steeds meer domeinen statelike powers te verwerven. Zij zijn net als overheden de facto in staat om het maatschappelijk leven en het individuele gedrag van burgers eenzijdig en dwingend te sturen. Big tech vormt daarmee steeds meer een risico voor de rechtsstaat dat we niet volledig kunnen bijsturen met onze bestaande rechtsmiddelen. Big tech kan burgers zijn regels opleggen terwijl die regels op dit moment niet gecorrigeerd kunnen worden middels democratisch gelegitimeerde wetgeving. Dat is een groot gevaar. Er moet wat ons betreft een verbod komen op gepersonaliseerde aanbevelingsalgoritmen gebaseerd op interactie. Hoe gaat Nederland zich opstellen in dit debat in Europa, is mijn vraag aan de staatssecretaris. Niets doen is geen optie als je kijkt naar hoe bijvoorbeeld de brexit bewezen door AI is gemanipuleerd. Als je daarvan uitgaat, is dit een reële dreiging voor onze democratie. Ik hoor graag wat de staatssecretaris in Europa gaat doen.
Er valt meer te zeggen over AI-gebruik door private partijen. Stel dat in een sollicitatieprocedure AI wordt gebruikt. Dat gebeurt intussen veel. Wat ons betreft zou transparant moeten zijn dat AI een rol in die selectie heeft gespeeld en welke selectiecriteria zijn gehanteerd. Burgers zouden actief moeten worden geïnformeerd, net zoals ik zojuist zei over de beschikkingen door de overheid. Volgens mij hoeven we daarvoor niet naar Europa, maar kunnen we dat regelen in de Uitvoeringswet AVG. Die wet zou op dit punt moeten worden aangepast. De Autoriteit Persoonsgegevens pleit ook hiervoor. Is de staatssecretaris bereid ook dit met de collega's van JenV op te nemen en hier schriftelijk op terug te komen?
Dan het wetgevingsproces. Door de digitalisering verschuift de discretionaire macht steeds meer van ambtenaren naar systeembeheerders en computerprogrammeurs. Zij vertalen formele wetgeving naar concrete beslisregels. Formeel zijn die beslisregels geen rechtsregels, maar de facto komen ze er wel dicht in de buurt, omdat ze gevolgen kunnen hebben voor rechten en plichten van burgers en hen in aanmerkelijke mate kunnen treffen. Op dit moment bestaat er een kloof tussen de taal van de wetgeving en de algoritmische code waarmee die wetgeving moet worden uitgevoerd. Er moeten bij de uitvoering vertaalslagen worden gemaakt, zeker als het gaat om open normen. Ambtenaren weten, als het goed is, op rechtstatelijke wijze en met de Awb en de algemene beginselen van behoorlijk bestuur in de hand, goed om te gaan met deze open normen. Computers kunnen dat niet.
In de praktijk maken programmeurs die de algoritmen van de overheid ontwerpen belangrijke rechtsvormende keuzes om het uitvoeringssysteem te laten werken. Welke definitie moet het systeem hanteren als een duidelijke definitie in de wet op verschillende manieren kan worden uitgelegd? Of als een duidelijke definitie ontbreekt? Hoe worden vage wettelijke termen uitgelegd? Bij het antwoorden van deze vragen oefenen programmeurs die voor de overheid werken dwingende regelgevende macht uit over de burgers. Deze macht is niet goed gelegitimeerd of omschreven. Tot nu toe had ik het over simpele als-danalgoritmen. Maar wat gebeurt er als we het hebben over zelflerende algoritmen, of dit nou machine learning of deep learning is? Dan vertalen de systemen de wet- en regelgeving zelf naar digitale beslisregels. Zo ontstaat er een buitenwettelijke wetgever. Wat onze fracties betreft moeten we toe naar een alternatieve manier van wetten maken. Niet zoals nu, want nu wordt de vertaling van een wettekst door programmeurs gedaan. We moeten wendbaar wetgeven, zoals wetgevingsjurist Mariëtte Lokin dat noemt.
Wendbaar wetgeven heeft twee dimensies. Eén. De wetgeving is helder wat betreft structuur en betekenis, dus geen of zo min mogelijk open normen hanteren. Twee. De digitale uitvoering moet onderdeel zijn van het proces van wetgeving. Lokin pleit er dus voor om de werelden van de wetgevingsjurist en de systeembeheerder dichter bij elkaar te brengen. Dit zou er uiteindelijk toe moeten leiden dat de kaders voor de code van klassieke algoritmen die wetgeving uitvoeren, door de wetgever zelf worden uitgeschreven. De programmeurs van de algoritmen die de wetgeving vervolgens gaan uitvoeren, moeten dan binnen deze kaders programmeren en daarover in voortdurend contact staan met de wetgevingsjuristen. Dit kan leiden tot het herstel van een democratisch deficit, omdat de wetgever dan kan toezien op de vormgeving van de code. Hier kan ook het genoemde adviesorgaan digitale zaken behulpzaam zijn. Door al in het wetgevingsproces vooruit te lopen op de algoritmische uitvoering wordt de grip van de wetgever op de algoritmische uitvoering vergroot. Ik vraag de staatssecretaris om een reflectie op dit punt en overweeg hierover een motie in te dienen.
Tot slot nog een enkel woord over controle achteraf. De Autoriteit Persoonsgegevens is belast met toezicht op het gebruik van algoritmen door overheden en bedrijven. De AP heeft zelf aangegeven dat het toezicht op algoritmen onvoldoende van de grond komt omdat zij zwaar onderbemenst is. De AP heeft erop gewezen dat daardoor risico's ontstaan op het gebied van discriminatie, uitsluiting en de schending van de rechten van burgers. De AP heeft aangegeven volstrekt onvoldoende middelen te hebben. Het budget is de laatste jaren substantieel verhoogd en dit loopt nog tot 2027 door naar ruim 41 miljoen. De AP geeft aan dat, gelet op alle nieuwe taken en de snelheid waarmee Nederland digitaliseert, een structurele verhoging van het budget naar 60 tot 100 miljoen nodig is. De AP is van een klassieke toezichthouder op gegevensverwerking een toezichthouder op alle digitale verwerking geworden, en daarmee ook een AI-toezichthouder. Mijn vraag aan de staatssecretaris is: hoe gaat zij borgen dat de AP al deze extra zaken daadwerkelijk kan uitvoeren? En dient de taakstelling van de AP niet te worden verbreed?
Voorzitter, ik rond af. Wij zijn een van de meest gedigitaliseerde landen van de wereld. Wij hebben de laatste jaren gezien aan welke verwoestende effecten algoritmische besluitvorming kan bijdragen. Wat betreft onze fracties moeten de fundamentele rechten in de digitale wereld beter worden gewaarborgd. Ik heb daartoe een aantal suggesties gedaan. We moeten het evenwicht in de trias herstellen en meer aan de voorkant borgen. De Awb en de UAVG dienen te worden aangepast, want burgers moeten beter worden geïnformeerd door zowel bestuursorganen als bedrijven over de toepassing van algoritmische besluitvorming.
In wetgeving zelf moet meer transparant worden op welke wijze de algoritmische uitvoering plaatsvindt. De wetgever moet beter in stelling worden gebracht om zijn controlerende functie aan de voorkant uit te voeren, onder meer door het instellen van de vaste Kamercommissie Digitale Zaken. De rechtspraak en de Autoriteit Persoonsgegevens moeten beter worden gefaciliteerd aan de achterkant.
Het verder oprukken van AI kunnen we niet tegenhouden. Dat moeten we ook niet willen. We moeten alleen wel zorgen voor de juiste checks-and-balances. Wij zijn benieuwd naar de antwoorden van de staatssecretaris.
De voorzitter:
Dank u wel, mevrouw Veldhoen. Staatssecretaris, wilt u graag een schorsing? Dan schors ik op verzoek van de staatssecretaris voor twee minuten.