Release v2.1/governance update (#599)

Co-authored-by: Nout van Deijck <[email protected]>

docs/onderwerpen/governance.md

@@ -9,7 +9,14 @@ hide:
 Zorg voor effectieve governance van je algoritmes. Dit is het beleid van je organisatie voor het verantwoordelijk omgaan met algoritmes en AI-systemen. Leg bijvoorbeeld vast wie waarvoor verantwoordelijk is.
 
 ## Wat is governance van algoritmes binnen je organisatie?
-Algoritme-governance is de manier waarop je organisatie omgaat met algoritmes en AI-systemen. Je maakt duidelijke afspraken over processen, regels en verantwoordelijkheden. 
+Algoritme-governance is de manier waarop je organisatie omgaat met algoritmes en AI-systemen. Algoritme-governance beschrijft een systeem van regels, werkwijzen, processen en technologische hulpmiddelen die worden gebruikt om ervoor te zorgen dat het gebruik van algoritmes door een organisatie in overeenstemming is met de strategieën, doelstellingen en waarden van de organisatie[^1]. En dat je voldoet aan wettelijke vereisten en ethische principes.
+
+[^1]: Vrij vertaald van de definitie van AI-governance gedefinieerd door [Mäntymäki, M., Minkkinen, M., Birkstedt, T. et al. Defining organizational AI governance. AI Ethics 2, 603–609 (2022).](https://doi.org/10.1007/s43681-022-00143-x)
+
+Belangrijke aandachtspunten zijn:
+
+- algoritme-governance is geen doel op zich, maar gebruik je om andere doelen te bereiken.
+- algoritme-governance sluit aan bij de strategie, doelstellingen en publieke waarden van de organisatie.
 
 Deze afspraken maak je op 2 niveaus:
 
@@ -22,11 +29,11 @@ Hoe de organisatie met algoritmes in het algemeen omgaat, bijvoorbeeld:
 - teamleden en hun verantwoordelijkheden, zoals chief data officers en algoritmefunctionarissen
 
 ### Toepassingsniveau
-Dit zijn afspraken over het beheer van de algoritmes zelf, bijvoorbeeld:
+Dit zijn afspraken over het beheer en de totstandkoming van de algoritmes zelf, bijvoorbeeld:
 
-- best practices
 - multidisciplinair ontwikkelen
-- AI-levenscyclusmodellen
+- verantwoordelijkheden per toepassing
+- procedures voor klachten of vragen
 
 ## Belang van algoritme-governance
 Zonder governance verlies je grip op het inkopen, ontwikkelen, gebruiken en uitfaseren van algoritmes en AI. Dit vergroot het risico op overtredingen van wetten en regels zoals de [AI-verordening](../voldoen-aan-wetten-en-regels/ai-verordening.md), Grondwet, Algemene Verordening Gegevensbescherming (AVG) en Auteurswet. 
@@ -35,6 +42,7 @@ Goede governance van algoritmes helpt bij het:
 
 - correct uitvoeren van wetten en regels
 - toepassen van je eigen strategie, doelstellingen en publieke waarden
+- ontwikkelen en implementeren van algoritmetoepassingen
 
 ## Aanpak algoritme-governance
 Algoritme-governance bepaal je zelf als organisatie. 
@@ -43,6 +51,7 @@ Houd in elk geval rekening met:
 
 - [organisatieverantwoordelijkheden](../levenscyclus/organisatieverantwoordelijkheden.md): de minimale voorwaarden om te starten met algoritmes
 - [levenscyclus van algoritmes](../levenscyclus/index.md): waar je per fase op moet letten
+- [zoek aansluiting met bestaande governancestructuren](../voldoen-aan-wetten-en-regels/maatregelen/0-org-05-bestaande-governance.md)
 
 !!! tip "Tip" 
 

docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-00-inventariseren-algoritmes.md

@@ -0,0 +1,56 @@
+---
+title: Inventariseer de algoritmes die binnen jouw organisatie worden gebruikt en houd dit overzicht actueel
+id: urn:nl:ak:mtr:org-00
+toelichting: Inventariseer de algoritmes die binnen jouw organisatie worden gebruikt en houd dit overzicht actueel
+vereiste: 
+- aia-00-verboden-AI-praktijken
+- aia-02-documentatie-beoordeling-niet-hoog-risico
+- aia-03-risicobeheersysteem
+- bzk-01-algoritmeregister
+- avg-10-recht-op-niet-geautomatiseerde-besluitvorming
+levenscyclus: 
+- organisatieverantwoordelijkheden
+- monitoring-en-beheer
+onderwerp: 
+- governance
+- transparantie
+rollen:
+- beleid-en-advies
+sources:
+hide:
+- navigation
+- toc
+
+---
+
+<!-- tags -->
+
+## Maatregel
+Inventariseer de algoritmes die binnen jouw organisatie worden gebruikt en houd dit overzicht actueel. 
+
+## Toelichting
+Om grip te krijgen op het gebruik van algoritmes binnen jouw organisatie, heb je allereest overzicht nodig van de algoritmes die in jouw organisatie gebruikt worden. Zorg dat je dit overzicht regelmatig actualiseert. 
+Bepaal voor ieder algoritme de [risicogroep en vervolgens welke vereisten daarop van toepassing zijn](2-owp-05-soort-algoritme.md). Hiervoor kan je gebruik maken van de [beslishulp AI-verordening](https://ai-verordening-beslishulp.apps.digilab.network/). 
+
+Bepaal ook of er sprake is van [geautomatiseerde besluitvorming of geautomatiseerde risicoselectie](../vereisten/avg-10-recht-op-niet-geautomatiseerde-besluitvorming.md). 
+
+Inventariseren van de algoritmes die gebruikt worden, helpt bij:
+
+- Inzicht in de risico's en kansen van het gebruik van algoritmes. 
+- [Het correct registreren van de algoritmes in het Algoritmeregister](6-imp-04-publiceren-algoritmeregister.md)
+- Het opzetten van een goede [algoritmegovernance](../../onderwerpen/governance.md). 
+
+## Bijbehorende vereiste(n) { data-search-exclude }
+<!-- Hier volgt een lijst met vereisten op basis van de in de metadata ingevulde vereiste -->
+<!-- Let op! onderstaande regel met 'list_vereisten_on_maatregelen_page' niet weghalen! Deze maakt automatisch een lijst van bijbehorende verseisten op basis van de metadata  -->
+??? expander "Bekijk alle vereisten"
+    <!-- list_vereisten_on_maatregelen_page -->
+
+## Bronnen 
+- [Handreiking identificatie verboden AI-systemen (Powerpoint-bestand)](https://github.com/user-attachments/files/18179666/Handreiking_Uitvraag_VBSystemen.pptx)
+- [Handreiking Algoritmeregister](https://www.digitaleoverheid.nl/wp-content/uploads/sites/8/2023/12/Handreiking-Algoritmeregister-versie-1.0.pdf)
+
+## Voorbeeld
+<!-- Voeg hier een voorbeeld toe, door er bijvoorbeeld naar te verwijzen -->
+
+Heb je een voorbeeld of best practice, laat het ons weten via [[email protected]](mailto:[email protected])

docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-01-benodigde-expertise-en-capaciteit.md

@@ -32,8 +32,8 @@ Bepaal welke expertise en capaciteit noodzakelijk is voor het ontwikkelen, inkop
 <!-- Geef hier een toelichting van deze maatregel -->
 - Bepaal welke expertise en capaciteit binnen de organisatie noodzakelijk is voor het ontwikkelen, inkopen en gebruiken van algoritmes.
 - Dit is sterk afhankelijk van de specifieke toepassing en de inzichten die voortkomen uit risicoanalyses. Hoe complexer en risicovoller de toepassing, des te meer expertise en capaciteit noodzakelijk is. 
+- Indien is vastgesteld dat er onvoldoende expertise aanwezig is, investeer dan in [bewustwording en voldoende opleidingen](0-org-16-bewustwording-en-opleiding.md) over de kansen en risico's van algoritmes en AI. 
 - Interne en externe actoren die betrokken zijn bij het ontwikkelen, inkopen en gebruik moeten over voldoende expertise en capaciteit beschikken om hun taken naar behoren uit te voeren.
-- Investeer in (interne) opleidingen voor alle medewerkers. 
 - Stel vast of er afhankelijkheden van externe aanbieders ontstaan.  
 - Bepaal voorafgaand aan het (laten) ontwikkelen of inkopen van algoritmes of voldoende expertise en capaciteit beschikbaar is om tot een verantwoorde inzet ervan te komen.
 - Leg vast of er voldoende expertise en capaciteit beschikbaar is en onderbouw dit in projectdocumentatie.
@@ -42,6 +42,7 @@ Bepaal welke expertise en capaciteit noodzakelijk is voor het ontwikkelen, inkop
 ## Risico
 Zonder voldoende expertise en capaciteit kan het zijn dat het ontwikkelen, inkopen, en gebruiken van algoritmes niet goed verloopt binnen de organisatie doordat de middelen hiervoor ontbreken. 
 
+
 ## Bijbehorende vereiste(n) { data-search-exclude }
 <!-- Hier volgt een lijst met vereisten op basis van de in de metadata ingevulde vereiste -->
 <!-- Let op! onderstaande regel met 'list_vereisten_on_maatregelen_page' niet weghalen! Deze maakt automatisch een lijst van bijbehorende verseisten op basis van de metadata  -->

docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-02-beleid-opstellen-inzet-algoritmes.md

@@ -27,32 +27,40 @@ Stel beleid op voor een verantwoorde inzet van algoritmes binnen de organisatie.
 Een duidelijk beleid over de inzet van algoritmes helpt organisaties te voldoen aan de vereisten voor het verantwoord gebruik ervan. Hierin worden zaken beschreven als:
 
 - Hoe de inzet van algoritmes gaat bijdragen aan het realiseren van de organisatiedoelstellingen. 
-
-- Het beschrijven van de stappen die moeten worden gezet om algoritmes op een verantwoorde wijze in te gaan zetten. Dit is afhankelijk en verschilt per type algoritme en de bijbehorende risicoclassificatie.
-
+- Het beschrijven van de stappen die moeten worden gezet om algoritmes op een verantwoorde wijze in te gaan zetten. Dit is afhankelijk en verschilt per [type algoritme en de bijbehorende risicoclassificatie](2-owp-05-soort-algoritme.md).
 - Het beschrijven van welke hulpmiddelen in welke gevallen moeten worden ingezet om te voldoen aan de vereisten die gelden voor algoritmes. Hierbij kan worden gedacht aan:
+
     - Een [Impact Assessment Mensenrechten en Algoritmes](../hulpmiddelen/IAMA.md).
     - Een [Data Protection Impact Assessment](../hulpmiddelen/DPIA.md).
     - Het hanteren van [inkoopvoorwaarden](../hulpmiddelen/inkoopvoorwaarden.md).
+    - Het uitvoeren van een [biasanalyse](5-ver-03-biasanalyse.md).
 
 - Hoe burgers worden geïnformeerd over de inzet van algoritmes door de organisatie (communicatiestrategie) en welke kanalen hiervoor kunnen worden gebruikt. Hierbij kan worden gedacht aan:
+
     - Het [Algoritmeregister](../hulpmiddelen/algoritmeregister.md) voor het publiceren van hoog risico AI-systemen of impactvolle algoritmes. 
     - Een algemene pagina op de website met informatie over de inzet van algoritmes.
     - Het [verwerkingsregister](6-imp-08-vermelding-in-verwerkingsregister.md).
     - Een intern registratiesysteem, bijvoorbeeld voor het registreren van laag risico of niet-impactvolle algoritmes zodat deze informatie voor medewerkers beschikbaar is.
     - In welke gevallen een [(openbaar) besluit](6-imp-09-politiek-bestuurlijk-besluit.md) wordt genomen door het bestuur over de inzet van een algoritme. 
 
+- Of algoritmes zelf worden ontwikkeld, of dat algoritmes of systemen worden [ingekocht](../../onderwerpen/publieke-inkoop.md). Dit vraagt om een andere governacnestructuur en aanpak. 
+
 - Er is beschreven welke informatie over welke typen algoritmes wordt gecommuniceerd met betrokkenen bij de ontwikkeling of gebruik ervan door de organisatie. 
+- Stel dit beleid op voor zowel:
 
-- Er is beschreven welke stappen worden gezet in het geval dat er incidenten ontstaan rondom de inzet van algoritmes, denk hierbij aan een [discriminatieprotocol](0-org-15-discriminatieprotocol.md).
+    - nieuw te ontwikkelen algoritmes
+    - gedurende de ontwikkeling van algoritmes
+    - bestaande algoritmes
 
-- Dit beleidsdocument is beschikbaar en toegankelijk voor geïnteresseerden.
+- Bepaal in welke gevallen het nodig is om een externe audit of validatie uit te voeren op het algoritme. 
+- Bepaal of het wenselijk is om gebruik te maken van een (externe) ethische commissie en hoe dit onderdeel kan zijn van je processen. 
+- Er is beschreven welke stappen worden gezetten in het geval dat er incidenten ontstaan rondom de inzet van algoritmes, denk hierbij aan een [discriminatieprotocol](0-org-15-discriminatieprotocol.md).
+- Betrek een brede groep met verschillende disciplines bij de ontwikkeling van governance. 
+- Dit beleidsdocument is beschikbaar en toegankelijk voor geïnteresseerden. 
 
 ## Risico 
 Zonder duidelijk beleid over de inzet van algoritmes kan het gebeuren dat algoritmes worden ontwikkeld of gebruikt die niet passend zijn binnen de organisatie. 
 
-- [Onderzoekskader Auditdienst Rijk, SV.8](https://www.rijksoverheid.nl/documenten/rapporten/2023/07/11/onderzoekskader-algoritmes-adr-2023)
-
 ## Bijbehorende vereiste(n) { data-search-exclude }
 <!-- Hier volgt een lijst met vereisten op basis van de in de metadata ingevulde vereiste -->
 
@@ -64,10 +72,31 @@ Zonder duidelijk beleid over de inzet van algoritmes kan het gebeuren dat algori
 
 Geen beschikbare bron voor deze maatregel.
 
+## Bronnen
+- [Onderzoekskader Auditdienst Rijk, SV.8](https://www.rijksoverheid.nl/documenten/rapporten/2023/07/11/onderzoekskader-algoritmes-adr-2023)
+
 ## Voorbeelden
 
 !!! example "Handreiking Algoritmen - Gemeente Amsterdam"
 
 	Gemeente Amsterdam heeft een Handreiking Algoritmen ontwikkeld waarin de aanpak van en instrumenten voor verantwoord algoritme­­gebruik in Amsterdam worden toegelicht. Denk aan governance voor verantwoorde toepassing van algoritmes, en contractvoorwaarden voor algoritmische toepassingen.
 
-	Bron: [Handreiking Algoritmen](https://www.amsterdam.nl/innovatie/digitalisering-technologie/handreikingen-playbooks/) (Er zijn hier ook handreikingen te vinden over _Dataverzameling_ en _Digitale ongelijkheid_.
+	Bron: [Handreiking Algoritmen](https://www.amsterdam.nl/innovatie/digitalisering-technologie/handreikingen-playbooks/) (Er zijn hier ook handreikingen te vinden over _Dataverzameling_ en _Digitale ongelijkheid_.)
+
+!!! example "Ethische commissie Gemeente Groningen"
+
+    Gemeente Groningen maakt gebruik van een [ethische commissie Data en Technologie](https://gemeente.groningen.nl/ethische-commissie-data-en-technologie). De commissie adviseert het college gevraagd en ongevraagd over het gebruiken van (nieuwe) digitale technologieën in de gemeente Groningen. Denk aan kunstmatige intelligentie (AI), algoritmen en sensoren.
+
+!!! quote "Ervaring uit de praktijk"
+
+    Werk samen. Betrek iedereen die je nodig hebt. De directie moet willen. En die moet het begrijpen. Laat juristen niet pas achteraf stukken lezen. Neem iedereen mee. Dan wordt iedereen verantwoordelijk. En ontstaat wederzijds vertrouwen." 
+
+!!! quote "Ervaring uit de praktijk"
+
+    "Je moet een hele duidelijke visie hebben. Wat zijn dan de dingen die we op ons af zien komen? Wat betekent dit voor ons? Wat willen we daarmee? En hoe gaan we dat wegzetten in de tijd dat we daarmee omgaan? Want we kunnen niet alles tegelijk gaan doen. Je moet daar een soort volgordelijkheid in gaan bouwen van wat gaan we dan eerst doen? En waar gaan we dan mee aan de slag?" 
+
+!!! quote "Ervaring uit de praktijk"
+
+    "Als je wilt starten, start klein aan de hand van een casus. Langs die casus kan je ontdekken welke stappen je moet zetten om ervoor te zorgen dat je de ethische waarde goed inricht, dat je vanuit privacy en security goed hebt ingericht en dat je ook daadwerkelijk die toegevoegde waarde voor de organisatie realiseert." 
+
+Heb je een voorbeeld of best practice, laat het ons weten via [[email protected]](mailto:[email protected])

docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-03-toepassen-risicobeheer.md

@@ -30,10 +30,10 @@ Pas risicobeheer gestructureerd toe voorafgaand en gedurende de ontwikkeling en
 
 ## Toelichting
 <!-- Geef hier een toelichting van deze maatregel -->
-- Bepaal tijdig, bijvoorbeeld in de probleemanalyse- of ontwikkelfase, om wat voor toepassing het gaat (algoritme of AI-systeem) en bepaal welke risicoclassificatie hierbij hoort.
+- Bepaal tijdig, bijvoorbeeld in de ontwerpfase om [wat voor toepassing het gaat](2-owp-05-soort-algoritme.md) (algoritme of AI-systeem) en bepaal welke risicoclassificatie hierbij hoort.
 - Bepaal op basis van de toepassing en de risicoclassificatie, welke aspecten van risicobeheer moeten worden toegepast.
-- Inventariseer tijdig, bijvoorbeeld in de probleemanalayse- of ontwikkelfase, bij betrokken experts welke beleidskaders en hulpmiddelen binnen de organisatie moeten worden ingezet om risicobeheer toe te passen.
-- Bepaal op basis van de levenscyclus van een algoritme of AI-systeem wanneer welke aspecten van risicobeheer moeten worden toegepast. 
+- Inventariseer tijdig, bijvoorbeeld in de probleemanalayse- of ontwerpfase, bij betrokken experts welke beleidskaders en hulpmiddelen binnen de organisatie moeten worden ingezet om risicobeheer toe te passen.
+- Bepaal op basis van de [levenscyclus van een algoritme of AI-systeem](0-org-08-beslismoment-levenscyclus.md) wanneer welke aspecten van risicobeheer moeten worden toegepast. 
 - Maak inzichtelijk op welke niveaus risicobeheer kan en moet worden belegd bij het ontwikkelen en gebruiken van algoritmes.
 - Daarbij gaat het om het identificeren, analyseren, evalueren (afhankelijk van de risicobereidheid), behandelen (risicoreactie, o.a. maatregelen), monitoren & beoordelen en communiceren & rapporteren van risico's.
 - Gedurende de levenscyclus van een algoritme of AI-systemen kunnen nieuwe risico's ontstaan waar mogelijk nieuwe maatregelen voor moeten worden getroffen. Het is van belang dat iteratief wordt gewerkt aan mitigerende maatregelen en dat risicobeheer periodiek wordt toegepast.