You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
#### Functietitel: Lead generatieve AI evaluatie (1.0 fte)
131
131
132
-
Wil jij concreet bijdragen aan de verantwoorde inzet van AI en algoritmes? En wil jij dat doen vanuit een onafhankelijke en maatschappelijke rol? Kom stichting Algorithm Audit versterken als Lead generatieve AI en draag bij aan de collectieve kennisopbouw over verantwoorde AI.
132
+
Wil jij concreet bijdragen aan de verantwoorde inzet van AI en algoritmes? En wil jij dat doen vanuit een onafhankelijke en maatschappelijke rol? Kom stichting Algorithm Audit versterken als Lead generatieve AI evaluatie en draag bij aan de collectieve kennisopbouw over verantwoorde AI.
133
133
134
134
#### Over stichting Algorithm Audit
135
135
136
136
Stichting Algorithm Audit is een Europees kennisplatform voor verantwoorde AI en AI-evaluatie. We zijn een technisch onderlegde, sterk interdisciplinaire en maatschappelijk betrokken organisatie die zich inspant voor publieke kennis over verantwoorde AI en algoritmes. In enkele jaren zijn we uitgegroeid tot een internationaal erkende kennispartner op het gebied van AI bias testing, non-discriminatie, en de evaluatie van AI-systemen op socio-technische risico’s. We adviseren voornamelijk publieke sector organisaties en zetten ons actief in om kennisuitwisseling tussen overheidsorganisaties aan te jagen. We verrichten <ahref="https://algorithmaudit.eu/nl/knowledge-platform/project-work/"target="_blank">projectwerk</a> voor o.a. de AI Office van de Europese Commissie, de Raad van Europa, Nederlandse uitvoeringsorganisaties en gemeenten.
137
137
138
-
Wat ons als nonprofit drijft is het maatschappelijk belang en niet winstmaximalisatie. Wij publiceren onze adviezen en delen onze kennis via white papers. Door ons businessmodel zijn wij een alternatief voor commerciële consulting, waarin we onze maatschappelijke drive combineren met praktijkervaring. We ontwikkelen open source tools en evaluatiemethodieken: bijvoorbeeld een <a href="https://algorithmaudit.eu/nl/technical-tools/eval-gen-ai/#validation-framework" target="_blank">validatiekader</a> voor taalmodellen in publieke informatievoorziening en Nederlandse benchmark datasets voor evaluatie van generatieve AI. Door casusonderzoek en oordeelsvorming door onafhankelijke adviescommissies dragen we bij aan publieke kennisopbouw en normering van concrete use cases. Voor deze werkzaamheden ontvingen we de <a href="https://khmw.nl/winnaar-eerste-prijs-khmw-brouwer-vertrouwensprijzen-2026-algorithm-audit/" target="_blank">Brouwer Vertrouwensprijs 2026</a> van de Koninklijke Hollandsche Maatschappij der Wetenschappen.
138
+
Wat ons als nonprofit drijft is het maatschappelijk belang en niet winstmaximalisatie. Wij publiceren onze adviezen en delen onze kennis via white papers. Door ons businessmodel zijn wij een alternatief voor commerciële consulting, waarin we onze maatschappelijke drive combineren met praktijkervaring. We ontwikkelen open source tools en evaluatiemethodieken: bijvoorbeeld een <a href="https://algorithmaudit.eu/nl/technical-tools/eval-gen-ai/#validation-framework" target="_blank">validatiekader</a> voor taalmodellen die voor publieke informatievoorziening worden ingezet en Nederlandse benchmark datasets voor evaluatie van generatieve AI. Door casusonderzoek en oordeelsvorming door onafhankelijke adviescommissies dragen we bij aan publieke kennisopbouw en normering van concrete use cases. Voor deze werkzaamheden ontvingen we de <a href="https://khmw.nl/winnaar-eerste-prijs-khmw-brouwer-vertrouwensprijzen-2026-algorithm-audit/" target="_blank">Brouwer Vertrouwensprijs 2026</a> van de Koninklijke Hollandsche Maatschappij der Wetenschappen.
139
139
140
140
Wij zijn een jonge, enthousiaste en snelgroeiende organisatie met een klein kernteam maar met een groot netwerk van academici, beleidsmakers en experts in Nederland en Europa waar we mee samenwerken. Ons kantoor is gevestigd in Den Haag.
141
141
142
142
#### Wat zoeken wij?
143
143
144
-
Als Lead generatieve AI bij Algorithm Audit:
144
+
Als Lead generatieve AI evaluatie bij Algorithm Audit:
145
145
146
-
* Verricht je projectwerk voor de AI Office van de Europese Commissie met betrekking tot het evalueren van socio-technische risico’s van GPAI-modellen;
146
+
* Verricht je projectwerk voor de AI Office van de Europese Commissie met betrekking tot het evalueren van socio-technische risico’s van GPAI-modellen en AI-systeem toepassingen;
147
147
* Ben je een schakel tussen technische en juridische wetenschappers (van onder meer de Universiteit Leiden, Oxford en TNO) en beleidsmakers (van de Europese Commissie en Nederlandse ministeries);
148
-
* Beoordeel je de methodologische zuiverheid van evaluatiemethoden voor GPAI en heb je inzicht hoe nieuwe evaluatiemethoden te ontwikkelen;
149
-
* Werk je samen met software engineers om evaluatiemethoden voor GPAI-modellen te ontwikkelen en draag je bij aan de ontwikkelde code en documentatie voor deze evaluaties;
150
-
* Onderzoek je verschillende benchmark datasets (bijv. BBQ, CommonSenseQA) en kun je de vertaalslag maken welke benchmark dataset nodig zijn voor de Nederlandse taal;
148
+
* Beoordeel je de methodologische zuiverheid van evaluatiemethoden voor GPAI en generatieve AI-systemen en heb je inzicht hoe nieuwe evaluatiemethoden te ontwikkelen;
149
+
* Werk je samen met software engineers om evaluatiemethoden voor GPAI-modellen en generatieve AI-systemen te ontwikkelen en draag je bij aan de ontwikkelde code en documentatie voor deze evaluaties;
150
+
* Onderzoek je verschillende benchmark datasets (bijv. BBQ, CommonSenseQA) en kun je de vertaalslag maken welke benchmark datasets nodig zijn voor de Nederlandse taal;
151
151
* Analyseer je documentatie over GPAI-modellen en heb je affiniteit met toepasselijke wet- en regelgeving (AI-verordening, Digitale Dienstenwet);
152
-
* Draag je schriftelijk bij aan o.a. technisch en/of juridische analyses, presentaties, beschrijvingen van bevindingen over GPAI-modellen;
152
+
* Draag je schriftelijk bij aan o.a. technisch en/of juridische analyses, presentaties, beschrijvingen van bevindingen over GPAI-modellen en generatieve AI-systemen;
153
153
* Licht je door Algorithm Audit opgedane inzichten in begrijpelijke taal toe, zodat deze met de samenleving, beleidsmakers en juristen kunnen worden gedeeld;
154
154
* Zie jij kansen voor nieuwe werkzaamheden op het gebied van de evaluatie van GPAI-toepassingen en draag je bij aan business development.
155
155
156
-
<spanstyle="color:#005AA7">Merk op:</span> Bovenstaande lijst is het profiel van een ideale kandidaat. Voldoe je aan enkele kenmerken en denk je de andere skills in korte tijd bij te kunnen leren, solliciteer en licht dit toe in je brief!
156
+
<spanstyle="color:#005AA7">NB:</span> Bovenstaande lijst is het profiel van een ideale kandidaat. Voldoe je aan enkele kenmerken en denk je relatief snel naar dit functieprofiel toe te kunnen groeien, solliciteer en licht dit toe in je brief!
157
157
158
158
De exacte invulling van de werkzaamheden worden nader met het team afgestemd.
159
159
160
-
#### Thematische werkzaamheden
161
-
162
-
Binnen het team verdelen we de werkzaamheden. Afhankelijk van je ervaring en affiniteit krijg je een eigen takenpakket. De volgende onderwerpen zijn voorbeelden van thema’s waaraan Algorithm Audit werkt:
163
-
164
-
* Implementatie van de AI-verordening:
165
-
* Verdiepen in wettekst en koppeling maken tussen concepten uit de wet en de algoritmische praktijk;
166
-
* Verdiepen in standaarden, inhoudelijke evaluatie van AI-systemen en de rapportage hierover;
167
-
* Inzichten verwerken in Algorithm Audit’s open source AI en algoritmes kwalificatietoolkit (AI AQT), incl. business development
168
-
* Socio-technologische evaluatie van Large Language Models (LLMs):
169
-
* Begrip van kerncomponenten uit LLM-applicaties, zoals embeddings, Retrieval-Augmented Generation (RAG), knowledge bases, chunking etc.;
170
-
* Opstellen van domein-specifieke evaluatiecriteria voor LLM-toepassingen;
171
-
* Pro-actief contact leggen en onderhouden met LLM-gemeenschap in Nederland en Europa die zich verdiepen in socio-technologische evaluatie van LLM-toepassingen.
172
-
* Non-discriminatie en bias-analyse:
173
-
* Verdiepen in algoritmische discriminatie en non-discriminatierecht;
174
-
* Uitvoeren van bias toesten;
175
-
* Doorontwikkelen van methodologie voor het toetsen en voorkomen van algoritmische discriminatie.
176
-
177
160
#### Vaardigheden
178
161
179
-
* 2-8 jaar werkervaring, waarvan ten minste 1 jaar ervaring met het evalueren van GPAI-toepassingen;
162
+
* 2-8 jaar werkervaring, waarvan ten minste 1 jaar ervaring met het evalueren van GPAI-toepassingen en/of generatieve AI-toepassingen;
163
+
* Kennis, kunde en praktijkervaring met specifieke benchmark-frameworks, zoals Hugging Face, Inspect AI, LM Eval, DeepEval, LangSmith, etc
180
164
* Ervaring met het bouwen van RAG-applicaties, foundation models en/of guardrails is een pré
#### Functietitel: Lead generatieve AI evaluatie (1.0 fte)
121
121
122
-
Wil jij concreet bijdragen aan de verantwoorde inzet van AI en algoritmes? En wil jij dat doen vanuit een onafhankelijke en maatschappelijke rol? Kom stichting Algorithm Audit versterken als Lead generatieve AI en draag bij aan de collectieve kennisopbouw over verantwoorde AI.
122
+
Wil jij concreet bijdragen aan de verantwoorde inzet van AI en algoritmes? En wil jij dat doen vanuit een onafhankelijke en maatschappelijke rol? Kom stichting Algorithm Audit versterken als Lead generatieve AI evaluatie en draag bij aan de collectieve kennisopbouw over verantwoorde AI.
123
123
124
124
#### Over stichting Algorithm Audit
125
125
126
126
Stichting Algorithm Audit is een Europees kennisplatform voor verantwoorde AI en AI-evaluatie. We zijn een technisch onderlegde, sterk interdisciplinaire en maatschappelijk betrokken organisatie die zich inspant voor publieke kennis over verantwoorde AI en algoritmes. In enkele jaren zijn we uitgegroeid tot een internationaal erkende kennispartner op het gebied van AI bias testing, non-discriminatie, en de evaluatie van AI-systemen op socio-technische risico’s. We adviseren voornamelijk publieke sector organisaties en zetten ons actief in om kennisuitwisseling tussen overheidsorganisaties aan te jagen. We verrichten <ahref="https://algorithmaudit.eu/nl/knowledge-platform/project-work/"target="_blank">projectwerk</a> voor o.a. de AI Office van de Europese Commissie, de Raad van Europa, Nederlandse uitvoeringsorganisaties en gemeenten.
127
127
128
-
Wat ons als nonprofit drijft is het maatschappelijk belang en niet winstmaximalisatie. Wij publiceren onze adviezen en delen onze kennis via white papers. Door ons businessmodel zijn wij een alternatief voor commerciële consulting, waarin we onze maatschappelijke drive combineren met praktijkervaring. We ontwikkelen open source tools en evaluatiemethodieken: bijvoorbeeld een <a href="https://algorithmaudit.eu/nl/technical-tools/eval-gen-ai/#validation-framework" target="_blank">validatiekader</a> voor taalmodellen in publieke informatievoorziening en Nederlandse benchmark datasets voor evaluatie van generatieve AI. Door casusonderzoek en oordeelsvorming door onafhankelijke adviescommissies dragen we bij aan publieke kennisopbouw en normering van concrete use cases. Voor deze werkzaamheden ontvingen we de <a href="https://khmw.nl/winnaar-eerste-prijs-khmw-brouwer-vertrouwensprijzen-2026-algorithm-audit/" target="_blank">Brouwer Vertrouwensprijs 2026</a> van de Koninklijke Hollandsche Maatschappij der Wetenschappen.
128
+
Wat ons als nonprofit drijft is het maatschappelijk belang en niet winstmaximalisatie. Wij publiceren onze adviezen en delen onze kennis via white papers. Door ons businessmodel zijn wij een alternatief voor commerciële consulting, waarin we onze maatschappelijke drive combineren met praktijkervaring. We ontwikkelen open source tools en evaluatiemethodieken: bijvoorbeeld een <a href="https://algorithmaudit.eu/nl/technical-tools/eval-gen-ai/#validation-framework" target="_blank">validatiekader</a> voor taalmodellen die voor publieke informatievoorziening worden ingezet en Nederlandse benchmark datasets voor evaluatie van generatieve AI. Door casusonderzoek en oordeelsvorming door onafhankelijke adviescommissies dragen we bij aan publieke kennisopbouw en normering van concrete use cases. Voor deze werkzaamheden ontvingen we de <a href="https://khmw.nl/winnaar-eerste-prijs-khmw-brouwer-vertrouwensprijzen-2026-algorithm-audit/" target="_blank">Brouwer Vertrouwensprijs 2026</a> van de Koninklijke Hollandsche Maatschappij der Wetenschappen.
129
129
130
130
Wij zijn een jonge, enthousiaste en snelgroeiende organisatie met een klein kernteam maar met een groot netwerk van academici, beleidsmakers en experts in Nederland en Europa waar we mee samenwerken. Ons kantoor is gevestigd in Den Haag.
131
131
132
132
#### Wat zoeken wij?
133
133
134
-
Als Lead generatieve AI bij Algorithm Audit:
134
+
Als Lead generatieve AI evaluatie bij Algorithm Audit:
135
135
136
-
* Verricht je projectwerk voor de AI Office van de Europese Commissie met betrekking tot het evalueren van socio-technische risico’s van GPAI-modellen;
136
+
* Verricht je projectwerk voor de AI Office van de Europese Commissie met betrekking tot het evalueren van socio-technische risico’s van GPAI-modellen en AI-systeem toepassingen;
137
137
* Ben je een schakel tussen technische en juridische wetenschappers (van onder meer de Universiteit Leiden, Oxford en TNO) en beleidsmakers (van de Europese Commissie en Nederlandse ministeries);
138
-
* Beoordeel je de methodologische zuiverheid van evaluatiemethoden voor GPAI en heb je inzicht hoe nieuwe evaluatiemethoden te ontwikkelen;
139
-
* Werk je samen met software engineers om evaluatiemethoden voor GPAI-modellen te ontwikkelen en draag je bij aan de ontwikkelde code en documentatie voor deze evaluaties;
140
-
* Onderzoek je verschillende benchmark datasets (bijv. BBQ, CommonSenseQA) en kun je de vertaalslag maken welke benchmark dataset nodig zijn voor de Nederlandse taal;
138
+
* Beoordeel je de methodologische zuiverheid van evaluatiemethoden voor GPAI en generatieve AI-systemen en heb je inzicht hoe nieuwe evaluatiemethoden te ontwikkelen;
139
+
* Werk je samen met software engineers om evaluatiemethoden voor GPAI-modellen en generatieve AI-systemen te ontwikkelen en draag je bij aan de ontwikkelde code en documentatie voor deze evaluaties;
140
+
* Onderzoek je verschillende benchmark datasets (bijv. BBQ, CommonSenseQA) en kun je de vertaalslag maken welke benchmark datasets nodig zijn voor de Nederlandse taal;
141
141
* Analyseer je documentatie over GPAI-modellen en heb je affiniteit met toepasselijke wet- en regelgeving (AI-verordening, Digitale Dienstenwet);
142
-
* Draag je schriftelijk bij aan o.a. technisch en/of juridische analyses, presentaties, beschrijvingen van bevindingen over GPAI-modellen;
142
+
* Draag je schriftelijk bij aan o.a. technisch en/of juridische analyses, presentaties, beschrijvingen van bevindingen over GPAI-modellen en generatieve AI-systemen;
143
143
* Licht je door Algorithm Audit opgedane inzichten in begrijpelijke taal toe, zodat deze met de samenleving, beleidsmakers en juristen kunnen worden gedeeld;
144
144
* Zie jij kansen voor nieuwe werkzaamheden op het gebied van de evaluatie van GPAI-toepassingen en draag je bij aan business development.
145
145
146
-
<spanstyle="color:#005AA7">Merk op:</span> Bovenstaande lijst is het profiel van een ideale kandidaat. Voldoe je aan enkele kenmerken en denk je de andere skills in korte tijd bij te kunnen leren, solliciteer en licht dit toe in je brief!
146
+
<spanstyle="color:#005AA7">NB:</span> Bovenstaande lijst is het profiel van een ideale kandidaat. Voldoe je aan enkele kenmerken en denk je relatief snel naar dit functieprofiel toe te kunnen groeien, solliciteer en licht dit toe in je brief!
147
147
148
148
De exacte invulling van de werkzaamheden worden nader met het team afgestemd.
149
149
150
-
#### Thematische werkzaamheden
151
-
152
-
Binnen het team verdelen we de werkzaamheden. Afhankelijk van je ervaring en affiniteit krijg je een eigen takenpakket. De volgende onderwerpen zijn voorbeelden van thema’s waaraan Algorithm Audit werkt:
153
-
154
-
* Implementatie van de AI-verordening:
155
-
* Verdiepen in wettekst en koppeling maken tussen concepten uit de wet en de algoritmische praktijk;
156
-
* Verdiepen in standaarden, inhoudelijke evaluatie van AI-systemen en de rapportage hierover;
157
-
* Inzichten verwerken in Algorithm Audit’s open source AI en algoritmes kwalificatietoolkit (AI AQT), incl. business development
158
-
* Socio-technologische evaluatie van Large Language Models (LLMs):
159
-
* Begrip van kerncomponenten uit LLM-applicaties, zoals embeddings, Retrieval-Augmented Generation (RAG), knowledge bases, chunking etc.;
160
-
* Opstellen van domein-specifieke evaluatiecriteria voor LLM-toepassingen;
161
-
* Pro-actief contact leggen en onderhouden met LLM-gemeenschap in Nederland en Europa die zich verdiepen in socio-technologische evaluatie van LLM-toepassingen.
162
-
* Non-discriminatie en bias-analyse:
163
-
* Verdiepen in algoritmische discriminatie en non-discriminatierecht;
164
-
* Uitvoeren van bias toesten;
165
-
* Doorontwikkelen van methodologie voor het toetsen en voorkomen van algoritmische discriminatie.
166
-
167
150
#### Vaardigheden
168
151
169
-
* 2-8 jaar werkervaring, waarvan ten minste 1 jaar ervaring met het evalueren van GPAI-toepassingen;
152
+
* 2-8 jaar werkervaring, waarvan ten minste 1 jaar ervaring met het evalueren van GPAI-toepassingen en/of generatieve AI-toepassingen;
153
+
* Kennis, kunde en praktijkervaring met specifieke benchmark-frameworks, zoals Hugging Face, Inspect AI, LM Eval, DeepEval, LangSmith, etc
170
154
* Ervaring met het bouwen van RAG-applicaties, foundation models en/of guardrails is een pré
0 commit comments