Search Results

Met de opkomst van Large Language Models (LLMs) zoals ChatGPT groeit de behoefte aan duidelijk beleid rondom veiligheid en privacy. Deze krachtige tools kunnen enorme voordelen bieden, maar brengen ook risico’s met zich mee die we niet mogen negeren. In dit artikel bespreek ik belangrijke aandachtspunten en concrete maatregelen om veilig en compliant te blijven. Privacy: Hoe Blijf je Compliant? Privacy is een fundamenteel recht, en wetgeving zoals de GDPR  (General Data Protection Regulation) stelt strikte eisen aan de verwerking en opslag van persoonsgegevens. Volgens de GDPR mogen persoonsgegevens van Europeanen alleen buiten de EU worden verwerkt als er passende beschermingsmechanismen zijn geïmplementeerd. Dit betekent dat je als organisatie goed moet weten waar  de servers van je AI-provider staan. Praktijkvoorbeeld: Stel dat een medewerker notulen van een vergadering samenvat met een LLM zoals ChatGPT. Als deze notulen namen en contactgegevens bevatten, mag dit niet zomaar met een standaard AI-tool gedeeld worden waarvan de servers buiten Europa staan. De oplossing? Anonimiseer de data of gebruik een dienst die in Europa gehost wordt, zoals bijv. Azure OpenAI of een Gemini server van Google. Maatregelen om compliant te blijven • Gebruik AI-tools met servers binnen de EU . • Controleer of providers voldoen aan GDPR-richtlijnen. • Deel geen persoonsgegevens tenzij strikt noodzakelijk. Door deze stappen te volgen, blijf je binnen de grenzen van de wet en bescherm je gevoelige gegevens. Security: Bescherm je Gegevens Naast privacy speelt security  een even grote rol bij het gebruik van LLMs. Onbedoelde datalekken of onjuist gebruik kunnen ernstige gevolgen hebben. Data niet voor training gebruiken Veel AI-providers gebruiken ingevoerde data voor modeltraining. Organisaties moeten er zeker van zijn dat hun gegevens niet onbedoeld worden opgeslagen of hergebruikt. • Schakel opties uit die datagebruik voor training toestaan. • Lees de voorwaarden van de AI-provider zorgvuldig door. Gebruik van open-source modellen Voor maximale controle kun je kiezen voor open-source LLMs  die je lokaal op je eigen servers draait. Dit voorkomt dat data buiten je organisatie terechtkomt. Modellen zoals LLaMA 3  of andere open-source alternatieven kun je op je eigen computer installeren zodat de data die door de LLM verwerkt worden de eigen computer niet eens hoeven te verlaten. Je kunt dan confidentiele documenten analyseren, zelfs als de computer afgesloten is van het internet. Data-anonimisatie en synthetische data Je kunt er ook voor zorgen dat je de ‘echte’ data niet naar een LLM stuurt door het gebruik van anonieme  of synthetische data  : • Anonimiserng:  Verwijder alle persoonlijke kenmerken voordat data wordt gedeeld met een LLM • Synthetische data:  Gebruik fictieve data die dezelfde structuur heeft als echte data. Voorbeeld: Een data-analist die LLM een grafiek wil laten genereren voor een interne presentatie. In plaats van echte klantdata, maakt de analist een synthetische dataset met dezelfde opbouw en laat de LLM daarmee de code voor de grafiek genereren. Daarna vervangt hij de synthetische data door de echte data om de gevraagde grafiek te genereren. Het risico op blootstelling van gevoelige informatie is daarmee uitgesloten. Overige maatregelen • Zorg voor encryptie bij data-overdracht. • Beperk toegang tot LLM-tools tot geautoriseerde gebruikers. • Voer regelmatige audits uit om compliance en beveiliging te toetsen. Transparantie van AI-providers: Vertrouwen door Duidelijkheid Vertrouwen in AI begint bij transparantie. Een betrouwbare provider communiceert openlijk over: • Dataverwerking : Hoe en waarom data wordt gebruikt. • Opslaglocaties : Waar je gegevens fysiek worden opgeslagen. • Beveiliging : Welke maatregelen worden getroffen, zoals encryptie of toegangscontrole. Praktische tips bij het kiezen van een provider: 1. Kies AI-providers die voldoen aan lokale wet- en regelgeving zoals GDPR. 2. Controleer of de provider onafhankelijke beveiligingsaudits uitvoert en transparant is over de resultaten. 3. Vraag expliciet na of jouw data wordt gebruikt voor modeltraining en hoe je dit kunt uitschakelen. Gebruikerseducatie: Bewustwording van Gegevensdeling Geen enkel beveiligingsbeleid is effectief zonder goed geïnformeerde gebruikers. Gebruikerseducatie speelt daarom een cruciale rol in het voorkomen van onbedoelde risico’s. Wat gebruikers moeten weten 1. Wat je wel en niet mag delen:  Gebruikers moeten begrijpen dat privacygevoelige data, zoals namen of financiële informatie, nooit zonder voorzorgsmaatregelen met een LLM mag worden gedeeld. 2. Gebruik van synthetische data:  Train medewerkers om synthetische data te gebruiken bij het testen of uitvoeren van taken met LLMs. 3. Herkennen van risico’s:  Leer gebruikers om verdachte of onveilige situaties te herkennen, zoals tools die meer data vragen dan noodzakelijk. Voorbeeld van gebruikersbewustzijn: Een medewerker die klantcontracten samenvat met een LLM moet altijd eerst de documenten anonimiseren en controleren of er geen vertrouwelijke informatie gedeeld wordt. Conclusie LLMs bieden enorme kansen om productiviteit en efficiëntie te verhogen, maar vragen om zorgvuldigheid bij het gebruik ervan. Door privacy- en securitymaatregelen te implementeren, samen te werken met transparante providers en te investeren in gebruikerseducatie, kunnen organisaties optimaal profiteren van LLMs zonder hun veiligheid in gevaar te brengen. Door de focus te leggen op de keuze voor de juiste modellen, data-anonimisatie , synthetische data  en bewuste gebruikers , zorg je ervoor dat je LLMs veilig kunt gebruiken.

Met de opkomst van LLMs is AI toegankelijk geworden voor iedereen. Niet langer heb je zelf veel data en computercapaciteit nodig om een AI te trainen, je kunt nu gebruik maken van de “pre-trained” LLMs om je eigen AI-toepassingen te bouwen. Ik merk daarbij in de praktijk dat veel organisaties wel interesse hebben, maar toch niet durven te beginnen. Dat heeft er vaak mee te maken dat men bang is voor de risico’s die gezien worden voor de toepassing van AI. Zo is er veel aandacht geweest in de pers voor hallucinerende LLMs: LLMs die perfect lijkende teksten schrijven, maar die complete onzin blijken te zijn. Of is men bang dat de gegevens die men in de LLM stopt, gebruikt worden voor andere doeleinden. Of dat persoonsgegevens Europa verlaten waardoor men niet compliant met GDPR is. Deze angsten zijn deels terecht: er is nog niet veel ervaring met LLMs en bij ondeskundige inzet kunnen inderdaad deze verkeerde effecten ontstaan. Maar we kunnen vandaag zeker ook al LLM toepassingen maken die we wel met vertrouwen kunnen gebruiken. Om te begrijpen hoe LLMs werken, moeten we even terug naar waarom LLMs eigenlijk ontwikkeld zijn. Dat begint met het begrip AI, Artificial Intelligence. Computerwetenschappers noemen het kunstmatige intelligentie als een computer dingen kan die mensen vaak uit zichzelf kunnen (of van kinds af aan geleerd hebben). Bijvoorbeeld het herkennen van objecten in plaatjes, als mens zien we direct het verschil tussen een auto en koe, of het verstaan van en produceren van menselijk taal. Alhoewel dit voor mensen eenvoudige opgaven zijn, waren deze opgaven tot een paar jaar geleden voor computers bijkans onmogelijk. Om de taalvaardigheid van computers te trainen, zijn er computermodellen gemaakt die men  het hele Internet heeft laten lezen. Door hiervoor neurale netten te gebruiken (kom ik in een ander artikel op terug) kan de computer op een gegeven moment menselijke taal begrijpen en produceren (ook op ‘begrijpen’ kom ik later terug). We kunnen elke dag merken dat computers beter menselijke taal begrijpen als we in de auto tegen de navigatie praten of een assistent als Siri op onze iPhone opdrachten geven. Echter, zoals aangegeven, om dit begrip van taal te krijgen, hebben ze dus heel veel teksten gelezen en daarmee ook ‘kennis’ opgedaan. Ze hebben zeker teksten gelezen over dat Amsterdam de hoofdstad van Nederland is, dus als je daarnaar vraagt heb je grote kans dat je het goede antwoord krijgt. Het wordt al wat moeilijker bij de hoofdstad van Duitsland want de LLM heeft hoogstwaarschijnlijk zowel teksten gelezen waarin Berlijn de hoofdstad is als teksten waarin Bonn de hoofdstad is. Je kunt dan niet perse op het antwoord vertrouwen. Daarom zou ik op dit moment bij het bouwen van LLM-applicaties alleen de taalverwerkingscapaciteit gebruiken en zorgen dat geen gebruik gemaakt wordt van de feitenkennis in de LLM. Als we onszelf die beperking opleggen, zijn er toch aal heel veel applicaties die we nu al kunnen inzetten. Dat kan bijvoorbeeld door chatbots te bouwen waarbij de LLM gedwongen wordt om  vragen te beantwoorden op basis van de documenten die aan de chatbot gekoppeld zijn, en de chatbot te verbieden antwoord te geen als het antwoord niet in de documenten terug te vinden is. De grote verbetering van LLM-gebaseerde chatbots over de traditionele chatbots is dat de AI technologie de chatbot in staat stelt om de intentie, de mening van de vraag te begrijpen, en daarop antwoord te geven, terwijl de traditionele chatbot alleen bij een vraag die precies geformuleerd is als in de lijst met vraag - antwoord - paren, antwoord kan geven. De AI gebaseerde chatbot begrijpt daarom beter de vragen en kan beter antwoorden geven. Het bekendste voorbeeld van succes met een AI chatbot is Klarna. Hun chatbot maakt klanten inderdaad blijer omdat vragen beter beantwoord worden en omdat de klanten niet 11 minuten bezig zijn om antwoord te krijgen op hun vragen, maar slechts 2 minuten. Voor Klarna is het een succes omdat de chatbot het werk doet van 700 medewerkers en jaarlijks 40 miljoen kosten bespaart. Andere use cases voor het gebruik van enkel de de taalkwaliteiten van een LLM zijn het samenvatten van documenten en het analyseren van documenten om daar gestructureerde data uit te halen. Zo hebben we bij EPSA een applicatie ontwikkeld die facturen kan analyseren en op de juiste kostenpost kan boeken en een applicatie om contracten te analyseren. Door LLMs op deze wijze te gebruiken, kunnen we vandaag al AI toepassingen maken die we kunnen vertrouwen.

Het AllEyesOnAutomation-seminar, georganiseerd door hyperautomation consultancy Roboyo , vond plaats in Berlijn en omvatte presentaties van bedrijven die AI-toepassingen in hun dagelijkse werkzaamheden gebruiken. Er werden verschillende interessante voorbeelden gedeeld: In Berlijn vond het AllEyesOnAutomation seminar plaats. Op het podium presentaties van bedrijven die AI toepassingen dagelijks gebruiken. Een aantal interessante voorbeelden: Investeerder Permira  gebruikt AI voor analyse van potentiele investeringen. Ze hebben een trainingsprogramma waarbij alle medewerkers leren om goed te prompten, zodat ze betere antwoorden krijgen op hun vragen. Ze hebben daarnaast een serie voorbeeldprompts voor typische taken gemaakt die medewerkers kunnen gebruiken als startpunt voor hun prompts. Hiermee wordt de analyse van potentiele investeringen en van de bedrijven in hun portfolio veel beter. Niet alleen kunnen ze nu een veel grotere hoeveelheid documenten meenemen in hun beeldvorming, maar ze gebruiken het ook om biases zo veel mogelijk te voorkomen. Omdat LLMs ook het sentiment van een tekst kunnen herkennen, kan dat meegenomen worden in de beeldvorming. De Portugese bank Millenium BCP  presenteerde een case over het van kop tot staart automatiseren van hun processen. Waar dat eerste met OCR en RPA gedaan werd, wordt dat respectievelijk vervangen door gebruiken LLM en APIs. Software-ontwikkelaar Rainbird  heeft een explainable AI ontwikkeld. Door gebruik te maken van graph databases waarin de kennis opgeslagen wordt, kan een chatbot gemaakt worden die niet alleen goed antwoord geeft op vragen, maar ook kan uitleggen waarom dat antwoord goed is. Deze technologie wordt vooral toegepast in om zeker te weten dat de chatbot antwoorden geeft in geval van complex beleid waarbij niet direct een eenduidig antwoord beschikbaar is. Denk bijvoorbeeld aan overheidsregelingen en verzekeringspolissen. De technologen zorgt ervoor dat de antwoorden conform policy zijn. Wat in alle gevallen duidelijk was, is dat de voorlopers op genAI gebied die voorsprong niet sinds de opkomst van genAi opgebouwd hebben, maar al veel eerder begonnen zijn. Ze hebben hun data op orde en hun processen al zo ver mogelijk geautomatiseerd. Dan is er een goede voedingsbodem voor toepassing van AI, en kan met AI op relatief korte termijn aanzienlijke verbeteringen gerealiseerd worden.