De Weapons of Math Destruction worden steeds krachtiger

In dit artikel:

In 2016 waarschuwde wiskundige Cathy O’Neil in Weapons of Math Destruction al dat wiskundige modellen schadelijke maatschappelijke effecten kunnen veroorzaken. Tien jaar later concludeert Jan‑Peter Soenveld dat weinig is veranderd en dat algoritmes, mede door de opkomst van krachtige AI, alleen maar invloedrijker en risicovoller zijn geworden. Een illustratief voorbeeld: voorspellende politietools die op historische data hotspots bepalen. Die systemen nemen bestaande vooroordelen over, leiden tot disproportionele controles op zwarte en latino‑gemeenschappen en creëren een geografische feedbackloop waarin toenemende surveillance meer gedetecteerde delicten en dus nóg meer surveillance veroorzaakt.

Soenveld benadrukt dat algoritmes nooit neutraal zijn — O’Neil stelde het treffend als “modellen zijn meningen verpakt in wiskunde” — omdat ze waarden en fouten van makers en trainingsdata weerspiegelen. Dergelijke systemen hebben al schadelijke gevolgen gehad, onder meer in Nederland bij het toeslagenschandaal. Daarnaast maakt commerciële geheimhouding van modellen het publiek en politici lastig in te grijpen; de invloed van grote techbedrijven ondermijnt vaak strenge regulering, merkt Soenveld op met verwijzing naar het verzwakte AI Act‑proces in Europa.

De auteur waarschuwt ook voor nieuwe vormen van manipulatie via machine learning waarmee commerciële actoren kwetsbaarheden van mensen kunnen uitbuiten, en voor een toegenomen automatiseringsbias: mensen die onkritisch vertrouwen op uitkomsten van systemen zoals ChatGPT. Zijn oproep is helder: er is behoefte aan passende wet‑ en regelgeving, meer ethiek in datawetenschap, scherpe controle van zowel input als output van modellen en grotere transparantie. Algoritmes kunnen waarde toevoegen, maar alleen als ze zorgvuldig, kritisch en moreel verantwoord worden ingezet.