Erg interessant en goed geschreven toegankelijk boek over algoritmen. Predictive models are increasingly the tools we will be relying on to run our institutions, deploy our recourses and manage our lives, schrijft Cathy O'Neil in de conclusie van haar boek (pag 218). Daarom is het belangrijk om de begrijpen wat algoritmen zijn, hoe ze gemaakt worden en waar ze gebruikt worden.
Models are opinions embedded in mathematics. We moeten altijd blijven begrijpen dat onze eigen opinies en vooroordelen worden geprogrammeerd in algoritmische modellen.
- The computer learned from the humans how to discriminate and it carried out this work with breathtaking efficiency (p116).
- The algorythms would make sure that these deemed losers would remain that way. (p48).
- And what crimes did the model predict? Nuisance crimes. A drunk will pee on the same wall day in and day out (p73).
Dit herken ik van mijn werk. Mensen krijgen boete op boete voor dezelfde kleine overtreding; ergens zitten met en blikje bier wat niet mag, of wildplassen. Die boetes worden verstuurd door gecomputeriseerde systemen, er komt geen mens meer aan te pas. Niemand ziet het, niemand stuurt, en niemand vraagt zich af wat er anders gedaan kan worden. The effect is that we criminalize poverty (p91).
Deze modellen worden gebruikt door bedrijven en gemaakt door bedrijven, met het oogmerk op welke manier dan ook winst te maken. Daar gaat veel geld in om. While spending more than $ 50 million on Google adds alone, the univeristy of Phoenix targeted poor people with a bait of upward mobility. Vaak worden, net als bij advertenties, mensen met problemen misbruikt om een universiteit, een cursus, iets, aan te smeren. Many people unwittingly disclose these pain points when they look for anwsers on Google (p73). Dat kunnen we verkeerd of goed gebruiken, volgens Cathy O'Neil, en dat is onze keuze. Mathematical models can sift through data to locate people who are likely to face great challenges [...] It's up to society wether to use that inteligence to reject and punish them, or to reach out to them with the recourses they need (p118)
Vaak is het doel van het algoritme niet de winst van het bedrijf. Today, the succes of a model is often measured in terms of profit, efficiency or default rates (p206) Zolang het model efficient is en geld oplevert wordt het gezien als een goed en succesvol model, ongeacht of de data die eruit voort vloeit correct zijn.
Modellen lijken volkomen eerlijk en transparant, maar zijn in werkelijkheid zwarte dozen. Wie weet nog wat er in gaat en welke regels er zijn voor wat er uit komt? My point is that oceans of behavioral data, in coming years, will feed straight into AI systems. And these will, to human eyes, be black boxes. (p172) Privacy it the world of WMD's is increasingly a luxury that only the wealthy can affort. (p170)
Daarom zouden algoritmes transparant moeten zijn. We zouden de uitkomsten altijd moeten kunnen aanvechten. Each of us should have access to the information being used to compute that score. If it is incorrect, weh should have the right to challenge and correct it (p213)
Als algoritmen gebruikt worden zouden mensen erop toe moeten zien dat de regels redelijk en eerlijk zijn. Wij denken vaak dat algoritmen eerlijker zijn dan mensen. Maar sifting through data and judging what is fair is utterly foreign to them and enormously complicated. Only humans can impose that constrait. (p155)
We moeten strikte regels stellen aan het verkrijgen van data van mensen. Zoals gezegd; Many people unwittingly disclose these. En we moeten regels stellen aan waarvoor we welke data mogen gebruiken. Veel banken mogen maar beperkt data gebruiken om credit scores te maken. Maar tech bedrijven omzeilen dit. All data is credit data (p 158). Misschien is het nog wel groter: alle data is gebruiksdata.
We zouden de uitkomsten van algoritmen moeten gebruiken ten goede, om mensen te helpen in hun struggles in plaats van ze te straffen voor hun armoede.
