Zelfs bij de interpretatie van forensisch bewijs is bias een factor van invloed

We hebben allemaal wel eens een aflevering van CSI gezien, waarin een moord opgelost wordt door onomstotelijk forensisch bewijs te koppelen aan de dader. Het net is gesloten, dat wordt brommen!

Uit studies van Itiel Dror (beschreven in Science) blijkt echter dat ook in dit zo onomstotelijk lijkende vakgebied sprake kan zijn van bias.

Bias is niet altijd hetzelfde als een vooroordeel, maar het kan wel zorgen voor onrecht. In de forensische wetenschap kan bias onbewust invloed hebben op experts die de data op zo’n manier interpreteren dat het iemand extra verdacht maakt.

Itiel Dror liet met verschillende studies zien dat het verhaal dat bij vingerafdrukken wordt meegegeven aan de experts grote invloed kan hebben op het oordeel of twee vingerafdrukken al dan niet een match zijn. Vingerafdrukken, we gingen er toch vanuit dat die uniek zijn en sluitend bewijs kunnen vormen? Niet altijd dus. “Vingerafdrukken liegen niet, maar ze spreken ook niet.”

Gelukkig is er dan nog het onfeilbare DNA-bewijs. Ook niet. Science haalt de zaak van Kerry Robinson aan, die beschuldigd werd van deelname aan een groepsverkrachting in Georgia. Hij werd veroordeeld op basis van een verklaring van de hoofdverdachte en de verklaring van twee DNA experts die stelden dat ook Robinson’s DNA aangetroffen was in een mengeling van DNA van verschillende personen. De jury veroordeelde hem tot 20 jaar cel. Na de rechtszaak werd het DNA bewijsmateriaal naar 17 DNA experts gestuurd die niets met de zaak te maken hadden en 16 van hen gaven aan dat het óf niet het DNA van Robinson kon zijn óf dat ze niet konden bepalen of Robinson’s DNA was aangetroffen. Zelfs DNA analyse – de ‘Gouden Standaard’ van de forensische wetenschap – is dus onderhevig aan bias.

In de loop van de jaren hebben Dror en andere onderzoekers zo’n beetje overal waar ze keken bias aangetroffen. Niet om met een beschuldigende vinger te wijzen, maar om bewustwording te creëren en verbetering te bewerkstelligen. Na gesprekken met Dror is onder andere de Nederlandse politie begonnen met het afschermen van vingerafdrukexperts van andere informatie over een zaak, zodat zij daar niet door beïnvloed worden.

De moraal van dit verhaal: bias kan overal de kop opsteken, ook op plaatsen waar je het helemaal niet verwacht.

Uitkomsten van voorspellende modellen die we in het domein van Machine Learning bouwen zijn daar geen uitzondering op. En bij black box modellen kunnen we vaak niet eens terugzien waar de beoordelingen op gebaseerd zijn, wat het ontrafelen van de aard van bias nog moeilijker maakt.

Toch is naar mijn mening het in de ban doen van deze modellen dan niet de oplossing; zelfs de black box in het hoofd van de forensisch expert blijkt tenslotte onderhevig te zijn aan bias, zo heeft Dror aangetoond.

Wat dan wel te doen als we modellen bouwen? Alles valt of staat met het juiste design en dan vooral het selecteren van de juiste data. Een model is namelijk zelf niet gebiased (waar een mens dat wel zelf is!), het zijn de data die het gevoed krijgt die voor bias zorgen. Data zonder bias zijn de grondstof voor modellen zonder bias.

Advertentie

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit /  Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit /  Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit /  Bijwerken )

Verbinden met %s

%d bloggers liken dit: