In de Verenigde Staten laten rechters belangrijke standaardbeslissingen op grote schaal over aan software. Recent heeft een veroordeelde beroep aangetekend tegen een vonnis omdat hij noch de rechter in staat was de criteria waarmee de software werkte in te zien.

Gedrag

Rechters in de Verenigde Staten gebruiken de software bij beslissingen over borgsommen, strafmaat en tijdelijke en voorwaardelijke invrijheidsstellingen. Het zijn beslissingen waarbij het risico dat een delinquent in de fout gaat moet worden ingeschat. De software werkt onder meer aan de hand van in de software ingevoerde indicatoren en van vragenlijsten die de verdachte heeft ingevuld. De software is te vergelijken met die (bijvoorbeeld) Google en Spotify gebruiken om te leren van gedrag van klanten.

De software wordt door het ministerie van Justitie in de VS ingekocht bij particuliere bedrijven. Er dreigt een probleem, stellen critici, omdat blijkt dat de software niet transparant is.

Vragenlijst

Er is in de Verenigde Staten geen wet die precies omschrijft hoe de software werkt, zoals bijvoorbeeld bij flitsapparatuur wel het geval is. In feite zijn de systemen dus een zwarte doos waarvan geen ambtenaar weet wat er zich binnenin afspeelt.

In staat Wisconsin speelde een zaak van een zekere Eric Loomis die schuldig was bevonden aan een drive by-shooting. Hij beantwoordde een lange vragenlijst die in de software werd ingevoerd. De rechter gaf Loomis vervolgens een relatief lange straf op basis van de uitkomst van wat de computer bepaalde.

Loomis kwam daartegen in verweer. Hij betoogde dat de reden waarom zijn straf zo hoog was uitgevallen door de rechter niet kon worden duidelijk gemaakt. Het hooggerechtshof van de staat Wisconsin stelde hem echter in het ongelijk. Loomis zal de zaak waarschijnlijk doorzetten naar het federale Hooggerechtshof.

Uitleggen is onmogelijk

Computerspecialisten in de VS hebben erop gewezen dat teveel vertrouwen op software risico’s met zich meebrengt op het gebied van veiligheid en justitie.

Hierbij speelt een principieel probleem. Kunstmatige intelligentie – dat is software (“algoritmes”) die net als menselijke hersens in staat is om te leren – is per definitie niet transparant. Dus als een rechter een software-ontwikkelaar als getuige-deskundige zou horen kan deze alleen vertellen hoe een netwerk is ontworpen en welke input het systeem kreeg. Uitleggen hoe het proces van besluitvorming werkt is onmogelijk.

De waarde van de risico-inschatting door de software kan een rechter dus nooit inschatten. En hij kan eigenlijk dus ook geen verantwoordelijkheid nemen voor het besluit van de software. In de VS stellen software-deskundigen dat het gebruik van de software moet worden stopgezet.

Zie meer in Wired.