Les logiciels utilisés dans les décisions de justice répondent à ses égaux en amateurs aléatoires

Les logiciels utilisés dans les décisions de justice sont équivalents chez les amateurs aléatoiresUNE dam Jones, Ph.D.

En 2016, ProPublica a fait sensation en évaluant les résultats la performance des logiciels utilisés dans la justice pénale procédure. Le logiciel, qui est utilisé pour évaluer le défendeur chance de commettre d’autres crimes, s’est avéré produire des résultats différents lors de l’évaluation des Noirs et des Caucasiens.

L’importance de cette divergence fait toujours l’objet de débat, mais deux chercheurs du Dartmouth College ont demandé à un question plus fondamentale: le logiciel est-il bon? La réponse ils sont venus avec “pas spécialement”, car sa performance pourrait être jumelé en recrutant des personnes sur Mechanical Turk ou en effectuant une analyse simple qui ne prend en compte que deux facteurs.

Logiciel et biais

Le logiciel en question s’appelle COMPAS , pour Correctional Profilage de la gestion des délinquants pour des sanctions alternatives. Ça prend prendre en compte une grande variété de facteurs concernant les accusés et leurs utilisations qu’ils évaluent si ces personnes sont susceptibles de commettre crimes supplémentaires et aide à identifier les options d’intervention. COMPASest fortement intégré au processus judiciaire (voir ce document du California Department of Corrections pour une idée de sa importance). Mais ce qui est peut-être le plus significatif, c’est parfois influent dans la détermination de la peine, qui peut être basée sur la idée que les personnes susceptibles de commettre des crimes supplémentaires devraient être incarcéré plus longtemps.

L’évaluation du logiciel par ProPublica s’est concentrée sur les arrestations en Comté de Broward, Floride. Il a constaté que le logiciel avait les mêmes précision quand il est venu à prédire si noir et caucasien les accusés récidiveraient. Mais les faux positifs – les cas où le logiciel prédit une autre infraction qui ne s’est jamais produite – ont été deux fois comme susceptible d’impliquer des accusés noirs. Les faux négatifs, où les accusés devaient rester exempts de crime mais ne l’ont pas fait, étaient deux fois plus susceptibles d’impliquer des Blancs.

Mais par d’autres mesures, le logiciel ne présentait aucune indication de biais (y compris, comme indiqué ci-dessus, sa précision globale). Alors le L’importance de ces résultats est restée un sujet de préoccupation. débat.

Les chercheurs de Dartmouth, Ja Dressel et Hany Farid, ont décidé ne pas se focaliser sur les biais, mais sur la précision globale. Pour ce faire, ils pris les dossiers de 1 000 accusés et extrait leur âge, sexe, et antécédents criminels. Celles-ci ont été divisées en groupes de 20 et Mechanical Turk a été utilisé pour recruter des personnes qui devaient deviner la probabilité que chacune des 20 personnes s’engage un autre crime dans les deux prochaines années.

Sagesse des Turcs Mécaniques

En regroupant ces résultats, ces personnes avaient une précision moyenne de 62 pour cent. Ce n’est pas trop loin de la précision de COMPAS, qui était 65 pour cent. Dans ce test, plusieurs personnes ont évalué chaque le défendeur, les auteurs les ont mis en commun et ont pris la majorité avis en tant que décision. Cela a porté la précision à 67%, à la limite de COMPAS. Autres mesures des Turcs Mécaniques la précision a suggéré qu’ils étaient aussi bons que le logiciel.

Les résultats étaient également similaires en ce qu’il n’y avait pas de traitement significatif. différence entre leurs évaluations de noir et de caucasien les accusés. Il en était de même lorsque les auteurs ont présenté un exposé similaire. ensemble d’enregistrements à un nouvel ensemble de personnes, mais cette fois inclus informations sur la race du défendeur. Donc, en termes de précision, ces personnes inexpérimentées étaient à peu près aussi bonnes que le Logiciel.

Mais ils étaient aussi à peu près aussi mauvais, car ils étaient aussi plus susceptibles faire de faux positifs quand le défendeur était noir, mais pas � dans la même mesure que COMPAS (un taux de faux positifs de 37% Noirs, contre 27% pour les Blancs). Le faux négatif taux, où les accusés étaient prévus pour ne pas récidiver mais a fait, était également plus élevé chez les Caucasiens (40%) que chez les Noirs (29 pour cent). Ces chiffres sont remarquablement similaires aux taux de Les erreurs de COMPAS. Y compris les données de course sur les accusés n’a pas fait une différence significative.

Si l’algorithme pouvait correspondre à ce qui est presque certainement un groupe d’amateurs, Dressel et Faridreasoned, c’est peut-être parce que ce n’est pas spécialement bon. Alors ils ont fait une série de simples tests statistiques (régressions linéaires) utilisant différentes combinaisons des données qu’ils avaient sur chaque accusé. Ils ont découvert qu’ils pouvaient correspondre à la performance de COMPAS en utilisant seulement deux: l’âge du défendeur et le nombre total de condamnations antérieures.

Ce n’est pas tout à fait un choc comme il semble être. Dresselet Farid font une grosse affaire de l’affirmation selon laquelle COMPAS est censé prend en compte 137 facteurs différents lors de la prédiction. Adéclaration d’Equivant, la société qui fabrique le logiciel, souligne que ces 137 servent uniquement à évaluer les interventions; la prévision de la récidive utilise seulement six facteurs. (Le reste de la déclaration distille jusqu’à “cela montre que notre logiciel est tout à fait bien. “) Dressel et Farid reconnaissent également que la nouvelle arrestation est une mesure imparfaite de l’activité criminelle future, comme certains crimes ne le font pas des arrestations, et il existe des préjugés raciaux importants dans taux d’arrestation.

Que faire de tout cela revient à savoir si vous êtes à l’aise d’avoir un processus qui ne va pas environ un tiers du temps influencer des choses comme le temps que les gens passent en prison. À pour le moment, cependant, il n’ya aucune preuve de ce qui est plus efficace que cela.

Science Advances, 2017. DOI: 10.1126 / sciadv.aao5580 (À propos de DOIs).

Like this post? Please share to your friends:
Leave a Reply

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: