Las herramientas algorítmicas son de uso generalizado en todo el sistema de justicia penal en la actualidad. Los algoritmos de vigilancia predictiva, incluidos PredPol y HunchLab, informan el despliegue policial con estimaciones de dónde es más probable que ocurra el delito.1Patternizr es una herramienta de reconocimiento de patrones del Departamento de Policía de Nueva York que ayuda a los detectives a descubrir automáticamente delitos relacionados.2Los departamentos de policía también usan software de reconocimiento facial para identificar posibles sospechosos a partir de imágenes de video.3Los fiscales de distrito de Chicago y Nueva York han aprovechado los modelos predictivos para enfocar los esfuerzos de enjuiciamiento en las personas de alto riesgo.4En San Francisco, el fiscal de distrito utiliza un algoritmo que oculta la información racial de los materiales del caso para reducir el sesgo en las decisiones de acusación.5 6
Una clase de herramientas algorítmicas, llamadas instrumentos de evaluación de riesgos (RAI), están diseñadas para predecir el riesgo futuro de mala conducta de un acusado. Estas predicciones informan decisiones judiciales de gran importancia, como la posibilidad de encarcelar a una persona antes de su juicio. Por ejemplo, un RAI llamado Evaluación de seguridad pública (PSA) considera la edad y el historial de mala conducta de una persona, junto con otros factores, para producir tres puntajes de riesgo diferentes: el riesgo de que sean condenados por cualquier delito nuevo, el riesgo de que serán condenados por un nuevo delito violento y el riesgo de que no se presenten ante el tribunal.7Un marco de toma de decisiones traduce estos puntajes de riesgo en recomendaciones de condiciones de liberación, con puntajes de riesgo más altos correspondientes a condiciones de liberación más estrictas. Los jueces pueden ignorar estas recomendaciones si parecen demasiado estrictas o demasiado laxas. Otras RAI influyen en una amplia variedad de decisiones judiciales, incluidas las decisiones de sentencia y los requisitos de libertad condicional y libertad condicional.
Los RAI algorítmicos tienen el potencial de aportar coherencia, precisión y transparencia a las decisiones judiciales. Por ejemplo, Jung et al. simuló el uso de un RAI simple al estilo de una lista de verificación que solo consideró la edad del acusado y su número de fallas anteriores para comparecer.8Los autores señalaron que los jueces en una jurisdicción no divulgada tenían tasas de liberación muy variables (desde aproximadamente el 50% hasta casi el 90% de las personas liberadas). Los autores encontraron que si los jueces hubieran utilizado su modelo propuesto de estilo de lista de verificación para determinar la liberación antes del juicio, las decisiones habrían sido más consistentes en todos los casos y habrían detenido un 30% menos de acusados en general sin un aumento correspondiente en la mala conducta antes del juicio. Otros estudios han encontrado evidencia adicional de que los modelos estadísticos superan constantemente las decisiones humanas sin ayuda.9En contraste con la opacidad de la toma de decisiones humana tradicional, la naturaleza transparente de un modelo de estilo de lista de verificación, como el propuesto por Jung et al., También permitiría a los tribunales describir abiertamente cómo calculan el riesgo.10Estos beneficios, junto con la creencia general de que las decisiones importantes deben basarse en datos, han obligado a muchas jurisdicciones de todo el país a implementar RAI.
Paralelamente a su expansión por todo el país, los RAI también se han vuelto cada vez más controvertidos. Los críticos se han centrado en cuatro preocupaciones principales con los RAI: su falta de individualización, ausencia de transparencia bajo las afirmaciones de secretos comerciales, posibilidad de sesgo y preguntas sobre su verdadero impacto.11Un caso de la Corte Suprema de Wisconsin de 2016, Loomis contra Wisconsin , lidiaba con muchos de estos problemas. El peticionario, Eric Loomis, presentó varios argumentos en contra del uso de un RAI llamado Perfiles de gestión de delincuentes correccionales para sanciones alternativas (COMPAS) en su decisión de sentencia.12
Primero, Loomis sostuvo que su sentencia no fue individualizada. En cambio, afirmó que se basó en las tendencias históricas del grupo por la mala conducta, según lo evaluado por COMPAS. El tribunal no estuvo de acuerdo, argumentando que la decisión del juez no fue determinada únicamente por COMPAS, evitando las preocupaciones de individualización de Loomis. Aunque el tribunal hizo esta distinción, vale la pena señalar que tanto los humanos como los algoritmos aprenden del comportamiento histórico. Una predicción de riesgo para un individuo dado, ya sea de un juez o de una RAI, está, como resultado, anclada en el comportamiento histórico de individuos similares.
quien es galileo galilei
En segundo lugar, Loomis argumentó que la compañía que creó COMPAS se negó a revelar suficientes detalles sobre cómo el algoritmo calculó su puntaje de riesgo, lo que le impidió analizar la precisión de toda la información presentada en su sentencia. Muchos RAI pueden explicar exactamente cómo toman sus decisiones, una ventaja sobre la toma de decisiones humana tradicional. Sin embargo, los proveedores comerciales que venden RAI a menudo ocultan estos detalles detrás de las afirmaciones de secretos comerciales.13Si bien el tribunal no estuvo estrictamente de acuerdo con Loomis, argumentando que era suficiente observar las entradas y salidas de COMPAS, existen razones de peso para la transparencia y la interpretabilidad en contextos tan importantes.
Por ejemplo, aunque Loomis no conocía la estructura completa del modelo, sabía que incorporaba el género como factor, y argumentó que esto era discriminación. El tribunal no estuvo de acuerdo y enfatizó que incluir el género en el modelo ayudó a aumentar su precisión. Esto se debe al hecho de que, dados antecedentes penales similares, las tasas de reincidencia son estadísticamente más bajas para las mujeres que para los hombres.14De cualquier manera, el conocimiento de Loomis sobre el uso del género en el modelo le permitió desafiar su inclusión, un ejemplo de cómo la transparencia en los RAI puede ayudar a las partes interesadas a comprender mejor este proceso de toma de decisiones de alto riesgo.
Se han presentado otros cargos de discriminación contra los RAI (y los algoritmos de aprendizaje automático en general), señalando que pueden perpetuar y exacerbar los prejuicios existentes en el sistema de justicia penal.15Quizás la afirmación más notable apareció en un artículo de ProPublica de 2016 sobre el uso de COMPAS junto con las decisiones de detención preventiva en el condado de Broward, Florida.16El artículo concluyó que COMPAS estaba sesgado porque tuvo un peor desempeño en una medida de desempeño (tasas de falsos positivos) para las personas negras en comparación con las personas blancas. Sin embargo, otros investigadores han notado una falla estadística sustancial en los hallazgos de ProPublica: pueden explicarse matemáticamente por las diferencias en las tasas de ofensas subyacentes para cada raza sin requerir un modelo sesgado.17Cuando los investigadores aplican una medida tradicional de equidad del modelo, ya sea que las personas con el mismo puntaje de riesgo reincidan con el mismo índice, independientemente de la raza, la evidencia de discriminación racial desaparece.18
Aun así, la falta de pruebas no garantiza que no exista discriminación, y estas afirmaciones deben tomarse en serio. Una de las posibles fuentes de sesgo más preocupantes puede provenir de los resultados históricos que un RAI aprende a predecir. Si estos resultados son el producto de prácticas desleales, es posible que cualquier modelo derivado aprenda a replicarlos, en lugar de predecir el verdadero riesgo subyacente de mala conducta. Por ejemplo, aunque se ha estimado que los grupos raciales consumen marihuana a tasas aproximadamente iguales, históricamente los afroamericanos han sido condenados por posesión de marihuana en tasas más altas.19Un modelo que aprende a predecir las condenas por posesión de marihuana a partir de estos registros históricos clasificaría injustamente a los afroamericanos como de mayor riesgo, a pesar de que las verdaderas tasas de uso subyacentes son las mismas en todos los grupos raciales. La selección cuidadosa de resultados que reflejen las verdaderas tasas de delincuencia subyacente puede evitar este problema. Por ejemplo, es menos probable que un modelo que predice condenas por delitos violentos sea parcial, porque las condenas por delitos violentos parecen reflejar verdaderas tasas subyacentes de victimización.20
[Una] falta de evidencia no garantiza que no haya discriminación, y estas afirmaciones deben tomarse en serio.
Muchos dirían que un enfoque puro en el comportamiento algorítmico es demasiado limitado; que la pregunta más importante es cómo influyen las RAI en las decisiones judiciales en la práctica, incluida cualquier diferencia en los impactos por raza. Para ilustrar este punto, es útil pensar en dos posibles extremos. Es posible que no estemos tan preocupados por un RAI inexacto si los jueces lo ignoran categóricamente y no afecta su comportamiento. Por otro lado, un RAI perfectamente justo puede ser motivo de preocupación si los jueces lo utilizan de manera selectiva para justificar un tratamiento punitivo para las comunidades de color.
Aunque muchos estudios han simulado el impacto de los RAI, la investigación sobre su uso en el mundo real es limitada. Un estudio de RAI en Virginia entre 2012 y 2014 sugiere que la mala conducta previa al juicio y el encarcelamiento pueden reducirse al mismo tiempo.21Otro estudio examinó la implementación de 2014 de un PSA en el condado de Mecklenburg, Carolina del Norte, y encontró que su implementación coincidió con tasas de liberación más altas, mientras que las tasas de mala conducta antes del juicio no cambiaron.22Un tercer estudio examinó la implementación de los RAI en Kentucky entre 2009 y 2016, y encontró evidencia limitada de que la herramienta redujo las tasas de encarcelamiento.23El estudio encontró que el uso de un RAI por parte de un juez no tuvo un impacto desigual en los resultados entre los grupos raciales.
Cualquiera, incluido el personal ejecutivo, de planificación, gestión, análisis y desarrollo de software, que esté considerando el uso de algoritmos en la justicia penal, o cualquier contexto impactante de manera más amplia, debería prestar atención a estas preocupaciones al planificar políticas que aprovechen los algoritmos, en particular las que dirigen las decisiones de justicia penal.
el mejor momento para ver la lluvia de meteoros perseidas
Primero, los legisladores deben preservar la supervisión humana y la discreción cuidadosa al implementar algoritmos de aprendizaje automático. En el contexto de los RAI, siempre es posible que factores inusuales puedan afectar la probabilidad de conducta indebida de un individuo. Como resultado, un juez debe conservar la capacidad de invalidar las recomendaciones de un RAI, aunque esta discreción puede reducir la precisión y la coherencia. Una forma de equilibrar estas prioridades en competencia es exigir una explicación detallada cada vez que un juez se desvía de una recomendación de la RAI. Esto alentaría a los jueces a motivar conscientemente su decisión y desalentaría las desviaciones arbitrarias de las recomendaciones de una RAI. En general, los humanos siempre deben tomar la decisión final, y cualquier desviación que requiera una explicación y algún esfuerzo por parte del juez.
[] Los responsables de políticas deben preservar la supervisión humana y la discreción cuidadosa al implementar algoritmos de aprendizaje automático.
En segundo lugar, cualquier algoritmo que se utilice en un contexto de políticas de gran importancia, como las sentencias penales, debe ser transparente. Esto asegura que cualquier parte interesada pueda entender exactamente cómo se hace una determinación de riesgo, una ventaja distintiva sobre los procesos humanos de toma de decisiones. De esta manera, la transparencia puede ayudar a generar confianza y es un reconocimiento del papel que juegan estas herramientas en decisiones consecuentes e impactantes.
En tercer lugar, los algoritmos y los datos utilizados para generar sus predicciones deben examinarse cuidadosamente para detectar la posibilidad de que los resultados perjudiquen injustamente a cualquier grupo. Los jueces, fiscales y científicos de datos deben examinar críticamente cada elemento de los datos proporcionados a un algoritmo, en particular los resultados previstos, para comprender si estos datos están sesgados en contra de alguna comunidad. Además, las predicciones del modelo deben probarse para garantizar que las personas con puntajes de riesgo similares reincidan en tasas similares. Por último, el uso de modelos interpretables puede ayudar a demostrar que los puntajes generados por cada modelo parecen ser justos y se ajustan en gran medida a la experiencia del dominio sobre lo que constituye el riesgo.
En cuarto lugar, los científicos de datos deberían trabajar para construir algoritmos de riesgo de próxima generación que predigan reducciones en el riesgo causadas por intervenciones de apoyo. Por ejemplo, los RAI actuales solo infieren el riesgo de mala conducta si una persona es liberada sin apoyo. No consideran la influencia de las intervenciones de apoyo, como los recordatorios de mensajes de texto de la fecha del tribunal, aunque pueden tener un efecto de alteración en el riesgo de mala conducta de una persona. Imagine a una persona a la que una RAI tradicional predice que tiene pocas probabilidades de comparecer ante el tribunal si es puesta en libertad sin apoyo. Con solo esta calificación, un juez probablemente optaría por encarcelar a la persona para asegurarse de que comparezca ante el tribunal. Sin embargo, con los RAI de próxima generación, un juez también puede ver que los recordatorios de mensajes de texto aumentan sustancialmente la probabilidad de aparición de la persona. Con esta información adicional, el juez puede optar por liberar al individuo e inscribirlo en recordatorios. Los algoritmos de riesgo de próxima generación que estiman el impacto de las intervenciones de apoyo podrían alentar a los jueces y otros tomadores de decisiones a evitar los considerables costos sociales y financieros de la acción punitiva en favor de alternativas más humanas.
Por último, y quizás lo más importante, los algoritmos deben evaluarse a medida que se implementan. Es posible que los participantes en cualquier sistema complicado reaccionen de formas inesperadas a una nueva política (por ejemplo, utilizando selectivamente las predicciones del RAI para penalizar a las comunidades de color). Dado este riesgo, los formuladores de políticas deben monitorear cuidadosamente el comportamiento y los resultados a medida que se introduce cada nuevo algoritmo y deben continuar el monitoreo de rutina una vez que se establece un programa para comprender los efectos a más largo plazo. Estos estudios serán, en última instancia, clave para evaluar si las innovaciones algorítmicas generan los impactos que aspiran a lograr.
Los RAI son solo una herramienta algorítmica en consideración en la actualidad. Desafíos separados rodean el uso de otros algoritmos. En particular, las agencias de justicia penal deben explicar cómo planean proteger la privacidad y la libertad individual en el uso del reconocimiento facial, las bases de datos públicas de ADN y otras nuevas formas de vigilancia. Pero si se usan de manera apropiada y cuidadosa, los algoritmos pueden mejorar sustancialmente las decisiones impactantes, haciéndolas más consistentes y transparentes para cualquier parte interesada. Al igual que con cualquier nueva política o práctica, estos esfuerzos deben incluir una evaluación y mejora continua para garantizar que su adopción genere resultados efectivos y justos a lo largo del tiempo.
rey enrique viii divorcio
Informe producido por Centro de Innovación Tecnológica