Cuando la sociedad utiliza la inteligencia artificial (IA) para ayudar a construir juicios sobre las personas, la justicia y la equidad son consideraciones críticas. El 12 de noviembre, el becario de Brookings Nicol Turner-Lee se sentó con Solon Barocas de la Universidad de Cornell, Natasha Duarte del Centro para la Democracia y la Tecnología y Karl Ricanek de la Universidad de Carolina del Norte en Wilmington para discutir la inteligencia artificial en el contexto del sesgo social. , pruebas tecnológicas y el sistema legal.
La inteligencia artificial es un elemento de muchos servicios y aplicaciones cotidianos, incluidos dispositivos electrónicos, motores de búsqueda en línea y plataformas de redes sociales. En la mayoría de los casos, la IA proporciona una utilidad positiva para los consumidores, como cuando las máquinas detectan automáticamente el fraude con tarjetas de crédito o ayudan a los médicos a evaluar los riesgos de la atención médica. Sin embargo, hay un porcentaje menor de casos, como cuando la inteligencia artificial ayuda a informar decisiones sobre límites de crédito o préstamos hipotecarios, donde la tecnología tiene un mayor potencial para aumentar los sesgos históricos.
La vigilancia es otra área en la que la inteligencia artificial ha sido objeto de un mayor debate, especialmente cuando se emplean tecnologías de reconocimiento facial. Cuando se trata de reconocimiento facial y vigilancia, hay dos puntos principales de controversia: la precisión de estas tecnologías y el potencial de uso indebido. El primer problema es que los algoritmos de reconocimiento facial podrían reflejar datos de entrada sesgados, lo que significa que sus tasas de precisión pueden variar entre grupos raciales y demográficos. El segundo desafío es que las personas pueden usar los productos de reconocimiento facial de formas distintas a las previstas, lo que significa que incluso si estos productos reciben calificaciones de alta precisión en las pruebas de laboratorio, cualquier aplicación incorrecta en el trabajo policial de la vida real podría incriminar erróneamente a miembros de grupos históricamente marginados.
Los tecnólogos han reducido este problema al crear una distinción entre detección facial y análisis facial. La detección facial describe el acto de identificar y hacer coincidir rostros en una base de datos, en la línea de lo que tradicionalmente se conoce como reconocimiento facial. El análisis facial va más allá para evaluar características físicas como la forma de la nariz (o atributos faciales) y las emociones (o computación afectiva). En particular, el análisis facial ha planteado preocupaciones sobre derechos civiles y equidad: un algoritmo puede determinar correctamente que alguien está enojado o asustado, pero podría adivinar incorrectamente por qué.
Al considerar el sesgo algorítmico, una cuestión legal importante es si un producto de inteligencia artificial causa una desventaja desproporcionada o un impacto desigual en grupos de personas protegidos. Sin embargo, los demandantes a menudo enfrentan grandes desafíos al entablar demandas contra la discriminación en casos de IA. Primero, el impacto dispar es difícil de detectar; segundo, es difícil de probar. Los demandantes a menudo soportan la carga de recopilar pruebas de discriminación, un esfuerzo desafiante para un individuo cuando el impacto dispar a menudo requiere datos agregados de un gran grupo de personas.
Debido a que el sesgo algorítmico no se ha probado en gran medida en los tribunales, quedan muchas preguntas legales sobre la aplicación de las leyes actuales contra la discriminación a los productos de IA. Por ejemplo, bajo Título VII de la Ley de Derechos Civiles de 1964 , los empleadores privados pueden impugnar afirmaciones sobre impactos dispares demostrando que sus prácticas son una necesidad comercial. Sin embargo, ¿qué constituye una necesidad empresarial en el contexto del software automatizado? ¿Debería bastar una correlación estadística para afirmar un impacto desigual de un sistema automatizado? ¿Y cómo, en el contexto del sesgo algorítmico, puede un demandante identificar y probar de manera factible un impacto dispar?
El sesgo algorítmico es un problema de múltiples capas que requiere una solución de múltiples capas, que puede incluir mecanismos de rendición de cuentas, autorregulación de la industria, litigios de derechos civiles o legislación original. A principios de este año, el senador Ron Wyden (D-OR), el senador Cory Booker (D-NJ) y la representante Yvette Clark (D-NY) introdujo la Ley de Responsabilidad Algorítmica , lo que requeriría que las empresas realicen evaluaciones algorítmicas de riesgos, pero les permitiría elegir si publican o no los resultados. Además, el representante Mark Takano (D-CA) introdujo la Ley de Justicia en Algoritmos Forenses , que aborda la transparencia de los algoritmos en casos de tribunales penales.
Sin embargo, esta solución de varias capas puede requerir que las partes interesadas aborden primero una pregunta más fundamental: ¿cuál es el objetivo que estamos tratando de resolver? Por ejemplo, para algunas personas, la posibilidad de inexactitud es el mayor desafío al utilizar la inteligencia artificial en la justicia penal. Pero para otros, hay ciertos casos de uso en los que AI no pertenece, como en el contexto de la justicia penal o la seguridad nacional, independientemente de si es precisa o no. O, como Barocas describe estos objetivos en competencia, cuando los sistemas funcionan bien, son orwellianos y cuando funcionan mal, son kafkianos.