Reducir el sesgo en los servicios financieros basados en inteligencia artificial
La inteligencia artificial (IA) presenta una oportunidad para transformar la forma en que asignamos el crédito y el riesgo, y para crear sistemas más justos e inclusivos. La capacidad de AI para evitar el sistema tradicional de calificación e informes crediticios que ayuda a perpetuar el sesgo existente hace que sea una oportunidad rara, si no única, de alterar el status quo. Sin embargo, la inteligencia artificial puede ir fácilmente en la otra dirección para exacerbar el sesgo existente, creando ciclos que refuerzan la asignación de crédito sesgada y hacen que la discriminación en los préstamos sea aún más difícil de encontrar. ¿Desbloquearemos lo positivo, empeoraremos lo negativo o mantendremos el status quo adoptando nuevas tecnologías?
Este documento propone un marco para evaluar el impacto de la IA en los préstamos al consumo. El objetivo es incorporar nuevos datos y aprovechar la inteligencia artificial para ampliar el crédito a los consumidores que lo necesitan en mejores condiciones de las que se ofrecen actualmente. Se basa en los objetivos duales de nuestro sistema existente de fijar el precio de los servicios financieros en función del riesgo real que representa el consumidor individual y, al mismo tiempo, evitar la discriminación (por ejemplo, raza, género, ADN, estado civil, etc.). Este documento también proporciona un conjunto de posibles compensaciones para los formuladores de políticas, los defensores de la industria y los consumidores, los tecnólogos y los reguladores para debatir las tensiones inherentes a la protección contra la discriminación en un sistema de precios basado en el riesgo superpuesto a una sociedad con siglos de discriminación institucional. .
La IA se discute con frecuencia y está mal definida. Dentro del mundo de las finanzas, la IA representa tres conceptos distintos: big data, aprendizaje automático y la propia inteligencia artificial. Cada uno de estos se ha vuelto factible recientemente con los avances en la generación, recopilación, uso, potencia informática y programación de datos. Los avances en la generación de datos son asombrosos: el 90% de los datos mundiales de hoy se generaron en los últimos dos años, IBM declaró audazmente . Para establecer los parámetros de esta discusión, a continuación defino brevemente cada término clave con respecto a los préstamos.
Los macrodatos fomentan la inclusión de información nueva y a gran escala que generalmente no está presente en los modelos financieros existentes. En el crédito al consumo, por ejemplo, el sistema de calificación crediticia más común, FICO, se refiere a menudo a información nueva más allá del modelo típico de informes / calificación crediticia. Esto puede incluir puntos de datos, como el pago del alquiler y las facturas de servicios públicos, y hábitos personales, como si compra en Target o Whole Foods y tiene una Mac o PC, y datos de redes sociales.
El aprendizaje automático (ML) ocurre cuando las computadoras optimizan los datos (estándar y / o big data) en función de las relaciones que encuentran sin el algoritmo tradicional más prescriptivo. El AA puede determinar nuevas relaciones que a una persona nunca se le ocurriría probar: ¿El tipo de yogur que consume se correlaciona con su probabilidad de devolver un préstamo? Si estas relaciones tienen propiedades casuales o son solo sustitutos de otros factores correlacionados, son cuestiones críticas para determinar la legalidad y la ética del uso del AA. Sin embargo, no son relevantes para la máquina al resolver la ecuación.
que hora es gmt ahora
Lo que constituye la verdadera IA todavía se está debatiendo, pero para comprender su impacto en la asignación de crédito y riesgo, usemos el término IA para referirnos a la inclusión de big data, aprendizaje automático y el siguiente paso cuando ML se convierte en IA. Un ejecutivo de banco IA bien definida al contrastarlo con el status quo: existe una diferencia significativa entre la IA, que para mí denota el aprendizaje automático y las máquinas que avanzan por sí mismas, frente a la autodecisión, que utiliza datos dentro del contexto de un algoritmo de decisión administrado.
Reglas actuales
La estructura legal y regulatoria actual de Estados Unidos para proteger contra la discriminación y hacer cumplir los préstamos justos no está bien equipada para manejar la IA. La fundación es un conjunto de leyes de las décadas de 1960 y 1970 (Ley de Igualdad de Oportunidades de Crédito de 1974, Ley de Veracidad en los Préstamos de 1968, Ley de Vivienda Justa de 1968, etc.) que se basaron en una época con problemas casi exactamente opuestos a los que nos enfrentamos. hoy: no hay suficientes fuentes de información estandarizada para basar las decisiones y hay muy poco crédito disponible. Esas condiciones permitieron una discriminación desenfrenada por parte de los oficiales de crédito que simplemente podían negar a las personas porque no parecían dignas de crédito.
Hoy en día, nos enfrentamos a una sobreabundancia de crédito de mala calidad (altas tasas de interés, tarifas, trampas abusivas de la deuda) y preocupaciones sobre el uso de demasiadas fuentes de datos que pueden esconderse como sustitutos de la discriminación ilegal. La ley prohíbe el uso de género para determinar la elegibilidad crediticia o el precio, pero existen innumerables sustitutos del género, desde el tipo de desodorante que compra hasta las películas que mira.
La estructura legal y regulatoria actual de Estados Unidos para proteger contra la discriminación y hacer cumplir los préstamos justos no está bien equipada para manejar la IA.
El concepto clave utilizado para controlar la discriminación es el de impacto dispar. Para profundizar en cómo funciona el impacto dispar con la IA, puede leer mi trabajo anterior sobre este tema. Para este artículo, es importante saber que la Oficina de Protección Financiera del Consumidor define el impacto desigual como cuando: Un acreedor emplea políticas o prácticas aparentemente neutrales que tienen un efecto o impacto adverso en un miembro de una clase protegida, a menos que cumpla con una ley legítima. necesidad empresarial que no puede lograrse razonablemente con medios que sean menos dispares en su impacto.
La segunda mitad de la definición brinda a los prestamistas la capacidad de utilizar métricas que pueden tener correlaciones con elementos de clase protegidos siempre que satisfagan una necesidad comercial legítima y no existan otras formas de satisfacer ese interés que tengan un impacto menos dispar. Un conjunto de métricas existentes, que incluyen ingresos, puntajes crediticios (FICO) y datos utilizados por las agencias de informes crediticios, se ha considerado aceptable a pesar de tener una correlación sustancial con la raza, el género y otras clases protegidas.
Por ejemplo, considere qué tan profundamente correlacionados están los puntajes de crédito FICO existentes con la raza. Para empezar, dice cuán pocos datos se ponen a disposición del público sobre cómo estos puntajes varían según la raza. El buró de crédito Experian es ansioso por dar a conocer uno de sus versiones de los puntajes FICO por edad, ingresos e incluso en qué estado o ciudad viven, pero no por raza. Sin embargo, la ley federal requiere que los prestamistas recopilen datos sobre la carrera por las solicitudes de hipotecas de viviendas, por lo que tenemos acceso a algunos datos. Como se muestra en la figura siguiente, las diferencias son marcadas.
Entre las personas que intentan comprar una casa, generalmente un subconjunto más rico y mayor de estadounidenses, los compradores de vivienda blancos tienen un puntaje crediticio promedio 57 puntos más alto que los compradores de vivienda negros y 33 puntos más altos que los compradores de vivienda hispanos. La distribución de los puntajes crediticios también es marcadamente desigual: más de 1 de cada 5 personas negras tienen FICO por debajo de 620, al igual que 1 de cada 9 entre la comunidad hispana, mientras que lo mismo ocurre con solo 1 de cada 19 personas blancas. Los puntajes de crédito más altos permiten a los prestatarios acceder a diferentes tipos de préstamos y a tasas de interés más bajas. Uno sospecha que las brechas son incluso más amplias más allá de las que intentan comprar una casa.
Si FICO se inventara hoy, ¿satisfaría una prueba de impacto diferente? La conclusión de Rice y Swesnik en su artículo de revisión de leyes fue claro : Nuestros sistemas actuales de calificación crediticia tienen un impacto dispar en las personas y comunidades de color. La pregunta es muda porque no solo FICO tiene derechos adquiridos, sino que también se ha convertido en uno de los factores más importantes utilizados por el ecosistema financiero. He descrito a FICO como el oboe desafinado con el que sintoniza el resto de la orquesta financiera.
Los nuevos datos y algoritmos no tienen derechos adquiridos y están sujetos a pruebas de impacto dispares. El resultado es un doble estándar por el cual la nueva tecnología a menudo se mantiene con un estándar más alto para evitar sesgos que los métodos existentes. Esto tiene el efecto de inclinar el campo contra nuevos datos y metodologías, reforzando el sistema existente.
La explicabilidad es otro inquilino central de nuestro sistema de préstamos justos existente que puede funcionar en contra de la adopción de la IA. Los prestamistas deben informar a los consumidores por qué se les negó. Explicar el fundamento proporciona un rastro de papel para responsabilizar a los prestamistas en caso de que incurran en discriminación. También proporciona al consumidor información que le permite corregir su comportamiento y mejorar sus posibilidades de crédito. Sin embargo, el método de una IA para tomar decisiones puede carecer de explicabilidad. Como gobernador de la Reserva Federal, Lael Brainard describió el problema : Dependiendo de los algoritmos que se utilicen, es posible que nadie, incluidos los creadores del algoritmo, pueda explicar fácilmente por qué el modelo generó los resultados que generó. Para avanzar y desbloquear el potencial de la IA, necesitamos un nuevo marco conceptual.
Un nuevo marco
Para empezar, imagine una compensación entre la precisión (representada en el eje y) y el sesgo (representado en el eje x). La primera idea clave es que el sistema actual existe en la intersección de los ejes que estamos negociando: el origen del gráfico. Cualquier cambio potencial debe considerarse en contra del statu quo, no un mundo ideal sin prejuicios ni total precisión. Esto obliga a los responsables de la formulación de políticas a considerar si la adopción de un nuevo sistema que contiene sesgos, pero menos que en el sistema actual, es un avance. Puede ser difícil adoptar un marco intrínsecamente sesgado, pero es importante reconocer que el statu quo ya está muy sesgado. Por lo tanto, rechazar la nueva tecnología porque contiene algún nivel de sesgo no significa que estemos protegiendo el sistema contra el sesgo. Por el contrario, puede significar que estamos permitiendo que se perpetúe un sistema más sesgado.
carta de marca para la venta
Innovación sesgada
Como se muestra en la figura anterior, la esquina inferior izquierda (cuadrante III) es una en la que la IA da como resultado un sistema que es más discriminatorio y menos predictivo. La regulación y los incentivos comerciales deben trabajar juntos contra este resultado. Puede ser difícil imaginar la incorporación de nueva tecnología que reduzca la precisión, pero no es inconcebible, particularmente dados los incentivos en la industria para priorizar la velocidad de la toma de decisiones y la generación de préstamos sobre el desempeño real de los préstamos (como en la crisis de las hipotecas de alto riesgo). Otra posible aparición de políticas que se mueven en esta dirección es la introducción de datos inexactos que pueden confundir a una IA haciéndole pensar que tiene una mayor precisión cuando no es así. El sistema de informes crediticios existente está plagado de errores: 1 de cada 5 personas puede tener un error material en su informe crediticio. Los nuevos errores ocurren con frecuencia; considere el error reciente de un administrador de préstamos para estudiantes que 4.8 millones de estadounidenses informados incorrectamente como retrasados en el pago de sus préstamos estudiantiles cuando, de hecho, el gobierno había suspendido los pagos como parte del alivio de COVID-19.
Los datos utilizados en el mundo real no son tan puros como los de las pruebas de modelos. Los incentivos de mercado por sí solos no son suficientes para producir una precisión perfecta; incluso pueden promover la inexactitud dado el costo de corregir los datos y la demanda de velocidad y cantidad. Como un estudio del Banco de la Reserva Federal de St. Louis encontró que el puntaje crediticio no ha actuado como un predictor del verdadero riesgo de incumplimiento de los préstamos hipotecarios de alto riesgo o de la crisis de las hipotecas de alto riesgo. Cualquiera que sea la causa, los reguladores, la industria y los defensores de los consumidores deberían estar alineados contra la adopción de la IA que avanza en esta dirección.
¿Un beneficio mutuo o tolerancia a la discriminación?
La parte superior derecha (cuadrante I) representa la incorporación de IA que aumenta la precisión y reduce el sesgo. A primera vista, esto debería ser beneficioso para todos. La industria asigna el crédito de una manera más precisa, aumentando la eficiencia. Los consumidores disfrutan de una mayor disponibilidad de crédito en términos más precisos y con menos sesgos que el statu quo existente. Este escenario optimista es bastante posible dado que una fuente importante de sesgo existente en los préstamos proviene de la información utilizada. Como señaló el Bank Policy Institute en su borrador de discusión de las promesas de la IA : Esta mayor precisión beneficiará a los prestatarios que actualmente enfrentan obstáculos para obtener crédito bancario de bajo costo bajo enfoques de suscripción convencionales.
Un ejemplo destacado de un sistema de beneficio mutuo es el uso de la suscripción de flujo de efectivo. Esta nueva forma de suscripción utiliza el saldo bancario real del solicitante durante un período de tiempo (a menudo un año) en lugar del modelo actual basado en FICO, que se basa en gran medida en ver si una persona tenía crédito en el pasado y, de ser así, si alguna vez estuvo en mora. o por defecto. Analisis preliminar de FinReg Labs muestra que este sistema de suscripción supera al FICO tradicional por sí solo, y cuando se combina con FICO es aún más predictivo.
El análisis de flujo de efectivo tiene cierto nivel de sesgo, ya que los ingresos y la riqueza están correlacionados con la raza, el género y otras clases protegidas. Sin embargo, debido a que los ingresos y la riqueza son factores existentes aceptables, el actual sistema de préstamos justos debería tener pocos problemas para permitir un uso más inteligente de esa información. Irónicamente, esta nueva tecnología cumple con la prueba porque usa datos que ya están protegidos.
Ese no es el caso de otros avances de IA. La nueva IA puede aumentar el acceso al crédito en términos más asequibles que los que ofrece el sistema actual y aún así no ser permisible. El hecho de que AI haya producido un sistema que sea menos discriminatorio no significa que apruebe reglas justas sobre préstamos. No existe un estándar legal que permita la discriminación ilegal en los préstamos porque es menos parcial que las prácticas discriminatorias anteriores. Como 2016 Concluyó el estudio del Departamento del Tesoro Los algoritmos basados en datos pueden acelerar las evaluaciones crediticias y reducir los costos, también conllevan el riesgo de un impacto desigual en los resultados crediticios y la posibilidad de violaciones de préstamos justos.
Por ejemplo, considere una IA que sea capaz, con un buen grado de precisión, de detectar un deterioro en la salud de una persona, por ejemplo, a través de patrones de gasto (copagos del médico), búsquedas en Internet (tratamiento del cáncer) y unirse a nuevos grupos de Facebook ( viviendo con cáncer). Los problemas médicos son un fuerte indicador de problemas financieros futuros. ¿Queremos una sociedad en la que, si te enfermas, o si un algoritmo informático cree que estás enfermo, tus condiciones de crédito disminuyan? Ese puede ser un sistema menos sesgado que el que tenemos actualmente, y no uno que los legisladores y el público apoyarían. De repente, lo que parece un beneficio mutuo puede no ser realmente tan deseable.
Compensación: más precisión pero menos equidad
La IA que aumenta la precisión pero introduce más sesgos recibe mucha atención, merecidamente. Este escenario representado en la parte superior izquierda (cuadrante II) de este marco puede ir desde la introducción de datos que son claros sustitutos de clases protegidas (ver Lifetime o BET en TV) hasta información o técnicas que, a primera vista, no parecen parcial, pero en realidad lo son. Hay fuertes razones para creer que la IA encontrará de forma natural sustitutos de la raza, dado que existen grandes diferencias de ingresos y riqueza entre las razas. Como dijo Daniel Schwarcz en su artículo sobre la inteligencia artificial y la discriminación por poder : La discriminación involuntaria por poder por parte de las IA es prácticamente inevitable siempre que la ley busque prohibir la discriminación sobre la base de rasgos que contienen información predictiva que no se puede capturar más directamente dentro del modelo mediante datos no sospechosos.
La discriminación de proxy por parte de la IA es aún más preocupante porque es probable que las máquinas descubran proxies que la gente no había considerado anteriormente.
La discriminación de proxy por parte de la IA es aún más preocupante porque es probable que las máquinas descubran proxies que la gente no había considerado anteriormente. Piense en el potencial de uso, ya sea que una persona use o no una Mac o PC, un factor que está correlacionado con la raza y con el hecho de que la gente reembolse los préstamos. incluso controlando para la carrera.
El profesor de Duke Manju Puri y los coautores pudieron construir un modelo utilizando datos no estándar que encontraron un poder predictivo sustancial sobre si un préstamo se reembolsó a través de si la dirección de correo electrónico de esa persona contenía su nombre. Inicialmente, eso puede parecer una variable no discriminatoria dentro del control de una persona. Sin embargo, los economistas Marianne Bertrand y Sendhil Mullainathan han mostrado Los afroamericanos con nombres fuertemente asociados con su raza enfrentan una discriminación sustancial en comparación con el uso de identificación ciega a la raza. Por lo tanto, es muy posible que haya un impacto desigual en el uso de lo que parece una variable inocua, como si su nombre es parte de su dirección de correo electrónico.
La pregunta para los formuladores de políticas es cuánto priorizar la precisión a costa del sesgo contra las clases protegidas. Como cuestión de principio, yo diría que nuestro punto de partida es un sistema fuertemente sesgado y no deberíamos tolerar la introducción de un sesgo mayor. Existe un argumento de pendiente resbaladiza de si una IA produjo aumentos sustanciales en la precisión con la introducción de solo un poco más de sesgo. Después de todo, nuestro sistema actual hace un trabajo sorprendentemente pobre al asignar muchos créditos básicos y tolera una cantidad sustancialmente grande de sesgos.
Es probable que la industria abogue por la inclusión de este tipo de IA, mientras que es probable que los defensores de los consumidores se opongan a su introducción. La ley actual es inconsistente en su aplicación. Ciertos grupos de personas gozan de una sólida protección contra la discriminación contra determinados productos financieros. Pero nuevamente, esto varía según el producto financiero. Tomemos el género, por ejemplo. Es flagrantemente ilegal bajo las leyes de préstamos justos usar el género o cualquier proxy para el género en la asignación de crédito. Sin embargo, el género es un uso permitido para la diferencia de precio para el seguro de automóvil en la mayoría de los estados. De hecho, para los conductores nuevos, el género puede ser el factor más importante utilizado para determinar el precio en ausencia de un historial de conducción. Estados Unidos carece de un conjunto uniforme de reglas sobre qué constituye discriminación y qué tipos de atributos no pueden ser discriminados. La falta de uniformidad se ve agravada por la división de responsabilidades entre los gobiernos federal y estatal y, dentro del gobierno, entre el sistema regulatorio y judicial para detectar y castigar el crimen.
Compensación: menos precisión pero más equidad
El conjunto final de compensaciones implica aumentos en la equidad pero reducciones en la precisión (cuadrante IV en la parte inferior derecha). Un ejemplo incluye una IA con la capacidad de usar información sobre el genoma humano de una persona para determinar su riesgo de cáncer. Este tipo de perfil genético mejoraría la precisión en la fijación de precios de los tipos de seguros, pero viola las normas de equidad. En este caso, los formuladores de políticas decidieron que el uso de esa información no es aceptable y lo han hecho ilegal . Volviendo al papel del género, algunos estados han restringido el uso del género en los seguros de automóviles. California más recientemente se unió a la lista de estados ya no permite el género, lo que significa que los precios serán más justos pero posiblemente menos precisos.
primer perro en el nombre del espacio
Las presiones de la industria tenderían a luchar contra este tipo de restricciones y presionar para lograr una mayor precisión. Las normas sociales de equidad pueden exigir compensaciones que disminuyan la precisión para protegerse contra los prejuicios. Estas compensaciones las manejan mejor los formuladores de políticas antes de la introducción generalizada de esta información, como es el caso de los datos genéticos. Sin embargo, restringir el uso de esta información no hace que el problema desaparezca. Por el contrario, la capacidad de la IA para descubrir poderes ocultos para esos datos puede exacerbar los problemas en los que la sociedad intenta restringir el uso de datos por motivos de equidad. Los problemas que parecen resueltos por las prohibiciones simplemente migran al mundo algorítmico donde reaparecen.
La conclusión subyacente de este cuadrante es una en la que es probable que los movimientos sociales que amplían la protección y reducen la discriminación se vuelvan más difíciles a medida que las IA encuentren soluciones. Siempre que existan diferencias sustanciales en los resultados observados, las máquinas descubrirán resultados diferentes mediante el uso de nuevos conjuntos de variables que pueden contener nueva información o pueden ser simplemente sustitutos estadísticamente efectivos para las clases protegidas.
Conclusiones finales
El status quo no es algo que la sociedad deba defender como nirvana. Nuestro sistema financiero actual adolece no solo de siglos de sesgo, sino también de sistemas que en sí mismos no son tan predictivos como se suele afirmar. La explosión de datos junto con el crecimiento significativo en ML e IA ofrece una gran oportunidad para rectificar problemas sustanciales en el sistema actual. Los marcos existentes de lucha contra la discriminación no son adecuados para esta oportunidad. Negarse a mantener la nueva tecnología en un estándar más alto que el status quo da como resultado una deferencia tácita al sistema actual ya sesgado. Sin embargo, simplemente abrir las compuertas bajo las reglas de ¿puedes hacerlo mejor que hoy? Abre una caja de Pandora de nuevos problemas.
El status quo no es algo que la sociedad deba defender como nirvana. Nuestro sistema financiero actual adolece no solo de siglos de sesgo, sino también de sistemas que en sí mismos no son tan predictivos como se suele afirmar.
El sistema regulatorio fracturado de Estados Unidos, con diferentes roles y responsabilidades en los productos financieros y los niveles de gobierno, solo sirve para hacer que los problemas difíciles sean aún más difíciles. Con la falta de reglas uniformes y marcos coherentes, la adopción tecnológica probablemente será más lenta entre las entidades existentes, lo que generará oportunidades aún mayores para los nuevos participantes. Una conversación más amplia sobre cuánto sesgo estamos dispuestos a tolerar en aras de mejorar el status quo beneficiaría a todas las partes. Eso requiere la creación de más espacio político para que las partes entablen una conversación difícil y honesta. El momento político actual en el tiempo no es adecuado para esa conversación, pero sospecho que los avances de la IA no estarán dispuestos a esperar hasta que Estados Unidos esté más preparado para enfrentar estos problemas.
Informe producido por Centro de Innovación Tecnológica