Los sistemas de decisión algorítmicos o automatizados utilizan datos y análisis estadísticos para clasificar a las personas con el fin de evaluar su elegibilidad para un beneficio o penalización. Estos sistemas se han utilizado tradicionalmente para decisiones crediticias y actualmente se utilizan ampliamente para la selección de empleo, la elegibilidad para seguros y la comercialización. También se utilizan en el sector público, incluso para la prestación de servicios gubernamentales, y en sentencias de justicia penal y decisiones de libertad condicional.
La mayoría de estos sistemas de decisión automatizados se basan en técnicas estadísticas tradicionales como el análisis de regresión. Sin embargo, recientemente estos sistemas han incorporado el aprendizaje automático para mejorar su precisión y equidad. Estas técnicas estadísticas avanzadas buscan encontrar patrones en los datos sin requerir que el analista especifique de antemano qué factores utilizar. A menudo encontrarán conexiones nuevas e inesperadas que pueden no ser obvias para el analista o que se derivan de un sentido común o una comprensión teórica del tema en cuestión. Como resultado, pueden ayudar a descubrir nuevos factores que mejoran la precisión de las predicciones de elegibilidad y las decisiones basadas en ellas. En muchos casos, también pueden mejorar la equidad de estas decisiones, por ejemplo, al ampliar el grupo de solicitantes de empleo calificados para mejorar la diversidad de la fuerza laboral de una empresa.
Sin embargo, un nuevo desafío significativo con estos sistemas de aprendizaje automático es determinar cuándo y cómo podrían introducir sesgos en el proceso de toma de decisiones. Varias características técnicas de estos sistemas pueden producir decisiones discriminatorias que son artefactos de los propios modelos. Los datos de entrada utilizados para capacitar a los sistemas podrían representar insuficientemente a los miembros de las clases protegidas o estar infectados por prácticas discriminatorias pasadas. En consecuencia, los datos podrían reproducir inadvertidamente o magnificar patrones históricos de sesgo.
Además, los proxies para clases protegidas pueden ocultarse sin ser detectados dentro de otros factores utilizados en los modelos de aprendizaje automático. A pesar de la complejidad, estos factores pueden ser involuntariamente demasiado burdos para capturar con precisión las calificaciones de los miembros de las clases protegidas.
Si no se detecta ni se aborda, estos posibles sesgos podrían impedir que los sistemas de aprendizaje automático cumplan su promesa de mejorar significativamente la precisión y la equidad de los sistemas de decisión automatizados.
Si no se detecta ni se aborda, estos posibles sesgos podrían impedir que los sistemas de aprendizaje automático cumplan su promesa de mejorar significativamente la precisión y la equidad de los sistemas de decisión automatizados. También pueden exponer a los desarrolladores y usuarios de estos sistemas a responsabilidad legal por incumplimiento de las leyes contra la discriminación.
Una variedad de leyes estadounidenses prohíbe la discriminación contra clases protegidas en una variedad de contextos, como empleo , crédito , alojamiento , alojamiento publico , educacion publica , selección del jurado , uso de Información genética , y atención médica y seguro médico . Las clases protegidas incluyen: minorías raciales, étnicas, religiosas y nacionales; mujer; personas mayores y personas con vulnerabilidades genéticas, discapacidades o afecciones médicas preexistentes.
La discriminación ilegal puede ser intencional, cuando una empresa toma en cuenta deliberadamente el estatus de clase protegida para tomar decisiones que perjudican a los miembros de la clase protegida. Ejemplos de esto incluyen una empresa que excluye explícitamente a miembros de un grupo racial de su grupo de contratación, o una empresa que aplica conscientemente criterios de decisión neutrales de manera que dañan a los miembros de la clase protegida, como solo evaluar a los miembros de una clase protegida para una habilidad laboral. Sin embargo, la discriminación también puede ser completamente inconsciente cuando un procedimiento neutral produce decisiones que perjudican de manera desproporcionada y sistemática a las clases protegidas.
Las leyes contra la discriminación cubren el uso de sistemas de decisión automatizados, ya sea que se basen en técnicas estadísticas tradicionales o algoritmos de aprendizaje automático. Incluso si los desarrolladores evitan deliberadamente el uso de variables para las clases protegidas, dichos sistemas aún pueden producir un impacto dispar si usan variables que están correlacionadas tanto con la variable de salida que el sistema está tratando de predecir como con una variable para el estado de la clase protegida. En consecuencia, el riesgo legal en el uso de estos sistemas surge menos de la posibilidad de discriminación intencional y más de la exposición a reclamos de impacto dispar.
Incluso si los desarrolladores evitan deliberadamente el uso de variables para clases protegidas, los sistemas [de decisión automatizada] aún pueden producir un impacto dispar.
Según las leyes contra la discriminación, la responsabilidad por un impacto desigual en las clases protegidas es compleja y controvertida. Las decisiones de los tribunales en los últimos años han sido escépticas con respecto a estos reclamos, y esta jurisprudencia ha disminuido el sentido de urgencia en el sector privado para evitar la discriminación de impacto dispar. Las complejidades e incertidumbres aumentan cuando se involucran sistemas de decisión automatizados.1
Al evaluar las quejas legales por impactos dispares, generalmente se aplica un marco de transferencia de carga de tres etapas. El demandante debe demostrar que un procedimiento de decisión causa un efecto perjudicial desproporcionado en una clase protegida. Luego, la carga pasa al acusado, a quien se le exige que demuestre que el procedimiento de decisión tiene un propósito comercial legítimo. Luego, la carga vuelve al demandante, quien debe presentar evidencia de una alternativa disponible que lograría el propósito con un impacto menos dañino en la clase protegida.2
luna en agosto de 2021
A pesar de las complejidades legales, las agencias reguladoras han aplicado análisis de impacto dispares bajo las leyes actuales contra la discriminación a las técnicas de aprendizaje automático más actualizadas. La Oficina de Protección Financiera del Consumidor (CPFB) jurisdicción reclamada sobre Upstart , empresa que utilizó datos y algoritmos alternativos para evaluar las decisiones crediticias, con respecto al cumplimiento de la Ley de Igualdad de Oportunidades Crediticias.3En su Evaluación 2019 , el CPFB encontró que el modelo Upstart aprobó más préstamos y redujo las tasas de interés en todas las razas y grupos minoritarios, por lo que no generó disparidades que requirieran más acciones bajo las leyes de préstamos justos.
Además, el Departamento de Vivienda y Desarrollo Urbano de este año presentó un caso contra Facebook alegando que violó la prohibición de discriminación en la vivienda porque sus algoritmos de aprendizaje automático seleccionaron la audiencia del anunciante de viviendas de una manera que excluyó a ciertos grupos minoritarios. El departamento afirmó que los algoritmos de Facebook funcionaban como un anunciante que se dirige o excluye intencionalmente a los usuarios en función de su clase protegida.4
A pesar de estas iniciativas, se están considerando algunas reformas que podrían debilitar la responsabilidad por impactos dispares. Departamento de Vivienda y Desarrollo Urbano ha propuesto revisar el marco de transferencia de cargas por mostrar un impacto dispar. La agencia propone ofrecer a las empresas varias formas nuevas de derrotar a un prima facie afirman que sus modelos de riesgo están provocando un efecto discriminatorio. Primero, un acusado podría eludir su responsabilidad si puede demostrar que un modelo propio predice el riesgo crediticio y que los principales factores utilizados no son sustitutos de las clases protegidas. Puede utilizar un validador de terceros para esta demostración. En segundo lugar, los prestamistas de vivienda podrían escapar de la responsabilidad por impactos dispares si se basan en algoritmos de terceros y utilizan el modelo según lo previsto, siempre que el proveedor externo sea un tercero reconocido que determina los estándares de la industria. En este nuevo marco, es posible que el demandante nunca tenga la oportunidad de mostrar la disponibilidad de un modelo de decisión alternativo igualmente eficaz que produzca resultados menos dañinos para las clases protegidas.5
Otros desarrollos legales y políticos son relevantes para el uso de sistemas de decisión algorítmicos. Los casos ante la Corte Suprema se refieren a si la ley actual prohíbe la discriminación en el lugar de trabajo por motivos de orientación sexual o identidad de género.6La ley sigue sin estar clara con respecto a la discriminación en otras áreas, como vivienda, educación pública, instalaciones públicas, selección del jurado y crédito. Ley de Igualdad , legislación que ampliaría las clases protegidas para incluir la orientación sexual y la identidad de género en una amplia gama de contextos, fue aprobada por la Cámara en 2019 y está pendiente en el Senado. Si bien estos casos de la Corte Suprema y la Ley de Igualdad no se relacionan directamente con los sistemas de decisión automatizados basados en inteligencia artificial, aclararían los grupos cuyos intereses no deben verse perjudicados por las leyes contra la discriminación y, por lo tanto, afectar las responsabilidades legales de los desarrolladores y usuarios de estos sistemas para evitar efectos discriminatorios de estos sistemas.
El Congreso también está considerando una legislación que obligue a las empresas a considerar la equidad algorítmica. El Ley de Responsabilidad Algorítmica de 2019 requiere que las empresas evalúen sus sistemas de decisión automática en busca de riesgos de decisiones inexactas, injustas, tendenciosas o discriminatorias. También deben abordar razonablemente los resultados de sus evaluaciones. El proyecto de ley faculta a la Comisión Federal de Comercio para llevar a cabo procedimientos de reglamentación para resolver los detalles cruciales de estos requisitos.
Este trasfondo legal proporciona el contexto para que la empresa considere la evaluación de impacto dispar de los sistemas de decisión automatizados que desarrollan o utilizan. Un punto inicial clave es que las empresas de todas las partes de la economía deben centrarse en la equidad de los algoritmos que utilizan. El sesgo algorítmico no es solo un problema del sector tecnológico.
La recomendación clave de este documento es que todas las empresas deben comprender e informar al público cuando utilizan sistemas de decisión automatizados que producen efectos desproporcionadamente adversos en las personas de las clases protegidas. No debería sorprender a una empresa que sus sistemas de toma de decisiones produzcan un resultado adverso para las clases protegidas. Además, no debe dejarse que el público descubra estos efectos a través de experiencias personales aleatorias, como supuestamente sucedió en el caso de la incursión de Apple en el negocio de las tarjetas de crédito con Goldman Sachs.
[Todas] las empresas deben comprender e informar al público cuando utilizan sistemas de decisión automatizados que producen efectos desproporcionadamente adversos en las personas de las clases protegidas.
En el análisis de tres pasos que expliqué anteriormente, el tercer paso, que investiga si existen modelos alternativos o mejoras al modelo existente que lograrían el objetivo legítimo con un impacto menos desigual, es el más esencial. Esta investigación de alternativas es la forma fundamental de avanzar en la reducción de impactos dispares.7
En el contexto laboral, por ejemplo, una empresa podría evaluar si su algoritmo de selección o contratación automatizada cumple con las Regla del 80% comúnmente utilizada en este contexto . Por ejemplo, si el algoritmo selecciona el 10% de los solicitantes blancos para ser contratados, esta regla empírica sostiene que no menos del 8% de los solicitantes afroamericanos pueden ser seleccionados. Si el algoritmo no cumple con esta regla general, la empresa puede investigar si existen otros algoritmos que seleccionen eficazmente a los solicitantes de empleo mientras cumplen con este estándar.
Los investigadores independientes a menudo realizan estos análisis de impacto dispares utilizando información disponible públicamente. ProPublica descubrió que el puntaje de riesgo COMPAS utilizado para determinar la sentencia penal y ayudar en las decisiones de libertad condicional es dos veces más probabilidades de cometer errores con personas negras que con blancas . Además, Upturn demostró que las prácticas de orientación de anuncios de aprendizaje automático de Facebook están desproporcionadamente sesgadas a lo largo de las líneas de género y raza para los anuncios de empleo y vivienda.8
Investigadores independientes también encontraron sesgos en el software ampliamente utilizado para asignar atención médica a pacientes hospitalarios. Por ejemplo, un algoritmo asignó a los pacientes a categorías de riesgo en función de sus costos médicos promedio. Pero debido a las disparidades raciales en el acceso a la atención médica, los pacientes negros igualmente enfermos no reciben tanta atención como los pacientes blancos, y el algoritmo exacerbó involuntariamente esta disparidad racial. Usando el algoritmo, los pacientes de raza negra representaron solo el 17,7% de los pacientes recomendados para cuidados adicionales, pero utilizando un algoritmo imparcial, el 46,5% de los pacientes a los que se les asignó cuidados adicionales habrían sido negros.9
Como se analiza en la siguiente sección, las agencias gubernamentales pueden y deben realizar evaluaciones de impacto dispares. Sin embargo, la recomendación clave para el sector privado es que los desarrolladores de software deben realizar estos análisis de impacto dispares ellos mismos antes de usar sus algoritmos o ponerlos a disposición para que otros los usen. No deben depender de investigadores independientes o agencias gubernamentales para detectar impactos dispares después de que los algoritmos ya estén en uso generalizado.
Los desarrolladores de software deben realizar por sí mismos análisis de impacto dispares antes de utilizar sus algoritmos o ponerlos a disposición de otros para que los utilicen.
Si la evaluación muestra que el modelo tiene un impacto diferente, el siguiente paso es determinar qué se debe hacer. En general, las empresas pueden involucrar a investigadores que son conscientes de cómo surgen las disparidades en contextos particulares y trabajar con ellos para abordar cualquier disparidad que produzca el modelo antes de ponerlo en uso.
La empresa que desarrolla el software debe evaluar las diferentes formas en que los impactos dispares podrían ser un artefacto del modelo en sí. Los modelos pueden introducir sesgos a través de la selección de variables objetivo, mediante el uso de datos de entrenamiento sesgados o no representativos, o mediante el uso de factores granulares e insuficientemente detallados. Se puede examinar cada una de estas fuentes de sesgo del modelo y buscar soluciones técnicas. Por ejemplo, el sobremuestreo y la corrección de datos retroactivos podrían usarse para ajustar el sesgo en los datos de entrenamiento.10
Amazon probó este enfoque en su intento de desarrollar un algoritmo de contratación para ingenieros de software. Experimentó con el uso de datos históricos para entrenar un método automatizado de selección de solicitantes prometedores, realizó análisis de impacto dispares y descubrió que estos resultados algorítmicos rechazaban desproporcionadamente a las mujeres. Si bien la empresa solucionó los factores que conducían a este impacto dispar, se encontró con otros que no pudo solucionar. En última instancia, Amazon abandonó su intento de automatización de la contratación .
Sin embargo, el desarrollador del software de atención médica sesgado no hizo esto, a pesar de que las pruebas estadísticas de rutina hubieran revelado sus disparidades raciales. Los hospitales lo usaron y algoritmos similares para administrar la atención médica de 200 millones de personas antes de que los investigadores se toparan con el problema. Ahora, la compañía de software para el cuidado de la salud está trabajando con investigadores para desarrollar un algoritmo que sea mejor para predecir quién necesitará atención médica y menos sesgado, pero este trabajo de reparación de impactos dispares debería haberse realizado en la etapa de desarrollo.
A veces, la generación de nuevos datos aumentará la precisión del modelo de una manera que reduce su impacto dispar. Esto puede suceder cuando los miembros de las clases protegidas no han participado históricamente en las actividades relevantes debido a prácticas discriminatorias pasadas y no han dejado registros de datos que puedan usarse para análisis estadísticos. En estas circunstancias, es más costoso encontrar miembros calificados de una clase protegida, y la recompensa económica para la empresa no siempre justifica estos costos adicionales.
Sin embargo, si las correcciones técnicas reducen el impacto desigual en el modelo a un costo razonable, la empresa debe adoptar el modelo revisado. Podría haber una exposición a la responsabilidad legal por discriminación de impacto dispar si una empresa no adoptó mejoras técnicas razonables en sus sistemas de toma de decisiones que lograrían sus objetivos comerciales u organizacionales con un impacto menor en las clases protegidas. También es lo correcto.
Sin embargo, no siempre existe una solución técnica. El impacto dispar en el modelo podría reflejar desigualdades en el mundo real. Sin embargo, incluso en ese caso, es posible realizar una serie de ajustes en el modelo para reducir las disparidades en la toma de decisiones y mover el resultado del modelo hacia la paridad estadística o tasas de error iguales. Estos ajustes pueden implicar tomar conocimiento directo de las características de la clase protegida o factores que son sustitutos sustanciales de ellos.
Es importante reconocer que la decisión de utilizar o no estos ajustes adicionales no es en sí misma una solución técnica. Estas alteraciones del modelo no tendrían como objetivo reducir el sesgo introducido en la toma de decisiones por el propio modelo estadístico. Están destinados a alterar sustancialmente el resultado del sistema de toma de decisiones y, como tales, constituyen juicios normativos que tienen implicaciones comerciales y legales. Si bien mejorarán los resultados de las clases protegidas, inevitablemente disminuirán la precisión de las decisiones resultantes, lo que en la práctica significaría un logro menos satisfactorio de los objetivos empresariales u organizativos. Además, también podrían crear un riesgo legal en la medida en que se los considere casos de trato discriminatorio sobre la base de características prohibidas.11
Las cuestiones técnicas y legales involucradas en la realización de análisis de impacto dispares son formidables. Por esta razón, no todas las empresas tienen la experiencia o los recursos para realizar estos análisis por sí mismas. Sin embargo, por la misma razón, estas empresas no podrían desarrollar por sí mismas sofisticados sistemas de decisión algorítmica. Por lo tanto, los desarrolladores de estos sistemas deben producir análisis de impacto dispares para acompañar sus sistemas y ponerlos a disposición de sus clientes de la misma manera que producen y distribuyen estudios de validación sobre la precisión y confiabilidad de sus sistemas.
Un paso adicional para los desarrolladores y usuarios de estos sistemas sería la divulgación de información a terceros para permitir una validación independiente y una evaluación de impacto dispar. El análisis de organizaciones independientes proporciona un nivel adicional de credibilidad. Se puede hacer mucho con la información disponible públicamente, pero la información clave suele ser de propiedad exclusiva y de gran valor comercial. Las empresas deberían considerar la posibilidad de seleccionar investigadores externos con los que trabajar en relación con evaluaciones de impacto dispares. Facebook está experimentando con un sistema de este tipo en su Iniciativa Social Science One en relación con cuestiones electorales, y podría ampliar un sistema abierto a la evaluación de impactos dispares.
A más largo plazo, el mercado podría desarrollar organizaciones de auditoría independientes para evaluaciones de impacto dispares similares a las que evalúan el bienestar financiero de las empresas públicas.
Por último, las empresas deben considerar realizar estas evaluaciones para otras actividades consiguientes que no estén claramente cubiertas actualmente por las leyes contra la discriminación, como campañas de marketing para productos financieros o resultados de búsqueda basados en el nombre u ocupación de una persona, así como para clases vulnerables que no estén claramente protegidas por leyes vigentes, como la orientación sexual y la identidad de género.
Las medidas descritas en la sección anterior se pueden tomar de forma voluntaria y orientada al mercado, sin necesidad de que el gobierno haga nada en absoluto. ¿Qué puede hacer el gobierno?
Las agencias gubernamentales, en cooperación con la industria, también pueden realizar estudios de impacto dispares en áreas dentro de su jurisdicción. En un estudio reciente, la Junta de la Reserva Federal mostró que los puntajes de crédito son sistemáticamente más bajos para los afroamericanos y los hispanos a quienes, como resultado, se les niega el crédito y reciben tasas de crédito más altas.12Además, la Comisión Federal de Comercio mostró que los afroamericanos y los hispanos reciben puntajes de seguro de automóvil basados en crédito sistemáticamente más bajos y, por lo tanto, enfrentan primas de seguro de automóvil más altas.13
gmt es la zona horaria
Sin embargo, es posible que las agencias no tengan la experiencia técnica para evaluar los sistemas de toma de decisiones dentro de su área de jurisdicción que utilizan las técnicas de aprendizaje automático más nuevas. Como sugirió la administración de Obama, [las agencias gubernamentales] deberían ampliar su experiencia técnica para poder identificar prácticas y resultados facilitados por el análisis de macrodatos que tienen un impacto discriminatorio en las clases protegidas, y desarrollar un plan para investigar y resolver violaciones de la ley en tales casos.14
La administración Trump se está moviendo en la misma dirección al alentar a las agencias federales a examinar las opciones regulatorias y no regulatorias para tratar los problemas de IA en las áreas bajo su jurisdicción. Pronto publicará una orden ejecutiva que detalla este enfoque de los problemas y la regulación de la IA.15
Otras acciones de la agencia pueden incluir el uso de recursos y relaciones con la industria para facilitar la realización de evaluaciones de impacto dispares por parte de la empresa, proporcionar incentivos para que los desarrolladores realicen estas evaluaciones de sus productos, fomentar la interacción del desarrollador con auditores externos y presionar para que se divulgue información para auditorías de impacto dispares independientes.
Las agencias solo pueden actuar bajo su autoridad existente. Pero para lograr un progreso real, el Congreso debería considerar una nueva legislación que requiera que las empresas realicen evaluaciones de impacto dispares. La exposición reducida a violaciones de impactos dispares según la interpretación de los tribunales y la dificultad de hacer cumplir los sistemas algorítmicos han reducido el incentivo para que los desarrolladores produzcan estas evaluaciones por razones defensivas. Si los legisladores quieren que los desarrolladores y usuarios realicen estas evaluaciones con una frecuencia proporcional a su riesgo de aumentar las disparidades de clases protegidas, deberán exigirlas.
La Ley de Responsabilidad Algorítmica hace esto, pero asigna una nueva responsabilidad significativa a estas evaluaciones. en manos de la Comisión Federal de Comercio . Un enfoque diferente sería modificar los estatutos existentes contra la discriminación para exigir evaluaciones de impacto dispares para los sistemas de decisión automatizados utilizados en los contextos cubiertos por estas leyes. Las evaluaciones deben proporcionarse a la agencia reguladora apropiada encargada de hacer cumplir las leyes contra la discriminación y al público. A cada agencia también se le podría asignar la responsabilidad de realizar su propia evaluación de impacto dispar y tener nueva autoridad, si es necesario, para obtener datos de desarrolladores y empresas para este propósito. Las agencias también podrían estar autorizadas a trabajar con investigadores externos para realizar estas evaluaciones y aprobar a ciertos investigadores para que reciban datos de desarrolladores y empresas para realizar estas evaluaciones. Por último, es posible que se requiera que las agencias trabajen con desarrolladores y empresas para determinar qué datos podrían revelarse al público en general de manera que no comprometa la privacidad o los secretos comerciales para que los investigadores independientes puedan realizar sus propias evaluaciones.
A largo plazo, una mejora en la precisión y equidad de los sistemas algorítmicos depende de la creación de conjuntos de datos más adecuados.
A largo plazo, una mejora en la precisión y la equidad de los sistemas algorítmicos depende de la creación de conjuntos de datos más adecuados, lo que solo puede lograrse mediante acciones en el mundo real. Pero la creación de datos nuevos y más adecuados podría implicar una recopilación de datos costosa que no tendría beneficios para el sector privado. También podría implicar el aumento de la elegibilidad de los beneficios según los estándares algorítmicos existentes para llegar a miembros calificados de clases protegidas. Por ejemplo, las compañías de crédito pueden otorgar préstamos a miembros de clases protegidas que simplemente no cumplen con los estándares tradicionales de elegibilidad y examinan los resultados para identificar mejor la solvencia.
Sin embargo, existen límites para resolver las disparidades de larga data mediante ajustes en los algoritmos. Como han señalado muchos analistas, se necesitarán reformas sustanciales de la política de vivienda, la justicia penal, la asignación de crédito, los seguros y las prácticas laborales, por nombrar solo algunos, para reducir las desigualdades generalizadas que han persistido durante demasiado tiempo. [16] Las buenas prácticas algorítmicas conscientes de la equidad solo pueden llegar hasta cierto punto en el logro del trabajo de justicia social y económica.
La promesa de los sistemas de decisión automatizados, y especialmente las nuevas versiones de aprendizaje automático, es mejorar drásticamente la precisión y la equidad de la determinación de elegibilidad para varios beneficios del sector público y privado. El peligro es la exacerbación oculta de las disparidades de clases protegidas.
El camino a seguir es mirar y ver qué están haciendo estos sistemas. Como dijo Louis Brandeis, Sunlight es el mejor desinfectante. No podemos tomar medidas para remediar el sesgo potencial en estos sistemas si no los examinamos en busca de efectos discriminatorios. Todo gerente de negocios sabe que es imposible administrar lo que no se mide. Entonces, el primer paso esencial es medir hasta qué punto estos sistemas generan impactos dispares.
Esta recomendación es para la tradición de divulgación y evaluación como la forma de mejorar el funcionamiento de los sistemas organizativos. El progreso en la eliminación de las disparidades de clases protegidas primero necesita conciencia. Puede haber conversaciones difíciles por delante para determinar qué hacer si estas evaluaciones revelan disparidades. Pero si no los enfrentamos directamente, solo empeorarán y serán tanto más dañinos por hacerse en secreto.
Informe producido por Centro de Innovación Tecnológica