Una mirada de derechos humanos para el Plan de Inteligencia Artificial porteño

Durante noviembre y diciembre, el Gobierno de la Ciudad de Buenos Aires llevó a cabo una serie de encuentros virtuales para dialogar sobre el diseño e implementación del futuro Plan de Inteligencia Artificial para la Ciudad.

El equipo de la ADC participó activamente de las diversas discusiones, organizadas en mesas de trabajo por ejes temáticos, abordando aspectos de regulación, datos personales, ética, el rol del sector público y privado, comunicación, entre otros.

Con el objetivo de complementar los aportes realizados en dichas reuniones, presentamos ante los coordinadores del Plan una serie de recomendaciones para introducir una perspectiva de derechos humanos en el desarrollo de sistemas de inteligencia artificial (IA).

En muchos casos, la inteligencia artificial utiliza datos personales para llevar a cabo sus actividades. De esta manera, cuestiones de privacidad y seguridad merecen el mayor examen posible debido a los perjuicios que un abuso de este tipo de tecnologías puede tener para las personas y la sociedad.

Las recomendaciones que exponemos a continuación constituyen un punto de partida que debería tenerse en cuenta para que el Plan de IA de la CABA sea respetuoso de los derechos humanos. Esperamos que el Plan se lleve a cabo como un proceso de deliberación continuo, con nuevas instancias de participación que permitan ampliar también las personas y sectores involucrados.

1. Adoptar los estándares internacionales de derechos humanos como marco principal a través del cual evaluar los efectos de la IA en las personas y la sociedad. En este contexto, la ética puede cumplir una función, pero debe ser complementaria al enfoque de derechos humanos. A modo de ejemplo, el paradigma de la “ética por diseño” y la “privacidad por diseño y defecto” debería sumarse a cualquier iniciativa de IA que utilice datos personales. Pero esta necesidad de incorporar la ética no surge de la buena voluntad sino de una exigencia de la ley.
   
2. Reconocer la existencia de reglas vinculantes –como las leyes de protección de datos personales– y de organismos con capacidad para aplicarlos, como las autoridades de protección de datos. De esta manera, los desarrollos de IA que involucren el tratamiento de datos personales deben contar con una política pública, accesible y detallada acerca de –como mínimo– la forma en que se recolectaron los datos, los usos que se le darán y la manera en que tendrá lugar el procesamiento.
   
   Por otro lado, el consentimiento, libre y expreso, debe ser la regla general para el tratamiento. Esto no implica desconocer que la complejidad del funcionamiento de los sistemas de IA vuelve difícil –si no imposible– lograr un consentimiento informado. Es por eso por lo que el respeto de los otros principios del sistema de protección de datos personales debe ser exigido independientemente de la forma del consentimiento.
   
3. Definir usos para los cuales la implementación de IA se considerará inadmisible. Un enfoque basado en los derechos humanos debe tener como objetivo la prevención de abusos a los derechos fundamentales de las personas. De este modo, es esencial la prohibición de aquellos usos de IA que en las condiciones actuales resultan incompatibles con los derechos humanos. Entre estos usos podemos mencionar: a) la captura y procesamiento de datos biométricos en espacios de acceso público (por ejemplo, por parte de fuerzas de seguridad o de inteligencia, o por empresas con fines comerciales); b) la admisión o negación de servicios públicos esenciales o beneficios sociales de la misma índole; c) el análisis predictivo de actividad criminal (predictive policing).
   
   La determinación inicial de estos usos prohibidos debe ser acompañada por investigaciones y procesos de deliberación democrática, con el objetivo de que la ciudadanía porteña -en base a la más amplia evidencia disponible- sea la encargada de decidir el modo en que esta tecnología se va a emplear para la resolución de sus problemas sociales.
   
4. Confiar en procesos deliberativos amplios frente a modelos cerrados como los comités de personas expertas. El diseño e implementación de IA no puede ser definido de manera cerrada, en especial cuando tenga repercusiones en toda la sociedad. La creación de comités de personas expertas suele ser justificada en la complejidad de los temas a abordar en las discusiones de IA. Si bien no se puede negar que un tratamiento adecuado de los desafíos de la IA requiere de ciertos conocimientos técnicos, filosóficos o jurídicos, resulta contrario a nuestras intuiciones democráticas que la ciudadanía no pueda intervenir, decidir, ni controlar ningún aspecto del proceso.
   
   El carácter deliberativo de la democracia exige que todas las personas que van a ser afectadas por una decisión tengan el derecho a influir  de manera significativa en ella. Bajo este enfoque, los comités de personas expertas pueden cumplir una función importante mediante la provisión de información, la realización de estudios o la capacitación de la ciudadanía. Sin embargo, la decisión final siempre tiene que estar en manos de la sociedad.
   
   En este sentido, el Plan debería proponerse como objetivo el diseño de mecanismos significativos de involucramiento democrático, como la creación de juntas ciudadanas, asambleas o encuestas deliberativas. Teniendo en cuenta que estos procesos deben ser sostenidos en el tiempo, para evaluar la efectividad de los desarrollos de IA.
   
5. Repensar ciertos principios clásicos del sistema de protección de datos personales a la luz de los nuevos dilemas de la IA. En este sentido, un ejemplo relevante es el principio de finalidad. Los métodos computacionales utilizados por la IA son tan poderosos que puede resultar imposible conocer todos los usos a que pueda dar lugar un tratamiento de datos. Este fenómeno se acentúa en el caso de técnicas avanzadas, como las de machine learning. De este modo, el principio de finalidad debe gozar de máxima protección al momento de implementar un sistema de IA que opere con datos personales. Por lo tanto, los propósitos del tratamiento deben establecerse de modo explícito de manera previa a su inicio para que, quien es titular del dato cuente con la información suficiente para dar un consentimiento válido.
   
6. Incorporar una metodología de debida diligencia en derechos humanos, con el objetivo de evaluar los posibles impactos que puede producir el sistema de IA. Este proceso debe llevarse a cabo desde el primer momento en que se le comienza a dar forma a una idea, pasando por el diseño, desarrollo y puesta en producción de dicho sistema. Idealmente, se puede designar a una persona o un equipo específico que lidere el trabajo de evaluación, de manera transversal a la estructura de la organización. Para llevar a cabo este proceso, puede utilizarse la guía desarrollada por la ADC “¿Cómo implementar la debida diligencia en derechos humanos en el desarrollo de tecnología?“.
   
7. La dificultad del consentimiento informado está ocasionada por la complejidad del funcionamiento de este tipo de sistemas, incluso para quienes los diseñan. Por lo tanto, pareciera injusto que sean los individuos que las usan, quienes carguen con la responsabilidad de informarse y entender materias tan áridas como los efectos que los sistemas tengan sobre sus derechos fundamentales. En este contexto, es importante reconocer que las formas tradicionales de protección de datos como el consentimiento pueden no tener la misma eficacia en sistemas complejos como los de la IA, si se lo considera de manera aislada de los otros principios. Por lo tanto, de la misma manera que sucede en otros ámbitos en donde se ha reconocido la desigualdad de posición entre las partes (derecho laboral, derecho del consumidor, entre otros), el consentimiento debe ser considerado como un requisito que se une a otros deberes y no como algo que los sustituye.
   
8. Los sistemas de Inteligencia Artificial deben incorporar mecanismos de seguridad digital, como un concepto distinto a “seguridad nacional”, “interés nacional” o “interés económico”. Este nuevo enfoque supone que la seguridad debe centrarse en la capacidad de las personas de relacionarse con la tecnología de manera beneficiosa para sus necesidades y preferencias, sin que ella les exponga de manera desproporcionada a riesgos de control de su autonomía e identidad. Los controles de seguridad deben estar previstos en un lenguaje accesible para todo público. Para ello, es conveniente que participen en la redacción tanto las personas expertas en seguridad informática como de otros ámbitos (derecho, comunicación, etc.) y que puedan traducir a una terminología más amigable al usuario/a promedio la jerga técnica. Asimismo, deben establecerse auditorías independientes con acceso completo al funcionamiento del sistema para evaluar su compromiso con el respeto a los derechos fundamentales.
   
9. Establecer instancias de cooperación permanentes entre autoridades, academia, sector técnico, sector privado y sociedad civil para la discusión de evidencia e impactos en materia de Inteligencia Artificial. La participación multi-sectorial sólo será significativa en tanto los diversos aportes realizados se reflejen en las acciones y documentos que se vayan a adoptar. A su vez, la etapa de supervisión y aplicación de lo acordado también debe contar con la intervención de todas las partes interesadas en el proceso.
   
10. El plan debería reconocer explícitamente la existencia de prejuicios y estereotipos negativos que pueden afectar especialmente a grupos sociales que se encuentran en situación de vulnerabilidad frente a los cuales la IA puede tener efectos particularmente perjudiciales. Quienes diseñen, desarrollen e implementen sistemas de IA deben garantizar que se evite el uso de pretextos discriminatorios, como etnia y género u otro/s que deriven  sesgos negativos. Este aspecto resulta de especial relevancia en un país con niveles de desigualdad y discriminación considerables como el nuestro.
    
    Los sistemas de IA pueden ser utilizados para asignar calificaciones crediticias, predecir zonas donde serán cometidos delitos o decidir quién ocupará un puesto de trabajo, entre otras actividades que impactan en derechos humanos. Si los algoritmos presentan sesgos que refuerzan prejuicios sociales, se corre el riesgo de producir resultados injustos y generar privilegios que incrementan las desventajas sufridas por esos grupos. Por lo tanto, el reconocimiento de esta circunstancia  debe dar lugar a que las políticas públicas consideren contextualmente el impacto de la aplicación de la IA en las poblaciones que se encuentran en mayor situación de vulnerabilidad.
    
11. La toma de decisiones automatizadas por parte de sistemas de IA pueden producir profundos impactos en la vida de las personas, en cuestiones como empleo, vivienda, comercio o acceso al crédito. Para estos casos y otros en donde haya efectos jurídicos sobre los individuos, las personas deben tener el derecho a  explicación. Este derecho implica un conjunto de acciones que quienes sean responsables del tratamiento de datos deben cumplir: explicar la lógica seguida por el sistema para la decisión, informar de la existencia de intervención humana y si la hubo, detallar la forma. Además, las personas deben contar con el derecho a expresar su punto de vista y a impugnar la decisión.
    
12. El principio de transparencia debe ser incorporado como medio para permitir una evaluación independiente de las decisiones automatizadas. Posee un fuerte vínculo con el derecho de explicación, ya que permite al individuo conocer los fundamentos de una decisión adversa. Si bien puede no ser posible para el individuo interpretar las bases de una determinada decisión, esta situación no puede servir para pasar por alto la necesidad de asegurar que tal explicación sea posible.
    
13. Existe una asimetría de poder en la relación de identificación entre los individuos y los sistemas de IA. Mientras los sistemas poseen una gran cantidad de información acerca del individuo, este puede no conocer ni siquiera a quien opera el sistema. Por lo tanto, debe haber una obligación de identificación que permita que cada individuo conozca el sistema de IA en funcionamiento y la institución responsable.
    
14. La evaluación de los sistemas de IA deben tener lugar durante todo su ciclo de vida, en particular antes y durante su implementación. El objetivo de este examen es determinar si un sistema de IA debe ser establecido. En este sentido, si la evaluación detecta riesgos sustanciales para los derechos de las personas o la seguridad pública o no se cumplen de manera satisfactoria las condiciones de aplicabilidad, el proyecto debería ser abandonado o interrumpido inmediatamente.
    
15. Los individuos deben tener el derecho de oposición a que sus datos personales sean tratados por sistemas de IA, en especial aquellos que impliquen elaboración de perfiles acerca de su personalidad, conducta o hábitos. Esta facultad debería ser reforzada en los casos en que se utilicen datos sensibles o el sistema permite obtener datos sensibles o inferencias del mismo modo a partir de datos no sensibles.
    
16. En el caso de sistemas de IA que tomen decisiones automatizadas sobre las personas, deben estipularse políticas precisas, transparentes y accesibles que permitan impugnar y remediar cualquiera de las decisiones tomadas mediante procesos automatizados. Para ello, es fundamental que exista intervención humana significativa que sea la responsable de tomar en última instancia esas decisiones. Asimismo, debe establecerse la obligación de terminar un sistema de IA cuando el control humano ya no sea posible.
    
17. En un ecosistema laboral en donde cada vez más tareas están mediadas por las decisiones algorítmicas (asignación de trabajos o tareas, obligatoriedad de aceptar trabajos y consecuencias en un ranking de trabajo, evaluación de desempeño automatizadas, determinación de precios y comisiones algorítmicas, etc), es esencial que las mismas cuenten con procesos de intervención y regulación mediados por múltiples partes y de acuerdo a derechos laborales preexistentes en cada país.
    
    Al mismo tiempo, el avance de la inteligencia artificial en la automatización de tareas, realizadas previamente por personas, requiere de planificación adecuada entre el sector privado y público (ministerios de trabajo, de educación, de producción). Incluso, si se requiriera, se recomienda lentificar los procesos de aceleración tecnológica en ciertas industrias mientras su fuerza de trabajo se capacita para nuevos empleos, en pos de no generar impactos negativos que generen nuevos desequilibrios en la población. Alternativas como la generación de aportes o impuestos por parte de las empresas tecnológicas más beneficiadas por la transformación de la IA para solventar estas capacitaciones se sugieren y están siendo impulsadas en distintas partes del mundo.
    
    Por último, la escuela, desde la formación básica hasta la universidad, debe reforzar su capacidad de formación en los aspectos fundamentales de la formación en matemáticas y ciencias sociales, permitiendo a los y las estudiantes comprender el mundo de la tecnología por sus propios medios, más allá de qué herramientas tecnológicas utilicen (se trata de enseñar conceptos fundamentales y no a utilizar un software o una determinada máquina).
    
18. Las recomendaciones anteriores pueden constituir un recurso útil para la generación de un capítulo específico dedicado a privacidad y seguridad, en el documento guía para la implementación de soluciones basadas en IA en el sector público, que se elaborará en el marco del Plan. Tanto como para las acciones de sensibilización destinada a decisores de gobierno en relación a los usos de la tecnología y su potencial.
    
    Establecer los esquemas apropiados para el aprovechamiento de las oportunidades para la construcción de Estado Inteligente, implica aplicar mecanismos de evaluación y análisis de riesgos, para determinar tanto la legitimidad como la pertinencia de la aplicación de IA en el sector público. Estos mecanismos contribuirán a la detección de posibles soluciones basadas en IA de las distintas áreas de gobierno y la selección de proyectos pilotos. El diseño de políticas públicas han de poner en el centro a las personas, sus necesidades y derechos fundamentales, en lugar de a la tecnología.
    
    En cuanto a la conformación de un equipo experto para la implementación de IA que pueda asesorar a los diferentes organismos que conforman la administración pública de la Ciudad: ver puntos 4 y 6.
    
    
    
    Foto: Nestor Barbitta en Unsplash