¡Sonríe! la inteligencia artificial te está “interpretando” Michelle Azuaje-Pirela
Gran revuelo ha causado en la comunidad académica internacional la reciente publicación de la Dra. Kate Crawford, autora del libro “Atlas of AI” quien en un artículo de Nature advierte que: “la pandemia de la COVID-19 se está utilizando como pretexto para introducir herramientas de inteligencia artificial no probadas en los lugares de trabajo y las escuelas.” Por lo que, además, insiste en que es hora de regular a los sistemas de inteligencia artificial (en adelante IA) que “interpretan” emociones humanas. En efecto, esta preocupación no es algo nuevo. Desde hace algunos años la mencionada autora junto a diversos investigadores y organizaciones protectoras de derechos humanos han venido advirtiendo sobre el incremento en la comercialización y el uso de sistemas de IA que aseguran poder analizar los movimientos faciales, el tono de voz y los patrones del habla, para interpretar emociones humanas.
Dicha tecnología se supone que aportaría información que contribuiría a tomar importantes decisiones, como, por ejemplo, el resultado de una entrevista de trabajo. El problema es que esto ocurriría sin que muchas veces el candidato tenga conocimiento, haya prestado su consentimiento o tenga la posibilidad de conocer los resultados del uso de dichos sistemas; o bien, en situaciones que pueden afectar sus derechos, intereses personales o el acceso a ciertas oportunidades. Así que no es ese su único campo de aplicación. En el citado artículo, entre otras cosas, Crawford menciona el ejemplo del software de IA llamado “4 Little Trees”, creado por la startup Find Solution AI utilizado en escuelas de Hong Kong. Según sus creadores se trata de un “modelo patentado de motivación impulsada por la IA, que combina la IA con el análisis emocional, que es capaz de facilitar el proceso de aprendizaje de los estudiantes y brindar una mejor asistencia a los profesores.” A este respecto, no se trata de un mero sistema de reconocimiento facial ya que con él se utiliza IA para monitorear las reacciones de los alumnos y sus respuestas a las clases y tareas.
En ese sentido, se miden los puntos musculares de los rostros de los niños a través de la cámara de su computadora para identificar emociones como felicidad, tristeza, ira, sorpresa y miedo. Asimismo, se monitorea el tiempo que tardan en responder preguntas; se hace un registro de sus calificaciones e historial de desempeño, para generar informes personalizados sobre sus fortalezas, debilidades y niveles de motivación; e incluso para pronosticar sus calificaciones. Para todo esto se cuenta con el consentimiento de los padres, pero ¿será suficiente? ¿cuáles son los riesgos de que impacte negativamente en el futuro de los niños?
En ese contexto -en principio- es verdad que la IA aplicada en el sector educativo puede ofrecer numerosas oportunidades para agregar más valor a los estudiantes y facilitar el proceso enseñanza-aprendizaje porque a través de sus correlaciones e inferencias puede arrojar estrategias personalizadas. Esto podría ser de mucha ayuda en un contexto de clases a distancia en el que, como hoy, es particularmente difícil generar esas típicas estrategias de mejora a partir del “feedback” alumno-profesor que aporta la presencialidad. A falta de ello resultaría muy útil contar con una herramienta que facilite monitorear de forma remota las emociones de los estudiantes mientras aprenden para mejorar su experiencia y evitar la deserción.
Qué maravilloso sería poder hacer frente a esos y otros problemas pedagógicos de la pandemia y no tener que preguntar una y otra vez si “¿hay alguien ahí?” O desde otro punto de vista, que la tecnología pueda en verdad ayudar a mejorar la salud mental de los estudiantes universitarios que, frente a estas y otras situaciones adversas puede verse afectada y esto a su vez impactar en sus niveles de éxito como profesionales. Pues bien, sistemas de este tipo -y otros- para comprender, responder, medir y simular las emociones humanas van en incremento en la medida en que avanzan los desarrollos en el campo de la computación afectiva y la inteligencia artificial emocional, pero ¿cuáles podrían ser las implicaciones sociales de esto?
¿Cómo funcionan estos sistemas? ¿En qué campos se aplican? ¿Por qué es necesario regular?
En términos muy generales la computación afectiva es una rama de la IA que busca el diseño de sistemas y dispositivos que puedan leer, reconocer, interpretar y procesar emociones humanas. En este orden de ideas, los sistemas que aplican la computación afectiva serían capaces de capturar y reconocer los estados emocionales; procesar esa información clasificarla, gestionarla, y aprender sobre ella usando algoritmos (de machine learning); también podrían generar las respuestas y las emociones correspondientes. Así, por medio de dispositivos para la detección de emociones serían capaces de reconocer el estado emocional de un usuario a través de cámaras que capturan “propiedades observables de las emociones”. Entre ellas se consideran, por ejemplo, el color de la piel, los movimientos corporales, gestos, o incluso la detección de expresiones faciales en base al análisis de movimientos musculares o de puntos característicos de la cara. Otros dispositivos como los eye-trackers permitirían obtener información sobre la dilatación y el seguimiento de las pupilas. A través de micrófonos se capturan el lenguaje y las variaciones en entonación, tono o volumen de la voz. E incluso por otra parte, sería posible obtener información difícilmente observable, utilizando sensores que registren medidas fisiológicas como la respiración, el pulso, entre otros.
En ese sentido, ello se hace no solo para que la IA “imite” las emociones humanas (como lo hace por ejemplo BabyX[), sino también desde otro punto de vista, para que ésta “comprenda” e “interprete” dichas emociones y mejore la experiencia de los usuarios al interactuar con una aplicación informática, pero los usos pueden ir más allá. Así, entre las motivaciones de algunos proyectos que involucran la computación afectiva e interpretación de emociones se ha invocado desde aumentar la productividad de equipos de trabajo hasta encontrar nuevas formas de pronosticar y prevenir el suicidio o la depresión e inventar nuevas soluciones para ayudar a las personas a enfrentar desafíos de comunicación, motivación y regulación de emociones, entre otros. Y si eso es así ¿Por qué la preocupación por su uso o la necesidad de su regulación?
En primer lugar, porque, aunque se trata de un campo que crece rápidamente y se aplica en las más diversas áreas (como seguridad, salud, educación, entretenimiento, robótica, recursos humanos y marketing) existen dudas sobre su precisión, a lo que hay que sumar los problemas relacionados con la privacidad, protección de datos personales y la transparencia (entre otros). En segundo lugar, porque por esa misma razón podría dar lugar a decisiones sesgadas, así que hacerlas descansar únicamente en la recomendación o predicción del sistema o el consentimiento informado de quienes son sometidos a ellas puede ser insuficiente. Sobre este último particular, algunas investigaciones dan cuenta de que ciertas tecnologías de análisis de emociones tienen problemas para identificar aquellas de los rostros de piel más oscura, en parte porque el algoritmo está formado por prejuicios humanos y “aprende” a identificar las emociones de la mayoría de los rostros blancos y esto puede llevar a situaciones discriminatorias.
Entonces, ¿qué hacer?
Como ha ocurrido con diversos problemas asociados al uso de la IA, lo que comenzó como una preocupación sobre la ética, puede tener importantes consecuencias jurídicas porque puede afectar derechos fundamentales. Por esas y otras razones el Instituto AI Now en su reporte de 2019, llamó a los gobiernos a elaborar regulaciones estrictas que conlleven “prohibir específicamente el uso del reconocimiento de emociones en los procesos de toma de decisiones de alto riesgo.” En opinión de Crawford muy especialmente se requiere “protección legislativa de usos no probados de estas herramientas en todos los dominios: educación, atención médica, empleo y justicia penal.”
Ahora bien, como se indicaba antes, puede que haya aplicaciones que -adecuadamente gestionadas y probadas- generen un mayor beneficio que perjuicio y, por lo tanto, pueda estar justificado su uso. Incluso en algunos casos convendrá promoverlo. Piénsese, por ejemplo, en sistemas que puedan ayudar a detectar señales de advertencia para prevenir el suicidio o en aquellos que puedan detectar conductores ebrios. En ese sentido, si se piensa en los potenciales beneficios que este tipo de tecnologías podría tener en esas y otras áreas, conviene que las prohibiciones -en caso de haberlas- no sean absolutas.
El problema está en que, así como hay sectores que desconfían absolutamente del uso de ciertas tecnologías, muchas veces hay otros que depositan una “confianza ciega” en los sistemas, los cuales también pueden “cometer” errores y esto aumenta los riesgos de usos inadecuados potencialmente violatorios de derechos. ¿Cómo resolverlo? Sin perjuicio de que, en muchos casos algunos problemas encontrarán solución en la normativa de protección de datos personales, se requiere la fijación de criterios tecnológicos y jurídicos adicionales en las áreas de mayor sensibilidad. Estos tendrían que garantizar no solo la transparencia, explicabilidad y que las personas estén informadas y presten su consentimiento para someterse a estos sistemas (o que en algunos supuestos cuenten con medios de impugnación); sino también que se impongan algunos estándares técnicos y auditorías en su ciclo de vida. Así que conviene regular algunos aspectos y crear certificaciones y normas técnicas específicas para el uso de ciertos productos y servicios de IA.
En efecto, uno de los puntos de partida de la recientemente publicada propuesta europea para la regulación de la inteligencia artificial deja claro que uno de sus objetivos es buscar equilibrios que permitan garantizar -en ese contexto- que los europeos puedan “beneficiarse de las nuevas tecnologías desarrolladas y en funcionamiento de acuerdo con los valores, derechos fundamentales y principios de la Unión.” En la visión de esta propuesta, esto implicará entre otras cosas, establecer aquello que definitivamente debería estar prohibido y asignar obligaciones para el uso de otros sistemas en función de sus niveles de riesgo. En ese sentido, la propuesta europea se centra muy especialmente en la regulación de las aplicaciones que se consideran de alto riesgo, incluyendo prohibiciones para algunos supuestos excesivamente peligrosos para la seguridad de las personas o para su derechos fundamentales.
Sin perjuicio de que la revisión de esta propuesta excede del propósito de este artículo, sí puede mencionarse que en el marco de ella, por ejemplo, conforme a lo dispuesto en el Artículo 5, eventualmente podría estar prohibido el uso por parte de la Administración de un sistema de IA que interprete emociones si con ello “se clasifica la confiabilidad de una persona” en “función de sus características personales”, asignándole “puntuaciones sociales” que conlleven un trato perjudicial o desfavorable para ella (como el sistema de crédito social chino que combina varios tipos de tecnologías para lograr esos fines). Sin embargo, es verdad que la redacción no es precisa, no menciona expresamente a estos sistemas -de lectura e interpretación de emociones- y queda abierta a más de una interpretación. Así, por tratarse de una norma que establece prohibiciones se requiere de una redacción más específica.
No obstante, otros usos de ese mismo sistema no estarían prohibidos, sino que se considerarían de alto riesgo imponiendo diversas obligaciones para poder usarlo (como los sistemas de IA utilizados por las autoridades para detectar el estado emocional de una persona física en controles migratorios). Aunque esta solución no ha estado exenta de cuestionamientos (porque se opina que las obligaciones que se imponen a ese respecto parecen ser insuficientes para proteger los derechos fundamentales), es sin duda un paso importante en términos de lo que está por venir.
Así que, más allá de los aspectos mejorables y de cuál sea el resultado final de esta y otras propuestas de regulación para la IA, hay un mensaje que es cada vez más claro y contundente: estos y otros tipos de prácticas y tecnologías ya no pueden hacerse “a puerta cerrada” quedando al margen del escrutinio público. Y, además, que el aprovechamiento de las oportunidades que brinda la tecnología se encamina cada vez más a entender que ello no será posible si no va de la mano con la promoción y garantía del respeto a los derechos fundamentales.
Michelle Azuaje-Pirela
Fuente: ADefinitivas