 |
 |
|
|||||||||
| Óscar Fontanelli y Ricardo Mansilla |
|||||||||||
|
En el mundo globalizado del siglo XXI, el uso de internet
y la comunicación mediada por computadoras han revolucionado la manera en que los seres humanos nos comunicamos, formamos comunidades y entendemos y representamos el mundo. En este contexto, la aparición y popularización de las redes sociales digitales supone un fenómeno social sin precedente que se ha convertido en un importante canal de comunicación entre individuos y grupos, en el cual se difunde información y desinformación a nivel masivo, se conectan comunidades geográfica o culturalmente separadas y muchas otras cosas más.
Desde otro ángulo, muchas empresas han hallado en dichas redes sociales canales muy eficientes para comunicarse con sus clientes y potenciales consumidores, colocar sus productos en el mercado, hacer campañas de publicidad muy amplias a bajo costo, así como publicidad dirigida, la cual está focalizada casi personalmente para cada consumidor. De manera similar, en diferentes lugares del mundo los partidos políticos se valen de ellas para difundir sus mensajes, promocionar sus campañas, identificar y clasificar a los votantes de acuerdo con sus preferencias y gustos, inducir una buena imagen de sus candidatos o una imagen negativa de los candidatos y figuras opositoras, etcétera. Todo esto determina, más de lo que creemos, nuestra percepción del entorno cultural, político y social en que vivimos.
El enorme rastro digital que dejan estas redes sociales, aunado al acelerado crecimiento en nuestra capacidad de cómputo, han dado lugar a un boom en el estudio estadístico, matemático y computacional acerca de la configuración de los procesos que se llevan a cabo en su creación. Un fenómeno particularmente interesante al respecto, que se ha hecho patente, es la percepción distorsionada que podemos llegar a tener de la realidad como consecuencia de la estructura de dichas redes sociales, cuyo estudio ha sido efectuado desde la estadística y la teoría de redes —una rama interdisciplinaria de las matemáticas enfocada al estudio de redes complejas. Esto se puede apreciar en el análisis de dos fenómenos que ilustran lo anterior: 1) la paradoja de la amistad, que distorsiona la percepción que tenemos de nosotros mismos al compararnos con los demás; y 2) el espejismo de la mayoría, que deforma la apreciación que tenemos respecto de lo que es muy común en la sociedad y lo que no lo es. Es cierto que estos dos fenómenos ocurren en cualquier tipo de entorno social (una escuela, una oficina, un vecindario, etcétera), pero el advenimiento de las redes sociales digitales ha permitido analizarlos de manera precisa, masiva y cuantitativa, además de potenciar su alcance y la percepción sesgada que conllevan. Es importante saber, por tanto, de qué tratan, más allá de que sean curiosidades matemáticas por demás interesantes.
La paradoja de la amistad
Si alguna vez ha sentido que sus amigos son más populares, socialmente más activos o francamente más interesantes que usted, sepa que la estadística y la teoría de redes confirman que esto en efecto es así, al menos para la gran mayoría de las personas. Es algo que fue estudiado en 1991 por el sociólogo Scott Feld, quien analizaba la forma como los estudiantes de preparatoria establecen relaciones sociales con sus compañeros. Utilizando una base de datos recopilada en 1961 en doce preparatorias estadounidenses, Feld descubrió un fenómeno que a primera instancia luce sorprendente y paradójico: la mayoría de los estudiantes tenían, en promedio, menos amigos que sus amigos.
¿Qué significa el “número promedio de amigos de mis amigos”? Supongamos que en una red social usted cuenta con cuatro amigos: Juan, quien tiene tres amigos, José, seis, María, cinco y Guadalupe, seis. Así, usted tiene cuatro amigos mientras que, en promedio, sus amigos tienen cinco amigos cada uno, por lo que tiene menos amigos que el promedio de sus amigos. A esto se le conoce como la “paradoja de la amistad”, ya que suena paradójico, porque ¿cómo es posible que todo mundo tenga menos amigos que el promedio?, ¿no contradice esto nuestra idea de lo que es un promedio?, ¿cómo puede estar todo mundo por debajo del promedio?
Para entenderlo hay que analizar primero lo que se afirma en esta aparente paradoja: que la mayoría de las personas (no todas) tendrá menos amigos que el promedio de sus amigos (no que el promedio global de amigos en la comunidad); en segundo lugar, es necesario reflexionar sobre la forma en que se distribuye el número de amigos de cada persona en una comunidad o red social.
En prácticamente cualquier entorno social cada persona tiene una cierta cantidad de amigos. No todo el mundo tiene las mismas habilidades y disposiciones sociales y siempre ocurre que hay un grupo reducido de personas con muchísimos amigos (vamos a llamarlos los “chicos populares”), mientras que la gran mayoría de las personas tienen pocos amigos, llegando incluso a haber algunos cuantos individuos con muy pocas relaciones de amistad (los “chicos antisociales”). Pues bien, es claro que los chicos populares van a aparecer en los círculos sociales de muchas personas, por eso precisamente es que son populares, y es por ello que muchas personas se sienten poco populares en comparación; por ejemplo, si usted tiene cuatro amigos y uno de ellos tiene cincuenta amigos, ese chico popular hará que el promedio de amigos de los amigos de usted aumente notablemente, dejándolo a usted por debajo del promedio. Por otra parte, los chicos antisociales son muy pocos y aparecen en muy pocos círculos sociales, haciendo que sean pocas las personas que, en comparación, se sientan populares.
Visto de otro modo, hay dos distribuciones distintas que se debe tomar en cuenta: una es la del número de amigos de los individuos (cuántos amigos tiene usted), y otra es la del número de amigos de los amigos de cada individuo (cuántos amigos tienen, en promedio, los amigos de usted). En la primera cada individuo contribuye sólo una vez, pero en la segunda cada miembro de la comunidad contribuye varias veces, tantas como amigos tenga en la red. Así, los individuos con muchas relaciones de amistad, los chicos populares, quedan sobrerrepresentados pues contribuyen muchas más veces que el resto, ocasionando que el promedio de la segunda distribución sea, inevitablemente, mayor que el promedio de la primera (si somos estrictos, es mayor o igual). Dado que esto puede verificarse matemáticamente, es posible afirmar con plena seguridad que en cualquier comunidad o red social la mayoría de las personas tendrá siempre menos amigos que sus amigos.
¿Cómo podemos comprobar que en verdad esto es así?, ¿no es acaso relativa la percepción de la amistad?, ¿qué sucede si María se considera amiga de Juan, pero Juan no se considera amigo de María? Efectivamente, más allá de los cálculos matemáticos que nos dicen que la paradoja de la amistad siempre va a estar presente, son pocos los estudios, como el de Scott Feld, con datos de, digámoslo de cierto modo, “personas de carne y hueso” (el cual, por cierto, consideraba únicamente las relaciones en que ambas partes se consideraban amigos). Sin embargo, el surgimiento de las redes sociales digitales ha permitido hacer este tipo de estudios a gran escala, dejando además de lado la ambigüedad de la percepción de la amistad. En Facebook, por ejemplo, es claro si dos usuarios son o no amigos en la red, mientras que en Twitter se puede siempre determinar si un usuario es seguidor de otro o no.
Los estudios efectuados en estas dos redes sociales digitales confirman la paradoja de la amistad: si usted es usuario de Facebook, sus amigos tendrán casi siempre más amigos que usted; es contundente. No obstante, el caso de Twitter es más complejo, pues en dicha red las relaciones de amigoseguidor no son necesariamente recíprocas. Usted puede seguir a Barack Obama (la cuenta con más seguidores al momento de escribir este texto), pero no quiere decir que Obama lo siga a usted; en tal caso, se dice que usted es su seguidor y que él es amigo de usted. Se trata de una relación asimétrica. Esto hace que la paradoja de la amistad se presente en cuatro variantes: sus seguidores tienen más seguidores que usted, sus seguidores tienen más amigos que usted, sus amigos tienen más seguidores que usted y sus amigos tienen más amigos que usted.
Este fenómeno parece, sin embargo, ir todavía más allá, al menos en la percepción de la mayoría de nosotros. No sólo vemos a nuestros amigos como más populares que nosotros, sino que los percibimos también como más felices, ricos y exitosos. Esto suena mucho más subjetivo que la popularidad y definitivamente más difícil de determinar pues, ¿cómo nos ponemos de acuerdo en la manera adecuada de medir la felicidad o el éxito?
Los estudios efectuados en redes de colaboraciones científicas, por ejemplo, han revelado que la paradoja de la amistad puede extenderse a otras variables correlacionadas con la popularidad de los individuos; dichas redes se construyen tomando los nombres de todas las personas (al menos en principio) que han publicado algún artículo de investigación científica, y en ellas se establece que dos individuos están unidos o relacionados si han colaborado en algún trabajo, es decir, si han sido coautores de algún artículo o publicación. No es una sorpresa enterarnos que la gran mayoría de los científicos tiene menos colaboradores que sus colaboradores; lo que sí resulta sorprendente es que la gran mayoría de los científicos recibe menos citas de sus trabajos que sus colaboradores. Si suponemos, sin conceder, que el número de citas es una medida de qué tan exitoso es un científico, resulta que la gran mayoría de los científicos son menos exitosos que sus colaboradores.
Esto último lo podemos entender porque la cantidad de citas que recibe un académico y el número de colaboradores que tiene o ha tenido se encuentran directamente relacionados: si un científico tiene muchos colaboradores, seguramente publicará gran cantidad de trabajos y recibirá muchas citas, lo que generará que tenga una mayor visibilidad y por tanto colabore con más gente, entrando así en una especie de ciclo que se retroalimenta. Quizás estamos simplificando de manera grosera con esta descripción el proceso de publicación y de construcción de redes de colaboración, pero es innegable que sí estamos captando elementos esenciales de dicha dinámica. Si casi todo el mundo tiene menos colaboradores que sus colaboradores y el número de colaboradores está correlacionado con el de citas, es natural concluir que casi todo el mundo tendrá menos citas que sus colaboradores.
A este segundo fenómeno, en el cual la paradoja de la amistad se extiende a otras cantidades que se correlacionan con la popularidad y número de contactos de los individuos en la red, se le conoce como la “paradoja de la amistad generalizada”. Más allá de lo subjetiva que puede llegar a ser nuestra percepción de qué tan exitosos o felices son nuestros amigos, este fenómeno estadístico y propio de la teoría de redes está detrás del hecho de que la mayoría de las personas crea que sus amigos tienen, en términos generales, vidas mejores que las de ellos. Pero también es cierto que ante un brote epidémico, por poner un ejemplo donde este fenómeno podría resultar beneficioso, lo más probable es que usted sea menos susceptible al contagio que el resto de sus amigos.
Tales paradojas sociológicas forman parte de una categoría más amplia, llamada “paradojas del tamaño de la clase”. Son fenómenos cada vez más estudiados en matemáticas y en sociología, los cuales incluyen el hecho de que percibamos los restaurantes y los bancos más saturados de lo que realmente están, los grupos en las escuelas más llenos de lo que están realmente, etcétera. Su interés, más allá de ser una curiosidad matemática, radica en que todos estos fenómenos influyen en cómo percibimos nuestro entorno y respondemos a diferentes aspectos del mismo.
El espejismo de la mayoría
La paradoja de la amistad es un claro ejemplo de cómo nuestra percepción de la realidad puede ser influenciada por la configuración de nuestra red o redes sociales. Sin embargo, existen otros fenómenos que también sesgan de manera importante nuestra apreciación y que tienen que ver con la manera como se conforman las conexiones de nuestras redes sociales, sean digitales o “reales”; por ejemplo, ¿alguna vez se ha preguntado por qué un candidato ganó una elección, y por mayoría abrumadora, cuando usted sentía que casi todo el mundo estaba en contra?, ¿nunca ha visto que una cierta opinión, tendencia o moda comienza a hacerse muy presente en redes sociales y parece ser mayoritaria, incluso cuando su intuición le dice que esto no puede ser así?
Es bien sabido que las personas tienden a formar lazos sociales o relaciones de amistad en redes sociales digitales con aquellas que comparten gustos musicales, opiniones políticas, aficiones deportivas, hábitos de consumo, etcétera; es decir, solemos hacernos amigos de otros que se parecen a nosotros. A esto se le llama “sesgo de selección” y nos hace creer, equivocadamente, que toda la gente se parece a nosotros, hasta que un día vemos más allá de nuestro círculo social y caemos en cuenta de que aquellas cosas que, según nosotros, son muy normales, en realidad no lo son tanto. Pero esta falsa percepción puede ir más allá, dependiendo de cómo sean las conexiones en nuestro entorno social; a veces ocurre que la gran mayoría de la sociedad, no únicamente uno, percibe como muy normal algo que en realidad no lo es. ¿Cómo ocurre esto?
A esto se le llama “espejismo de la mayoría”, es el fenómeno por el cual la gran mayoría de la gente percibe cierta opinión, actitud o característica como mayoritaria cuando en realidad es minoritaria. Para entenderlo mejor observemos la figura 1, que está inspirada en el trabajo seminal de Kristina Lerman y sus colaboradores, quienes señalaron por primera vez la aparente paradoja: vemos catorce círculos que representan a catorce personas y sus relaciones de amistad, por ejemplo, el individuo 1 es amigo de los individuos 2, 6, 8 y 11. Cada círculo es de un color, blanco o negro, lo cual representa una cierta opinión o característica del individuo (por ejemplo, si vota por la izquierda o la derecha, si le va al Real Madrid o al Barcelona, si es racista o no, y cualquier otro ejemplo similar). Nosotros podemos ver que, de los catorce individuos, tres son de color negro y once blancos. Estos últimos, claramente, son mayoría, y lo sabemos porque estamos viendo la red desde afuera y tenemos una visión completa de la misma. Sin embargo, ¿qué es lo que perciben los individuos desde dentro?
Si consideramos que cada persona de esta red social sólo tiene contacto con sus amigos, veremos que el individuo 1 sólo ve a los individuos 2, 6, 8 y 11; dentro de su círculo social, 1 ve que tres de sus amigos son negros y sólo uno es blanco, esto es, percibe que los de color negro son mayoría, al igual que otros, como el 13 y el 14, quienes perciben que todos sus amigos son de color negro y que los blancos son una franca minoría en su círculo social. El lector puede hacer el ejercicio de contar cuántos individuos perciben a los blancos y cuántos a los negros como mayoría. El resultado será que la gran mayoría de los individuos de la red creen que los negros son mayoría, pero nosotros sabemos que esto no es así. ¿Cómo pueden los miembros de esta red social darse cuenta de cuál de los dos grupos es realmente el mayoritario? La respuesta es que no pueden hacerlo: mientras cada individuo sólo pueda ver su entorno inmediato, no hay forma de que se dé cuenta de lo que vemos nosotros, que podemos mirar la red completa desde afuera.
Pensemos nuevamente en Twitter, que permite cuantificar de manera más precisa este tipo de fenómenos. Según datos de 2016, cuando se contaba con aproximadamente 320 millones de usuarios activos, 80% de las cuentas tenía menos de cincuenta seguidores. En contraparte, existe un puñado de cuentas con millones de seguidores, los llamados influencers, que aparecen en los círculos de la inmensa mayoría de los usuarios de Twitter, de modo que casi todos ven los mensajes que estas pocas cuentas envían. Si éstas comparten cierta opinión, la gran mayoría de los usuarios percibirá que es una opinión mayoritaria, aun cuando no sea así. Es un fenómeno que cada vez conocen mejor las compañías de comunicación y las agencias de publicidad encargadas de posicionar productos en el mercado o de diseñar campañas políticas: si usted quiere que cierto mensaje, noticia o imagen se vuelva tendencia, o bien inducir determinada opinión en el ambiente, tiene que hacer que los influencers lo difundan (incluso han surgido ya agencias de influencers para llevar a cabo este tipo de campañas).
Se sabe bien que, en ocasiones, las personas tienden a imitar conductas y actitudes que ven en su círculo cercano; sea por encajar en él, por no sentirse desplazado o simplemente porque hay algo generalizado en el ambiente, se suele buscar las mismas marcas de teléfono que usan los conocidos, adherirse a sus ideas políticas, ver el mismo tipo de series o películas, etcétera. Una persona que tenga una visión global de la red puede valerse de tales “contagios sociales”, así como del espejismo de la mayoría, para modificar masivamente la conducta, opinión o percepción de la realidad en la sociedad. Y esto pasa con mucha mayor frecuencia de lo que nos gustaría admitir.
Conclusiones
Entonces, ¿nuestras redes sociales, nuestros amigos, conocidos y colegas nos engañan? ¿Estamos percibiendo una realidad distorsionada por nuestro medio social? ¿Es todo esto una exageración? ¿Podemos hacer algo al respecto? Una buena forma de empezar a responder a tales interrogantes es estar consciente de la existencia de este tipo de fenómenos. Por la naturaleza misma de nuestras redes sociales, es altamente probable que nuestra percepción esté casi siempre sesgada, hay que tener en cuenta que, siempre que nosotros creamos que algo es muy común porque todos a nuestro alrededor lo hacen, o al revés, que algo es muy extraño porque casi nadie a nuestro alrededor lo hace, existe la posibilidad de que estemos en medio de un espejismo y que la cosas a gran escala no sean tal como las apreciamos en nuestros círculos locales.
También es muy importante que, si somos usuarios de redes sociales digitales, diversifiquemos nuestros contactos y nuestras fuentes de información y que no construyamos nuestros círculos sólo con influencers o únicamente con personas que piensan como nosotros. En este sentido, cabría preguntarse qué tan recomendable es seguir las sugerencias de redes como Twitter y Facebook acerca de a quién seguir o de quién hacerse amigo, tomando en cuenta que sus algoritmos seguramente buscan perfiles que puedan ser afines al nuestro.
Finalmente, sería deseable que los nodos con mucha influencia en la red fueran conscientes del enorme poder de influencia que potencialmente poseen y tuvieran cierto sentido de la responsabilidad al hacer uso de sus opiniones e ideas en las redes sociales. Esto último, en efecto, parece ser algo casi imposible de lograr.
|
|||||||||||
| Agradecimientos Este trabajo se realizó gracias a una beca del Programa de Becas Posdoctorales de la unam dentro del Centro de Investigaciones Interdisciplinarias en Ciencias y Huma-nidades. Ricardo Mansilla agradece la cálida hospitalidad del Centro Peninsular en Humanidades y Ciencias Sociales de la ciudad de Mérida, Yucatán. |
|||||||||||
|
Referencias Bibliográficas
Eom, Y. H. y Jo, H. H. 2014. “Generalized friendship paradox in complex networks: The case of scientific collaboration”, en Scientific reports, vol.4, núm.1, pp. 1-6. Feld, S. L. 1991. “Why your friends have more friends than you do”, en American Journal of Sociology, vol.96, núm.6, pp. 1464-1477. Hodas, N. O., F. Kooti y K. Lerman. 2013. “Friendship paradox redux: Your friends are more interesting than you.”, en Seventh International AAAI Conference on Weblogs and Social Media (en: arxiv.org/abs/1304.3480). Jo, H. H. y Yç H. Eom. 2014. “Generalized friendship paradox in networks with tunable degree-attribute correlation”, en Physical Review E, vol.90, núm 2, august, pp. 1-7. Lerman, K., X. Yan y X. Z. Wu. 2016. “The majority illusion”, en Social Networks. PloS one, vol.11, núm.2 (en: journals.plos.org/plosone/article?id=10.1371/journal.pone.0147617). |
|||||||||||
| Óscar Fontanelli Centro de Investigaciones Interdisciplinarias en Ciencias y Humanidades, Universidad Nacional Autónoma de México. Realizó sus estudios profesionales y de posgrado en Física y Matemáticas en la UNAM. Ha realizado estancias posdoctorales en México y en Estados Unidos. Ha sido catedrático de matemáticas aplicadas por varios años en distintas universidades del país. Su trabajo ha quedado establecido en los artículos de investigación que ha publicado sobre las aplicaciones de la probabilidad, la estadística y el análisis al estudio de sistemas complejos. Ricardo Mansilla Centro Peninsular en Humanidades y Ciencias Sociales, Universidad Nacional Autónoma de México. Es doctor en maestro en Ciencias Económicas por la Universidad de Carletón, Canadá, y doctor en Ciencias Matemáticas por la Universidad de la Habana en Cuba. Con una larga y destacada trayectoria de investigación, ha sido pionero en México en el estudio de fenómenos sociales y económicos desde la perspectiva de las ciencias de la complejidad, como queda de manifiesto en sus dos libros y más de cuarenta artículos de investigación. |
|||||||||||
|
cómo citar este artículo →
|
|||||||||||
 |
|
|
|||||||||
| Julio Vallejo e Ignacio López Francos |
|||||||||||
|
Hoy día la llamada inteligencia artificial es omnipresente
en todos los ámbitos de nuestras vidas y la mayoría de la veces sin siquiera darnos cuenta: cuando se pide un préstamo en el banco, la solicitud es procesada y evaluada por un algoritmo; cuando se escribe un mensaje en el teléfono celular, el autocorrector se adelanta para predecir la siguiente palabra que se va a escribir; cuando se manda un curriculum a un gran corporativo respondiendo a una oferta de trabajo, es un algoritmo el que hace el filtro inicial para elegir a los candidatos más “cualificados” para el puesto.
Conforme los algoritmos se incorporan más y más a nuestras vidas y procesos se convierten en tomadores de decisiones que debemos observar con cuidado para evitar que se conviertan en replicadores de sesgos y amplificadores de prejuicios presentes en la sociedad.
Existe la percepción errónea de que la inteligencia artificial es infalible y los resultados son de cierta manera “justos”. Sin embargo, esto está aún muy lejos de la realidad. Basta con ver algunos casos que ilustran cómo los algoritmos han replicado los sesgos y prejuicios de la sociedad donde fueron desarrollados: 1) en 2017, el gigante del comercio electrónico, Amazon, tuvo que suspender el uso de su herramienta de inteligencia artificial para reclutamiento al descubrir que su algoritmo discriminaba a las mujeres. Había invertido años en el desarrollo de este programa con el afán de automatizar el proceso de reclutamiento. La idea era que el sistema fuera capaz de analizar el gran volumen de currículums que la compañía recibe a diario y que, en forma automática, destacase a los mejores candidatos, para lo cual se entrenó el algoritmo utilizando curriculums de gente que había aplicado a Amazon durante las décadas anteriores. Históricamente, el sector tecnológico ha estado dominado por hombres, por lo que la mayor parte de historial de curriculums utilizados para entrenar el algoritmo correspondía a hombres. Así, el sistema aprendió, entre otras cosas, a degradar aquellos currículums que incluyeran la palabra “mujer”. Al mismo tiempo, aprendió a dar una puntuación más alta a las palabras “ejecuté” y “capturé”, las cuales, aparentemente, están más presentes en currículums de hombres ingenieros. El equipo que lo desarrollaba trató de impedir que el sistema tomara tales factores en consideración, pero el algoritmo encontraba siempre nuevas maneras de discriminar contra las mujeres.
2) otro caso es el de Microsoft, que en 2016 creó Tay, un chatbot de inteligencia artificial y un proyecto de aprendizaje diseñado para la interacción con humanos. La intención era que Tay se expresara como un “milenial”, aprendiendo de la gente con la que tuviera interacción a través de Twitter así como en las aplicaciones para mensajes Kik y GroupMe. Tay era capaz de llevar a cabo varias funciones, como contar chistes a los usuarios o comentar sobre una foto que se le mandara. Pero también fue diseñada para personalizar sus interacciones con los diferentes usuarios, como contestar preguntas específicas y reflejar las frases de cada usuario utilizando otras palabras. A las pocas horas de ser lanzado y comenzar su interacción con seres humanos reales, Tay comenzó a emitir mensajes racistas y xenófobos por lo que tuvo que ser desactivada a tan sólo dieciséis horas de su lanzamiento (figura 1). Los tweets de Tay evolucionaron en unas pocas horas de “¡los humanos son súper cool!” a “Hitler estaba en lo correcto”.
Lo que hay que entender es que la inteligencia artificial, sin unos parámetros de comportamiento definidos, es como la mente de un niño a la espera de ser moldeada por ideas de otras personas.
3) Un último caso, que a primera vista puede parecer más sutil e inofensivo, es el del buscador de Google en donde al buscar imágenes utilizando la palabra “doctor” el resultado arroja predominantemente imágenes de hombres de tez clara y rasgos europeos. Los resultados del buscador están replicando una desigualdad histórica de género y racial, contribuyendo a reforzar la narrativa que sustenta dicha desigualdad (figura 2).
En ninguno de los ejemplos anteriores, los ingenieros anticiparon que los sistemas de inteligencia artificial se iban a comportar así. El problema es que estos sesgos fueron programados de manera inconsciente y que tales sesgos son muy difíciles de identificar y más aún de corregir. Para entender cómo es que sucede esto, debemos saber cómo se introduce un sesgo en la inteligencia artificial y para eso nos enfocaremos en tres etapas del proceso.
Cómo se genera un sesgo
La primera etapa es definir el objetivo que el algoritmo intentará resolver. En muchas ocasiones los objetivos involucran conceptos abstractos difíciles de ser transferidos a variables cuantificables que puedan ser usadas por el algoritmo para calcular y tomar decisiones. Se debe tener cuidado en definir claramente los conceptos y parámetros a evaluar, para así poder establecer lineamientos y reglas claras al algoritmo que eviten que éste se convierta en un predador.
La segunda es la recolección de los datos que servirán para entrenar el algoritmo. Los datos recopilados pueden estar sesgados por dos razones: porque no son representativos de la realidad o porque reflejan prejuicios ya existentes. El primer caso podría ocurrir, por ejemplo, si un algoritmo de reconocimiento facial es entrenado con una base de datos en donde hay más fotos de caras de piel clara que de oscura; como consecuencia, el sistema tendría más dificultad reconociendo caras de piel más oscura. Se estima que, de todos los rostros en bases de datos faciales en el mundo, aproximadamente 60% corresponde a hombres de piel clara y que sólo 4% son mujeres de piel oscura. El segundo caso es el mencionado anteriormente con respecto de Amazon, cuando un algoritmo se entrena a partir de decisiones históricas de contratación sesgadas en favor de los hombres sobre las mujeres.
La tercera etapa viene cuando, una vez que se tiene los datos, es necesario elegir qué variables se debe considerar (edad, sexo, años de escolaridad, ingreso, puntaje crediticio, etcétera) y cuáles ignorar para obtener resultados más precisos.
El problema es que, aun cuando resulte fácil medir el impacto de cada variable en términos de precisión, medir los sesgos implícitos en cada variable es bastante complicado. La gran mayoría de las aplicaciones de inteligencia artificial se basan en algo conocido como aprendizaje profundo, cuyos algoritmos se enfocan en encontrar patrones en los datos. A pesar de la enorme utilidad de este enfoque en algunos de sus usos, otros pueden tener un gran impacto negativo en la vida de la gente: como perpetuar las injusticias ya presentes en el mundo real.
Al final es muy difícil eliminar el sesgo, ya que programamos algoritmos desde un punto de vista y éste necesariamente es un reflejo de nuestra sociedad. Es decir, cuando en una sociedad existe un sesgo, éste se va a introducir en el diseño. Por lo tanto deberíamos diseñar las herramientas de inteligencia artificial no como un reflejo fiel de nuestra sociedad, sino como quisiéramos que nuestra sociedad fuese.
La ceguera en el reconocimiento facial
Varios estudios recientes han demostrado que los actuales sistemas de reconocimiento facial tienen más dificultad identificando mujeres y personas de piel oscura. En una ocasión Google Photos etiquetó a dos individuos afrodescendientes como gorilas.
Para diseñar un algoritmo de reconocimiento facial se necesita tener una gran colección de imágenes faciales de personas con las que se entrena el algoritmo para que posteriormente pueda identificar rostros en imágenes que nunca ha visto. Si se pretende que el algoritmo funciones correctamente, es necesario contar con una buena distribución de datos (rostros) representativos de la población.
Gracias a un estudio conducido por Joy Boulamwini, fundadora de la organización Liga de Justicia Algorítmica, se pudo observar que la mayoría de los algoritmos de identificación facial desarrollados por ibm, Amazon, Face++ y Microsoft son mucho menos precisos identificando rostros de personas de color que personas de piel blanca. Esto se agrava si añadimos el género: de acuerdo con un estudio conducido por el mit Media Lab, 35% de mujeres de piel oscura fue identificado incorrectamente en comparación con sólo 1% en hombres blancos.
La razón por la que estos algoritmos no son tan precisos en identificar personas de color es simple: fueron entrenado con una colección de rostros sesgada en donde la mayoría de las caras eran de hombres de tez clara.
Generalmente, cuando los ingenieros diseñan algoritmos que se desempeñan en plataformas que alcanzan a millones de personas en todo el mundo existe una “ceguera” inconsciente de cómo afectarían a personas que son distintas a ellos. Este problema de “ceguera” es muy común en Silicon Valley, donde se concentran las empresas de tecnología más importantes del mundo como Google, Amazon, Facebook, Apple y LinkedIn. Y esto se debe a una falta de diversidad en la plantilla de ingenieros de estos grandes corporativos; por ejemplo, en LinkedIn, según un reporte publicado por ellos mismos, el porcentaje de ingenieros latinos y afrodescendientes es de menos de cinco por ciento (figura 3).
Es imperativo que esta situación cambie. La diversidad étnica, racial y de género en los equipos que están desarrollando tales tecnologías tiene una influencia directa sobre el sesgo en las herramientas de inteligencia artificial. Ciertamente, existe ya una incipiente conciencia en Silicon Valley, pero al día de hoy la brecha laboral está todavía lejos de ser equitativa (figura 4). En cuanto al aspecto tecnológico, es necesario entrenar algoritmos con una base de datos representativa de la diversidad étnicoracial de la población donde serán aplicados. Al final de cuentas, “un algoritmo es tan bueno como los datos con los que ha sido entrenado”.
Su uso para resolver problemas sociales
Si bien la inteligencia artificial puede resultar peligrosa cuando no estamos conscientes de sus alcances y sus limitaciones, también tiene la capacidad de impactar en forma positiva la vida de los seres humanos. Por esta razón hemos decidido utilizarla como herramienta para combatir el racismo y la falta de diversidad en los medios de comunicación mexicanos.
En México, y en los países Latinoamericanos en general, existe un sesgo histórico que favorece a los individuos de piel más clara y rasgos fenotípicos europeos sobre los de piel más oscura y rasgos indígenas. Este sesgo racial ha permeado todos los ámbitos de la sociedad al crear, a lo largo del tiempo, brechas de desigualdad basadas en los rasgos físicos de las personas. Lo que conocemos como racismo.
Cabe aclarar que la biología, y en general las ciencias, han comprobado desde hace mucho tiempo que la humanidad es una sola especie, que no hay razas; somos una especie formada por miembros con características fenotípicas diversas —como los distintos tonos de piel, ojos, tipo de cabello, entre muchas otras. Las categorías raciales que conocemos hoy día son construcciones sociales que han sido usadas por los diferentes grupos humanos para diferenciarse unos de otros. Así que cuando hablamos de razas y racismo nos estamos refiriendo a tales construcciones sociales y al fenómeno de discriminación generado por éstas.
Uno de los ámbitos más claros en los que se evidencia el racismo en México es en la diversidad y representación que existe en los medios de comunicación. Dada la profunda influencia que las narrativas audiovisuales tienen sobre la cultura y subconsciente colectivo de una sociedad moderna, hemos decidido enfocar nuestro trabajo en los medios audiovisuales. Actualmente estamos colaborando con la facultad de ingeniería de la Universidad del Sur de California (usc) y con el Geena Davis Institute for Gender on Media con el propósito de desarrollar una herramienta de inteligencia artificial para procesar y analizar grandes cantidades de material audiovisual. Se pretende que ésta tenga la capacidad de determinar el color de piel y los rasgos fenotípicos mediante un algoritmo de identificación facial a fin de obtener datos duros y poder cuantificar la representación y diversidad racial existente en los medios audiovisuales mexicanos.
Como ya mencionamos antes, parte importante para el desarrollo de una herramienta basada en inteligencia artificial son los datos con los que se va a entrenar. Uno de los retos que hemos encontrado es la falta de bases de datos faciales con una representación fidedigna de la población mexicana o incluso de los “latinos”, como se les define en Estados Unidos. Estas bases de datos faciales existentes excluyen sistemáticamente sujetos de piel morena y rasgos indígenas, dicho de otra manera, reflejan el sesgo racial prevaleciente en México y demás países latinoamericanos.
El término “latino internacional” es un eufemismo que se utiliza en el mundo de los medios de comunicación y entretenimiento para referirse a individuos con cabello y ojos oscuros pero de piel blanca y rasgos preferentemente europeos. Este perfil representa a un segmento minoritario de la población mexicana y latina, pero es el estándar utilizado por los creadores de contenido para representar a todos los latinos. Es un sesgo social que se replica a su vez en el desarrollo de tecnologías, de manera que las bases de datos faciales con rostros etiquetados como mexicanos, latinos o hispanos se componen en su inmensa mayoría de rostros pertenecientes a “latinos internacionales”.
Si estas bases de datos inherentemente sesgadas son utilizadas para entrenar un algoritmo a identificar y clasificar rostros mexicanos o latinos, el resultado será que en personas de procedencia indígena o africana el algoritmo cometerá más errores que en rostros de procedencia europea.
Ante esta situación, hemos optado por utilizar algoritmos que sean capaces de extraer el color de piel de las caras identificadas en el material audiovisual y almacenar la información en formato rcg y cielab. Con respecto de las bases de datos faciales, hemos buscado una colaboración con el Instituto de Investigaciones Antropológicas de la unam, en donde se desarrolló el proyecto caramex en 1996, un sistema automatizado de identificación personal a partir de los rasgos faciales de la población mexicana con el fin de lograr una mayor eficiencia y precisión en los sistemas empleados para construir retratos hablados en las instituciones de impartición de justicia. Así, el proyecto se desarrolló a partir del análisis de la variabilidad morfológica facial existente en la población mexicana con base en 5 752 fotografías estandarizadas (frontal y lateral) de individuos de todo el territorio mexicano, tratando que se incluya el máximo de fenotipos.
En el caso de que la base de datos facial de caramex resulte inadecuada para entrenar un algoritmo de identificación facial en material audiovisual (dinámico), probablemente el proyecto tendrá que expandirse y crear una base de datos inclusiva y diversa de las diferentes poblaciones y fenotipos existentes en la población mexicana.
Esperamos tener resultados a finales de 2020 y comenzar a utilizarlos como una herramienta de conversación con los ejecutivos y creadores de contenido para concientizar y presionar hacia una representación más justa de la población en los medios de comunicación.
Conclusiones
La inteligencia artificial es, al fin y al cabo, sólo una herramienta. Todavía existe mucho desconocimiento y ambigüedad sobre qué es, cuáles son sus alcances y cómo nos afecta, pero es un hecho que cada vez estará más presente en todos los aspectos de nuestra vida.
Cada fórmula, algoritmo o comunidad en línea, está diseñada con ideas preconcebidas, prejuicios y sesgos, y está concebida al interior de estructuras de poder. Por eso es importante que las conversaciones sobre diversidad e inclusión que están teniendo lugar en el “mundo real” se vean reflejadas en cómo entrenamos nuestros algoritmos. Esto requiere que el proceso de desarrollo de inteligencia artificial tenga un enfoque diverso y multidisciplinario, donde no sólo estén involucrados ingenieros y programadores, sino que también colaboren humanistas y científicos.
|
|||||||||||
|
Referencias Bibliográficas
Buolamwini, Joy y Timnit Gebru. 2018. “Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification”, en Proceedings of Machine Learning Research, vol. 81, pp. 1-15 (proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf). Durruthy, Rossana. 2019. “Hear from Christina Hall and Rosanna Durruthy on our 2019 Workforce Diversity Report”, en LinkedIn (careers.linkedin.com/diversity-and-inclusion/workforce-diversity-report). Molla, Rani. 2019. “Why women in tech are being Photoshopped in instead of hired”, en Vox, 17 de junio (www.vox.com/recode/2019/6/17/18678541/women-tech-photoshop-diversity). |
|||||||||||
| Julio Vallejo Director de la Fundación Pigmentogracia. Es economista con estudios en el ITESM y UCLA. Es ejecutivo en medios de comunicación y entretenimiento con 20 años de experiencia binacional en México y Estados Unidos. Especializado en temas de diversidad e inclusión en medios audiovisuales. Es fundador y director de Fundación Pigmentocracia. Ignacio López Francos National Aeronautics and Space Administration (NASA) Es consultor e investigador de inteligencia artificial para la NASA en Silicon Valley CA. Ha trabajado en empresas como Facebook y United Airlines como científico de datos y liderando proyectos de innovación. Es ingeniero industrial por la Universidad Politécnica de Madrid (UPM) y recibió su segundo Master en Gestión de Tecnología Industrial del Illinois Institute of Technology (IIT) en Chicago. Colabora con Pigmentocracia como asesor técnico. |
|||||||||||
|
cómo citar este artículo →
|
|||||||||||
 |
|
|
|||||||||
| Marisol Flores Garrido |
|||||||||||
|
Cuenta la leyenda que cuando el ejército romano tomó
por asalto la ciudad de Siracusa, en el siglo III antes de nuestra era, el matemático Arquímedes estaba inclinado sobre la arena dibujando figuras, seguramente embebido en algún problema abstracto; era tal su concentración que no se percató del soldado romano que le ordenó ponerse de pie. Se cuenta que las últimas palabras del sabio griego fueron ”Μή μου τους χυχλους!”, algo así como “¡no me muevas los círculos!”. La figura del científico que, absorto en su trabajo intelectual, falla en reconocer las circunstancias a su alrededor —el cambio de orden político, la vulnerabilidad de su ciudad, las acciones de la gente que lo rodea— podría servir en este momento de la historia como una elocuente parábola para la comunidad científica, particularmente aquellos que participan en el desarrollo de la llamada inteligencia artificial.
Dicha tecnología ya está entre nosotros: nuestros teléfonos celulares, el manejo de nuestros datos por parte del gobierno y las corporaciones industriales. Ya impacta nuestras vidas pues es una herramienta de control social, represión, de inducción al voto y de incitación al consumo de bienes inútiles. En este momento en el que está muy en boga su estudio y desarrollo, se vuelve imperativo reflexionar acerca de las implicaciones sociales que tiene el uso de nuestros algoritmos, los puntos ciegos que podrían tener y las reconfiguraciones de poder que resultarán de su adopción.
Y lo hizo a su imagen y semejanza...
La totalidad de los pueblos del mundo, o casi, tienen mitos acerca de la creación, y aunque varían en sus detalles específicos, todos tienen en común que un dios o varios forman el primer humano a partir de materia inerte y le insuflan la vida mediante un acto de poder divino. Así tenemos que los dioses originarios de los mayas crean a los humanos después de varios ensayos fallidos; primero usando como material el barro, pero el resultado es una humanidad débil y con cuerpos quebradizos; después intentan con madera, pero el resultado tampoco es bueno y, por último, tienen éxito cuando fabrican gente de maíz. En el viejo testamento se afirma que Jehová creó el primer hombre, Adán, empleando polvo como materia prima y le da una compañera, Eva, usando una de sus costillas. En la mitología nórdica, Odín, Lódurr y Hönir paseaban por la playa y encontraron dos troncos con formas humanoides, Odín les insufla el soplo vital mientras que sus compañeros los dotan de capacidades mentales, entre ellas la razón, que los hace humanos, y de esa manera se origina la primera pareja: Ask y Embla.
Todos estos mitos tienen algo en común: la deidad construye los humanos usando una base material inerte —madera, barro, maíz— y después los anima mediante su poder o soplo divino, otorgándoles la vida.
La humanidad ha querido imitar a los dioses y, desde tiempos remotos, imaginaba autómatas que se comportaban como humanos. Está Talos de Creta que, según la mitología griega, era un humanoide gigantesco de bronce que protegía a Europa, la madre del rey Minos, de invasores y forajidos; la misma mitología menciona que Hefesto, el dios de los herreros y los metales, tenía muchos autómatas a su servicio en el trabajo de su forja. El mundo oriental no se quedaba atrás; en la China del siglo tercero de nuestra época, Lie Zi habla en su libro de Yan Shi, un ingeniero que construyó un hombre mecánico que hablaba y se movía de tal manera que se le confundía con cualquier persona.
En los tiempos del racionalismo cartesiano resurge el empeño de crear autómatas, y se fabricaron ingeniosos dispositivos de forma humanoide capaces de jugar ajedrez o tocar algún instrumento musical. En aquel entonces se hablaba del alma, del soplo divino o de la esencia incorpórea. El mismo Descartes aceptaba la existencia del alma pero no le atribuía orígenes divinos, lo que le causó problemas con la Iglesia. La reacción romántica del siglo xix se aparta de la razón y su instrumento que es la ciencia, demonizando los intentos humanos de fabricar autómatas; nadie mejor para ilustrar esta tendencia que Mary Shelley con su famosísima obra Frankenstein o el moderno Prometeo.
La inteligencia artificial
En 1956, John McCarthy convoca a una pléyade de científicos a un taller en el prestigiado Darmouth College, un centro de educación superior perteneciente la famosa Ivy League estadounidense. A dicha reunión asistieron los científicos más notables de la Unión Americana en el naciente campo de la cibernética, entre ellos, el ahora tristemente célebre Marvin Minsky.
El propósito de la reunión era fijar líneas de investigación para la naciente ciencia de la computación. El uso de computadoras programables comenzaba a generalizarse y los asistentes a la reunión se dieron a la tarea de fijar lo que serían las líneas de investigación futura: aprendizaje automático, reconocimiento sensorial y del habla, identificación de patrones, y muchas otras tareas que se englobaron bajo la denominación de inteligencia artificial.
A partir de ese momento se popularizó dicho término y, con muchos altibajos, durante la segunda mitad de los ochentas, su avance, así como el de su soporte metodológico, el cómputo neuronal, ha sido imparable. Hoy día nuestra vida está rodeada de dispositivos que hacen uso intensivo de ella sin que seamos plenamente conscientes.
Aprendizaje automático
El aprendizaje automático es una rama de la inteligencia artificial que se enfoca en el diseño de algoritmos que realizan tareas específicas, como clasificar y agrupar, utilizando solamente datos como entrada. Aunque existen diversos tipos de aprendizaje automático, para nuestro tema nos concentraremos en el llamado “aprendizaje supervisado”, orientado a tareas de predicción o reconocimiento de patrones
Para plantear una tarea de aprendizaje supervisado necesitamos dos cosas fundamentales: 1) tener claridad en cuanto a las clases en las cuales queremos ubicar los objetos a clasificar; y 2) contar con un número grande de objetos cuya clase se conoce previamente y que están, cada uno de ellos, caracterizados por un vector o una lista de rasgos.
Supongamos que nuestra tarea consiste en determinar si una persona tiene cierta enfermedad o no; en este caso, las clases o categorías en las que se va a clasificar serán simplemente “estar enfermo” y “no estar enfermo”, y enseguida necesitaremos los datos de muchas personas cuya pertenencia a una de la dos clases se conozca de antemano, información que provee un especialista, en este ejemplo, un médico. Cada persona debe estar representada por ciertos atributos o rasgos que consideremos relevantes para la predicción que queremos efectuar; en este caso podrían ser la edad, la temperatura del cuerpo, el ritmo cardíaco, la presión arterial y otras mediciones relevantes.
De esta manera, cada sujeto tendrá un vector de rasgos asociado y la lista de las personas con todo y atributos formarán una matriz que llamaremos “base de conocimiento”. También supondremos que ordenamos los renglones de la matriz de manera que en la parte superior queden los individuos enfermos y en la de abajo los no enfermos. El proceso de asignarle una de las dos categorías a un recién arribado es justamente a lo que llamamos “clasificación” o “reconocimiento de patrones”.
Aunque existe una variedad de enfoques mediante los cuales se puede efectuar dicho proceso —redes de neuronas artificiales, enfoques bayesianos, métodos de regresión múltiple— ninguno, por muy sofisticado que sea, es suficiente por sí solo: la calidad del resultado depende fuertemente de los datos con los que se cuente. Esto explica el valor que tiene una buena base de conocimiento para quienes buscan desarrollar algoritmos de aprendizaje automático, las innumerables estrategias de todo tipo que las corporaciones emplean para capturar datos de sus usuarios y el surgimiento de expresiones (muy cuestionables) como “los datos son el nuevo petróleo”.
Esto ayuda también a desmitificar algoritmos que reciben mucha atención por parte de los medios de comunicación; por ejemplo, la próxima vez que escuchemos de un algoritmo que detecta “sarcasmo” en twitter, debemos pensar que alguien encontró una manera de representar muchísimos tweets mediante un conjunto de atributos y encontró también la manera para relacionar los tweets con la etiqueta “sarcasmo” o “no sarcasmo” previamente establecida. Decir que las máquinas comprendan el sarcasmo es un abuso monumental propio de los medios sensacionalistas.
Por otro lado, los resultados a los que se puede llegar mediante la combinación de un volumen grande de datos y herramientas matemáticas adecuadas son verdaderamente impresionantes. Hemos visto desde logros en el área de la salud y traducciones de texto sobresalientes, hasta videos absolutamente realistas de un falso Barack Obama. De hecho, los resultados son tan buenos que han llevado a una parte de la comunidad dedicada a este campo a una confianza exacerbada, como la expresada en un artículo publicado en la revista Wired hace algunos años: “éste es un mundo en donde una cantidad masiva de datos y matemáticas aplicadas reemplazan cualquier otra herramienta que pudiera haberse utilizado. Olvide cualquier teoría del comportamiento humano, desde lingüística hasta sociología. Olvide la taxonomía, la ontología y la psicología. ¿Quién sabe por qué la gente hace lo que hace? El punto es que lo hacen y nosotros podemos registrarlo y medirlo con una fidelidad sin precedentes. Con suficientes datos, los números hablan por sí solos”. Y es en esta confianza desmedida en donde radica uno de los grandes riesgos de la inteligencia artificial.
Peligros de la inteligencia artificial
Los cuestionamientos al desarrollo de esta tecnología han estado presentes desde su inicio. Turing, en el artículo de 1950 que llegaría a ser un clásico, incluye ya una discusión sobre objeciones que la gente podría tener ante la idea de máquinas inteligentes. Sea porque los humanos establecimos que nuestra habilidad para razonar es el rasgo que nos hace únicos y diferentes a las demás especies o porque la idea de máquinas que piensan conjura inmediatamente en nuestra imaginación futuros distópicos vistos en películas, los avances en dicho campo despiertan preguntas sobre el futuro: ¿cómo será ese espacio compartido con máquinas en todo tipo de tareas?
Para bien o para mal nuestra generación atestiguará una batalla entre Estados Unidos y China por el liderazgo en el terreno de la inteligencia artificial, cada semana vemos algún avance con el que tales potencias buscan posicionarse como líder único: China anuncia que implementará un sistema para calificar a sus ciudadanos y rastrear su confiabilidad, Estados Unidos avisa que a partir de 2025 el checkin en todos sus aeropuertos será empleando el reconocimiento facial, luego China hace público que no sólo sus aeropuertos sino que también sus agentes policíacos tendrán lentes especiales con herramientas incorporadas para el reconocimiento facial y así sucesivamente. Esta carrera es preocupante porque no deja tiempo para, ya no digamos regular, sino llevar a cabo un ejercicio de prospectiva que busque qué podría salir mal, qué puntos ciegos podría tener toda esta tecnología y cuales serían sus consecuencias negativas. El neoliberalismo no tiene tiempo para la reflexión.
Aun peor, muchas personas no parecen entender la gravedad de estar atrapados en una batalla que requiere nuestros datos para su desarrollo ni las consecuencias que puede tener incorporar esta tecnología a la vida diaria sin estar organizados de una manera que ponga en la balanza la creciente asimetría entre quienes producen los datos y quienes los usan. Aunque en el imaginario colectivo la frase “riesgos de la inteligencia artificial” evoca batallas imaginarias contra robots que adquirieron conciencia, hay aspectos de ésta mucho menos taquilleros y más peligrosos en el corto plazo.
Afortunadamente, la importancia de cuestionar los usos y modelos de dicha tecnología está recibiendo cada vez más atención y se ha visto traducida en la creación de distintos grupos orientados a explorar su impacto social; entre ellos se destaca AI Now, enfocado a la discusión ética en torno a la creación y el uso de sus innovaciones, que ha propuesto el análisis de tres áreas importantes: derechos y libertades, trabajo y automatización, y sesgo algorítmico.
Derechos y libertades
Los algoritmos empleados en este campo utilizan como insumo grandes cantidades de datos, lo cual incrementa el valor de estos últimos y motiva a que cualquier interesado en incorporar en su área el uso de cómputo inteligente busque mecanismos para recolectar información y conformar bases de datos.Además, algunos de estos algoritmos, a su vez, generan datos; aplicaciones como Waze, por ejemplo, necesitan datos para funcionar pero también recolectan información de los usuarios para incrementar su base y mejorar su funcionamiento.
El aumento en el volumen de datos generados, la importancia que tienen y la forma en que pueden capitalizarse propician prácticas poco éticas por parte de las empresas y vuelve urgente la discusión sobre temas como la privacidad y la asimetría entre quienes generan los datos y quienes se benefician de su uso. Consideremos, por ejemplo, escándalos que periódicamente llegan a los medios de comunicación: en 2016 Facebook recolectó durante meses lo que la gente escribía en la plataforma y que, en el último momento, decidía no publicar; la compañía pretendía generar un conjunto de datos que permitiera estudiar la autocensura. En el mismo año, algunos periodistas del grupo ProPublica denunciaron que la compañía tiene un sistema de categorización de usuarios con etiquetas muy específicas, algunas con sólo dos o tres personas en la categoría, y no tiene reparos en ofrecer a clientes potenciales la identificación de perfiles con características como: “odia a judíos”. Más allá de la ausencia de lineamientos éticos en la compañía, el nivel de especificidad y vigilancia que queda de manifiesto es tan preocupante como la falta de regulación para grandes corporaciones.
¿A quién deberían pertenecer los datos? ¿De qué manera nos vemos afectados por todas estas actividades que lucran con nuestra experiencia de vida? ¿Debería permitirse que un empleador potencial tenga acceso a los datos de un solicitante para ver si su perfil es pertinente con el empleo que ofrece? ¿Qué pasa si toda esa información del perfil permite inferir creencias y manipular opiniones, por ejemplo, respecto del voto? ¿Qué pasa con los mecanismos basados en marcadores biométricos que se está tratando de incorporar en aeropuertos y vías públicas? Queda claro que hay riesgos asociados al uso de algoritmos que deberían analizarse a profundidad y que será necesario encontrar la forma de regular desde las leyes el uso de algunas de tales herramientas.
Trabajo y automatización
A medida que crece la lista de tareas que es posible automatizar, inevitablemente vienen las preguntas sobre el nivel de reorganización laboral que la inteligencia artificial tendrá en consecuencia. La disminución esperada en la demanda de trabajo humano es un motivo de preocupación que no es menor: aunque en la retórica de muchas empresas los humanos no serán reemplazados sino “liberados” de tareas repetitivas, hay reportes que sugieren un fuerte interés por parte de la industria privada en recortar, tanto y tan rápido como sea posible, el personal con el que cuentan. Ganar la carrera no oficial que existe en el mercado para alcanzar mayor eficiencia (mayor ganancia) con menos empleados (menores costos) mediante la automatización es un logro que viene acompañado de una importante ganancia económica.
El debate sobre la incorporación de máquinas al entorno laboral no es nuevo y hay autores que vislumbran incluso el surgimiento de un neoludismo. Más allá de la discusión, queda claro que el incremento de tareas que pueden automatizarse traerá consigo un reacomodo en el entorno laboral y será necesario tomar acciones para mitigar el efecto negativo que la transición hacia esta industria 4.0 podría tener entre los sectores más vulnerables. Más aún, la discusión debería extenderse para abarcar la forma en que la incorporación de algoritmos para automatizar decisiones y procesos impactará directamente la relación entre el empleador y el empleado, las dinámicas laborales y de poder al interior de las compañías y la responsabilidad profesional.
Sesgo algorítmico
Los algoritmos, con la capacidad de utilizar un volumen de información inimaginable para un humano, reconocer patrones desapercibidos para nosotros y orientar una decisión con absoluta fidelidad a criterios preestablecidos, se presentan como una alternativa que parece adecuada para lidiar con los errores sistemáticos que exhibimos los humanos en la toma de decisiones. Un algoritmo que decide sobre una contratación o una sentencia judicial no será víctima del efecto halo, ni tomará en cuenta el género, la vestimenta o el color de la piel de los involucrados.
Automatizar algunas decisiones se esboza como la posibilidad de contribuir a una sociedad más justa y equitativa; sin embargo, de cuando en cuando nos topamos con noticias que nos hacen dudar: el bot que Microsoft lanzó en Twitter en 2016 y tuvo que ser desactivado porque en sólo unas horas aprendió a hacer comentarios racistas o el sistema de reconocimiento de imágenes de Google que etiquetaba personas negras como “gorilas” y respondía a la petición de búsqueda “cabello profesional” con imágenes de mujeres blancas de cabello lacio.
¿Qué puede decirse de estos casos de “malfuncionamiento” detectado en algoritmos? ¿Por qué suceden? ¿Son casos aislados? ¿Qué nos dicen sobre la confianza que deberíamos depositar en el uso de inteligencia artificial en temas importantes?
La expresión “sesgo algorítmico” (en inglés machine bias) ha cobrado fuerza en los últimos años para señalar en los algoritmos un comportamiento no deseado —aunque los problemas que han agrupado bajo dicho término son de naturaleza distinta. El Instituto AI Now, por ejemplo, utiliza tal expresión para señalar casos en los que un algoritmo podría perjudicar a un sector específico de la sociedad, mientras el grupo ProPublica lo ha empleado para abordar decisiones poco éticas implementadas en algoritmos por ciertas empresas para obtener una ganancia comercial; por ejemplo, en septiembre de 2016, ProPublica reportó la manipulación por parte de Amazon de las opciones de artículos en venta que muestra a sus usuarios con la intención de favorecer aquellas que representan mayor ganancia para la empresa.
Los siguientes ejemplos ilustran otras situaciones que han sido reportadas bajo el término sesgo algorítmico y ayudan a comprender la importancia que el tema ha cobrado.
Datos excluyentes. Puesto que los datos son la base sobre la cual se desarrollan tareas de aprendizaje automático, un algoritmo está condenado a reproducir lo que encuentra en ellos. Zach Weinersmith, autor del comic Saturday Morning Breakfast Cereal, representa muy bien esta situación en una de sus ilustraciones: un algoritmo que utilizara datos sobre las batallas que se han librado en nuestro planeta, intentaría reproducir la relación detectada entre ganar una batalla y utilizar lanzas y piedras; el ejemplo puede parecer simple pero numerosos casos reportados como sesgo algorítmico tienen su origen en un error del tipo mostrado en el comic.
Tomemos el caso del sistema de recomendación de YouTube, que busca maximizar el tiempo que un usuario pasa viendo contenido en la plataforma y, puesto que detecta que muchos usuarios que ven videos relacionados con teorías de conspiración pasan horas en la plataforma, el sistema incorpora este tipo de videos entre sus principales recomendaciones.
Un algoritmo refleja los datos que lo alimentan. Datos sesgados se traducen en resultados sesgados, como se ha documentado extensamente en el área de visión computacional. Así lo muestra el caso reportado por Joy Buolamwini, una empleada del mit Media Lab y fundadora de la Algorithmic Justice League; afroamericana, Joy se topó con algunos algoritmos de reconocimiento facial que presentaban deficiencias para identificar su rostro y, al investigar la causa del problema, encontró que muchos de éstos se construyen utilizando bases de datos que fallan en representar apropiadamente a la población, lo cual ilustra claramente la base de datos Labeled Faces in the Wild, que consta de 30 281 imágenes de rostros recolectadas en medios de comunicación y cualquiera puede consultar en la red, y es ampliamente utilizada para entrenar algoritmos de aprendizaje automático relacionados con reconocimiento facial, cuyo análisis reveló que 77.5% de las caras que la constituyen son de hombres y 83.5% de personas blancas. A la luz de esto, resulta poco sorprendente que un algoritmo entrenado con tales datos presente errores cuando se usa para el rostro de una mujer negra; de hecho, se ha reportado incluso que para personas con tez oscura la probabilidad de ser atropelladas por un vehículo autónomo es mayor.
En este tipo de casos generalmente encontramos problemas metodológicos que transforman las deficiencias de los datos de entrenamiento en algoritmos que tienen un mal funcionamiento para sectores específicos de la población; muchos pueden evitarse igualmente mejorando el proceso de construcción de la base de datos y poniendo particular atención en que los datos que se usan representen adecuadamente a la población. Desafortunadamente, no todos los casos de sesgo algorítmico se arreglan balanceando los datos.
Las mujeres en la tecnología. Aun cuando las personas a cargo de desarrollar un algoritmo sean cuidadosas en utilizar datos que incluyan distintos sectores de la población, es posible que los datos mismos capturen procesos históricos marcados por la desigualdad.
Meredith Whittaker ilustra este hecho refiriendo el caso de la tarjetas Shirley utilizadas durante décadas por Kodak para calibrar el tono de piel en las fotografías. Estas imágenes, nombradas así en honor a la primer modelo en aparecer en ellas, muestran a una mujer caucásica con algún vestido colorido y funcionan como referencia para el balance de color. Dado este proceso de calibración, las imágenes capturadas por medio de esta tecnología, hasta mediados de los noventas, muestran una definición diferente para pieles blancas y oscuras. Por tanto, si entrenáramos un algoritmo utilizando fotografías capturadas durante este periodo de la historia, tendríamos una diferencia en la representación que no se resuelve balanceando los datos y que refleja relaciones de poder dominantes en la sociedad en donde se crearon los datos.
En una línea semejante, con datos que reflejan desigualdad, tenemos el caso del algoritmo de LinkedIn, la red social orientada a conectar profesionistas y empleadores potenciales, cuyo algoritmo de búsqueda priorizaba nombres masculinos y sugería incluso “corregir” búsquedas relacionadas con mujeres (“tal vez quisiste decir Stephen en vez de Stephanie”); o el algoritmo utilizado por el sistema de justicia estadounidense para estimar la probabilidad de que una persona cometa un crimen en el futuro, que etiquetaba a personas negras con un riesgo mucho más elevado respecto de personas blancas.
Ambos casos reproducen el error mostrado en el comic mencionado: el algoritmo hace predicciones a partir de datos históricos que capturan condiciones de desigualdad y reproduce lo encontrado. Aun más, el comportamiento de los algoritmos contribuye a perpetuar la desigualdad, por ejemplo, favoreciendo la promoción de un hombre en vez de una mujer para determinado empleo y creando un círculo vicioso, pues ese empleo se convertirá en un dato para alimentar futuras decisiones del algoritmo.
Google, niños y niñas. Finalmente, consideremos un caso que circuló en redes sociales en marzo de 2019: capturas de pantalla hechas desde el teléfono celular de una persona en la ciudad de México que muestran las sugerencias de búsqueda hechas por Google a partir de la palabra “niños” y “niñas”; el contraste es escandaloso, pues en el caso de “niñas” las principales sugerencias de búsqueda tienen un matiz sexual que no aparece en el otro caso.
La primera reacción de quienes observan este ejemplo es suponer que el comportamiento del algoritmo no hace más que reflejar el volumen de búsqueda asociado con cada sugerencia y, en consecuencia, nosotros, los usuarios, somos los responsables absolutos del contraste observado. Sin embargo, aunque definitivamente tenemos problemas importantes de género en nuestra sociedad, quedarnos con esta primera idea es pasar por alto un agente importante: el algoritmo mismo de Google, el cual posibilita tales diferencias en los resultados y las permite en la medida que le representan un beneficio comercial. La empresa tuvo una respuesta inmediata en el momento que el tema cobró fuerza en las redes sociales: bloqueó rápidamente las sugerencias “inapropiadas” e, incluso, agregó un botón para reportar sugerencias de búsquedas ofensivas; cualquiera diría que ya había una ruta de acción preparada para una situación que, además, la compañía había enfrentado (y resuelto) varios años atrás en Estados Unidos.
Safiya Noble presenta una importante discusión sobre el tema en su libro Algorithms of Oppression. Si no es una cuestión técnica, ¿a qué puede obedecer la ventana de tiempo entre tener la solución a un problema detectado e implementarla? Aunque mucha gente piensa en el buscador de Google como en un mayordomo amable que nos permite encontrar respuestas, estamos ante una compañía privada cuyo negocio se basa en la venta de publicidad. Hace casi veinte años se hablaba con admiración en los círculos académicos del algoritmo de PageRank y se especulaba sobre su funcionamiento basado puramente en la estructura de red de internet. Muchas cosas han sucedido al interior de la compañía desde entonces y en este momento el ordenamiento que muestra como resultado a una petición de búsqueda obedece a decisiones que no son abiertas al público y que, especulamos, se guían por una combinación de sugerencias útiles para el usuario y de sugerencias que representan una ganancia para la empresa.
Con base en los casos mostrados podríamos proponer que la expresión “sesgo algorítmico” hace referencia a una desviación sistemática, no anticipada por el usuario final, en los resultados de un algoritmo, la cual puede deberse a problemas metodológicos relacionados con los datos o la representación de un grupo social que se encuentra asociado a procesos históricos, o bien fue inducida por el grupo a cargo del desarrollo del algoritmo sin que esto sea claro para el usuario.
A partir de los numerosos casos reportados de este tipo de problemas, los sectores involucrados en el desarrollo de inteligencia artificial —academia, industria y gobierno— se han enfocado en crear líneas de análisis alrededor de los algoritmos y su impacto en la sociedad bajo nombres cada vez más diversos y específicos —desde “justicia algorítmica” hasta “equidad en los datos”.
Nuestras herramientas en tiempos oscuros
Que el análisis crítico de los algoritmos cobre importancia y se vuelva un tema central al interior de la comunidad es una buena noticia. Se requiere miradas diversas para identificar posibles puntos ciegos en nuestra tecnología, así como herramientas que van más allá de las matemáticas o las ciencias computacionales para desarrollar una inteligencia artificial benéfica. Independientemente de los casos de sesgo algorítmico, en los últimos años hemos visto publicaciones científicas que exhiben un grado preocupante de confusión respecto de los problemas que pueden abordarse mediante esta tecnología.
Apenas en noviembre de 2016, un grupo de investigación de la Universidad de Shangái Jiao Tong publicó un artículo en el que afirma ser capaz de usar una red neuronal convolucional para determinar, a partir de una fotografía del rostro, si una persona es un criminal, el cual resulta alarmante no sólo por su potencial para ser mal usado, sino por la ignorancia que exhiben los autores respecto de un problema que dista mucho de ser nuevo y a la candidez con que proponen abordarlo.
Determinar la criminalidad de una persona a partir de rasgos en su fisonomía es exactamente la idea propuesta por Cesare Lombroso en el siglo xix, la cual deriva de la “frenología” y ha sido ampliamente discutida y, al final, desechada; en su momento sirvió para revestir de ciencia y objetividad algunas creencias de la época que justificaban la supremacía de un grupo de poder sobre el resto de las personas. Cuando las ideas de Lombroso llegaron a México, por ejemplo, científicos nacionales de la época utilizaron dicha teoría para establecer que los indígenas en nuestro país tenían un rostro que denotaba miseria, abandono, falta de inteligencia y violencia innata, entre otras cosas.
Es importante destacar que en el caso de esta publicación de 2016 no tenemos un problema propiamente de sesgo algorítmico o de un dilema ético sino, mucho más grave, una alarmante confusión epistémica que lleva a los autores a revivir una pseudociencia bajo el cobijo de herramientas sofisticadas de inteligencia artificial.
Por supuesto, en una sociedad que es capaz de revivir la idea de que la Tierra es plana hay terreno fértil suficiente para sembrar la idea de que esta tecnología, dotada de un procedimiento muy sofisticado y científico, puede usarse para determinar la personalidad (¡o la criminalidad!) de las personas a partir de su rostro. Y en una sociedad donde impera un sistema capitalista voraz no falta quien aproveche la situación: páginas como Faception intentan vender frenología moderna explicando la utilidad que podría tener en la investigación de crímenes o en puntos de control en las fronteras. Para estar a tono con la conversación en la comunidad dedicada a este campo, la empresa tiene incluso un apartado donde discute ética y justicia en sus algoritmos.
Si en algún momento ha sido apremiante un diálogo entre las ciencias exactas y las humanidades, es ahora.
Por un desarrollo tecnológico responsable
Con tantos intereses económicos en juego, es casi imposible que se dé una desaceleración en el desarrollo de la inteligencia artificial, aun si son muchas las voces que aconsejan detener la implementación de ciertas herramientas hasta contar con un análisis a profundidad sobre sus posibles consecuencias, como es el caso del reconocimiento facial en lugares públicos.
¿Qué hacer? Existen voces que sugieren establecer un juramento hipocrático para matemáticos, computólogos y especialistas involucrados en el desarrollo de tecnología, como un llamado a reflexionar en las posibles aplicaciones que su trabajo podría tener y a centrarse en el bienestar de la sociedad —porque, seamos claros en esto, la inteligencia artificial y el manejo de un volumen masivo de datos puede traer grandes beneficios a la sociedad, lo ha hecho ya en áreas como la salud pública. Paradójicamente, junto con las amenazas que puede tener su mal uso, ésta provee también herramientas esperanzadoras para enfrentar problemas inminentes en nuestro planeta.
No se trata de frenar el desarrollo de esta tecnología, sino de mantener una postura crítica frente a las herramientas que posibilita. Será importante que quienes participan en su desarrollo mantengan las cosas en perspectiva, integrando en su ejercicio investigativo un diálogo con especialistas de otras disciplinas; establecer grupos de trabajo interdisciplinarios será fundamental para explorar la dimensión social, cultural y política de las herramientas que se están generando y proponer estrategias enfocadas en mitigar los efectos que la adopción de tales tecnologías podría tener en las minorías y los grupos más vulnerables.
Asimismo, es necesario recordar que nuestros modelos comienzan desde los datos, pues decidir esquemas de representación ya establece una relación de poder. Por sofisticados que sean, nuestros modelos siempre reflejan nuestro punto de vista y, en consecuencia, capturan nuestra visión del mundo. Tener esto en cuenta nos recuerda la importancia de mantener en todo momento un vigilancia epistémica y un punto de vista crítico que reconozca las limitaciones propias.
|
|||||||||||
| Agradecimientos Agradece el apoyo del proyecto PAPIIT - IA107318. |
|||||||||||
|
Referencias Bibliográficas
Big Data Increases Inequality and Threatens Democracy. Broadway Books, Nueva York. Broussard, Meredith. 2019. Artificial Unintelligence: How Computers Misunderstand the World. MIT Press, Cambridge Mass. Noble, Safiya Umoja. 2018. Algorithms of Oppression: How Search Engines Reinforce Racism. NYU Press, Nueva York. O’Neil, Cathy. 2016. Weapons of Math Destruction: How Eubanks, Virginia. 2018. Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor. St. Martin’s Publishing Group, Nueva York. Kearns, Michael y Aaron Roth. 2019. The Ethical Algorithm: The Science of Socially Aware Algorithm. Oxford University Press, Oxford. |
|||||||||||
| Marisol Flores Garrido Escuela Nacional de Estudios Superiores Unidad Morelia Universidad Nacional Autónoma de México. Es profesora de tiempo completo en la ENES-Morelia. Trabaja en el área de aprendizaje automático y tiene un interés particular en la intersección entre las ciencias computacionales y las humanidades. |
|||||||||||
|
cómo citar este artículo →
|
|||||||||||
