Google Gemini y el problema de la discriminación social de la inteligencia artificial
Compartir artículo
La inteligencia artificial (IA), es la gran revolución tecnológica del momento y las empresas están invirtiendo para integrar las diferentes ventajas que ofrece. Un claro ejemplo es Google con el lanzamiento de Gemini, la última versión de su modelo generativo basado en IA. Gemini es una evolución de su modelo anterior, Google Bard, y trae una característica destacada: la capacidad de generar imágenes a partir de descripciones textuales.
Con esta novedad, en apenas unos segundos se genera una imagen creada por inteligencia artificial de alta calidad a partir de una descripción. Esto es un gran hito en la sociedad porque acerca esta innovadora tecnología a las personas, a la vez que presta nuevas herramientas a todo el sector que se dedica a ello profesionalmente.
¿Qué problemas tiene Google Gemini?
El lanzamiento de Google Gemini generó una amplia acogida por parte del público, sometiendo al modelo a una variada gama de descripciones. Sin embargo, y tras unos días de testeo por parte de los usuarios, llegó la controversia.
Las redes sociales se llenaron de numerosos mensajes que pusieron de manifiesto una característica inesperada de Google Gemini: la discriminación y la diversidad. A la hora de desarrollar este generador de imágenes de IA, fue entrenado con un énfasis especial en la heterogeneidad racial y de género en fotografías que involucraran sujetos humanos, con el fin de proporcionar imágenes más diversas e inclusivas.
Las críticas apuntaban a una falta de rigurosidad al crear imágenes que reflejaran fielmente la realidad de eventos y situaciones históricas. Varios usuarios expresaron su descontento con Google Gemini al notar que una solicitud para generar imágenes de vikingos (personas originarias de pueblos escandinavos), arrojaba un considerable número de resultados con individuos racializados de ascendencia negra. Casos similares fueron reportados para búsquedas relacionadas con soldados nazis o los padres fundadores de Estados Unidos, junto a un largo etcétera.
¿Qué problemas ha causado Google Gemini?
Además del gran revuelo mediático, la controversia generada por Gemini ha tenido un impacto económico considerable para Google. Tras conocerse la noticia, el 26 de febrero de 2024, las acciones de Alphabet, la empresa matriz de Google, cayeron un 4.5% y Forbes estima una pérdida de valor de mercado de 90.000 millones de dólares.
Les vikings selon Google Gemini ! Le wokisme est une maladie mentale. pic.twitter.com/dxCsZXoStx — No surrender (@HubertMillo) February 28, 2024
Ante esta situación, Google actúo rápidamente pausando la generación de imágenes en su herramienta. Su CEO, Sundar Pichai, criticó abiertamente la falta de precisión histórica de este modelo producido por la compañía, seguido por una publicación en X (antiguo Twitter), pidiendo disculpas, así como otra escrita en el blog de la compañía por Prabhakar Raghavan, vicepresidente senior, explicando lo sucedido.
Este problema con Google Gemini no es el primero que tiene la empresa. En esta línea, hace unos años al buscar imágenes de gorilas en Google Fotos aparecían búsquedas de personas de raza negra. Tras una disculpa por parte de la compañía, procedieron a eliminar la categoría de simios del entrenamiento de los modelos de Inteligencia Artificial de Google Fotos.
Nuevamente Google perdió dinero por sus IAs. Las imágenes erróneas que creó #Gemini sobre soldados alemanes nazis de la II Guerra Mundial con piel negra o rasgos asiáticos hizo que las acciones de la empresa cayeran un 4.5%, perdiendo 90,000 millones de dólares. pic.twitter.com/fERrN38nvW — Javier Matuk (@jmatuk) February 28, 2024
Otros problemas de la inteligencia artificial (IA)
Ambos casos representan efectos opuestos de un mismo problema: la existencia de sesgos en la IA. Este no es un dilema exclusivo de una compañía como Google, sino un problema más general en el campo de la inteligencia artificial que se ve agravado por los nuevos modelos de lenguaje y la IA generativa. Es evidente el efecto negativo que este problema puede tener para la sociedad, no solo en términos de confianza y fiabilidad de dichos sistemas, sino también en la implantación de este tipo de tecnología en determinados ámbitos.
Por ejemplo, el sistema legal de Estados Unidos utiliza una herramienta basada en IA llamada COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) para estimar el riesgo de reincidencia de la población reclusa, sirviendo como indicador para que los jueces tomen ciertas decisiones respecto a las personas presas. Se ha demostrado que esta herramienta produce predicciones sesgadas basadas en la raza, tendiendo a calificar a personas de raza negra o latinas como de mayor riesgo en comparación con personas de raza blanca.
También es destacable el caso de Amazon, que en 2018 tuvo que desechar un modelo de IA utilizado para clasificar currículums, ya que se demostró que el sistema discriminaba a las mujeres para trabajos con un perfil tecnológico.
Otro ejemplo conocido es el de las tarjetas de crédito de Apple, donde un sistema automático negaba sistemáticamente la concesión de un crédito bancario a una mujer, mientras que se lo concedía a su marido, incluso cuando las finanzas dentro de la pareja eran compartidas. A pesar de que Apple asegura que su algoritmo no considera el sexo como un parámetro, los resultados sugieren que, de alguna manera, el algoritmo incorpora un sesgo implícito con relación al género.
Otro ejemplo es el de las conocidas Deep Fakes, esas imágenes que a priori parecen reales, pero están creadas por IA. Aquí hay herramientas como VerifAI capaces de detectar si han sido manipuladas y con qué programas.
Sin duda, la inteligencia artificial está dando grandes pasos, aunque de vez en cuando hay que parar a ver si se está desarrollando todo de forma correcta.
La presencia de sesgos en la IA
Sabemos que los algoritmos de aprendizaje basados en IA y, especialmente en el caso de la IA generativa y los modelos fundacionales, a menudo necesitan grandes volúmenes de información para poder ser entrenados.
Como norma general, a mayor volumen de datos disponibles para entrenar estos modelos, mayor es su precisión. Sin embargo, esto implica que los algoritmos tienden a prestar poca atención a aquellos grupos de población peor representados en los datos, como es el caso de las minorías sociales, entre otros. Esto conlleva a menudo un mayor ratio de error en las predicciones para estos grupos de población.
El problema se agrava al aumentar el volumen de datos, como sucede en el caso del entrenamiento de IA generativa. Además, los datos utilizados para entrenar estos algoritmos con inteligencia artificial, reflejan los sesgos existentes en la sociedad. Al utilizarlos en el entrenamiento de modelos de IA, estos sesgos se replican e, incluso, se amplifican.
La amplia adopción de la IA generativa en diversos ámbitos de la sociedad hace que sea fundamental el desarrollo de técnicas que permitan mitigar los problemas relacionados con la justicia algorítmica.
Un problema no tan sencillo de resolver
El análisis y la mitigación de los efectos que pueden provocar estos sesgos no son tan obvios y sencillos. El problema de la diversidad y la discriminación en algoritmos de IA lleva años estudiándose. Sin embargo, existe determinado compromiso entre la precisión o utilidad de los modelos y su diversidad o no discriminación.
De este modo, los algoritmos que tienen en cuenta esta diversidad o tratan de reducir ciertos sesgos, pueden ver su precisión reducida comparado con algoritmos que no tienen en cuenta este aspecto. En ciertas aplicaciones, esta reducción en prestaciones está justificada por el impacto ético y social. Sin embargo, como en el caso de Google Gemini, estas imprecisiones pueden no ser aceptables en determinados contextos.
A menudo, los modelos de IA generativa están pensados para acometer un gran número de tareas y ser utilizados en muchos contextos al mismo tiempo, como es el caso de Chat-GPT o Google Gemini. Esto hace que sea muy difícil de prever y gestionar todos los escenarios donde se requiera un algoritmo que genere respuestas más diversas e inclusivas o donde se requiera un mayor rigor y precisión.
La solución algorítmica de Google Gemini para mejorar la discriminación racial en las imágenes generadas es beneficiosa en determinados contextos, pero tiene un impacto muy negativo en aquellos casos en los que, por ejemplo, se requiere de un rigor histórico. Esto deja claro que una misma solución para todo no es recomendable.
El imparable avance de la IA
Como aprendizaje de esta situación, señalamos la necesidad de realizar análisis completos en fase de diseño de este tipo de sistemas, evaluando sus usos previstos, así como los potenciales abusos y usos maliciosos. Esto debe hacerse no sólo desde un carácter puramente técnico, sino también social. Este paso previo es fundamental para evaluar el impacto y los riesgos éticos, sociales y a la seguridad de estos algoritmos de IA.
Con el avance imparable de la IA en muchos ámbitos de la vida cotidiana, mirar hacia otro lado no es una opción, ya que estos aspectos cobran una gran relevancia y puede minar la confianza en este tipo de algoritmos si no se diseñan de una forma responsable, lo cual puede tener un impacto negativo para muchas compañías.
Este post ha sido redactado con la colaboración de David Solans Noguero, Scientific Researcher en Telefónica Research.
Senior Research Scientist en Telefónica Research. Doctor por la Universidad Carlos III de Madrid en IA, donde recibió el premio extraordinario de doctorado por su tesis doctoral. Cuenta con experiencia profesional trabajando como investigador en el Imperial College de Londres, donde se ha especializado en temas relacionados con la fiabilidad y seguridad de los algoritmos de IA. Es autor y/o coautor de numerosos artículos y contribuciones científicas de diversa índole y tiene experiencia en participación y liderazgo de proyectos de investigación.
