Algoritmos Sesgados

El presente texto lo escribí hace algunos meses, quizá un año ya. Lo publiqué originalmente en un blog personal, pero dado que ya tengo cuenta en medium (!!!) me pareció mejor importarlo a este espacio para mantener mis escritos organizados. Es un texto, pues, bastante sencillo en el tema que toca (algoritmos sesgados), y escrito en plan muy casual, aunque edité algunas pequeñas partes. Si bien es un texto relativamente reciente, hay algunas cosas en las que he cambiado un poco de parecer, pero eso ya lo comentaré en futuras publicaciones. Espero les parezca interesante, y si tienen comentarios al respecto que puedan contribuir ya sea para entender mejor el tema, o para mejorar mi escritura, con mucho gusto les leo, y les agradezco de antemano por darse el tiempo de leerme.

Cuando empecé a escribir esta entrada a finales del 2019 estaba sonando mucho el caso de la “Apple Card”, una tarjeta de crédito desarrollada por Goldman Sachs para Apple, y que supuestamente era un producto sexista (spoiler: sí es). Como desde hace rato tenía ganas de escribir algo sobre algoritmos sesgados dije AHORA ES CUANDO.
No voy a hablar sobre el caso de Apple sino de algoritmos sesgados en general, pero si les interesa saber la noticia se las dejo al final en los materiales referenciados.

Con los recientes avances tecnológicos y lo que vemos en los medios, muchxs creemos que la automatización de ciertos procesos o el relegarle la toma de decisiones sobre ciertas cuestiones a la ~inteligencia artificial~ es 100% confiable y seguro. Tenemos la idea de que los programas de computadora son imparciales (porque ESDEQUE LOS ALGORITMOS SE ALIMENTAN DE DATOS ESTADÍSTICOS, como si las estadísticas no pudieran ser también sesgadas) y que por eso hay que creerles sieeeemmmmpre. La realidad es que no es así. Se ha visto ya en varios productos — desde lavamanos hasta relojes— que la manera en que éstos son diseñados y programados puede resultar en la exclusión de personas que pertenecen a grupos vulnerables. Por ejemplo, hay casos en que los sensores utilizados en lavamanos con incapaces de reconocer pieles oscuras, y cámaras con tecnología de reconocimiento facial que fallan al momento de discernir entre ojos rasgados y ojos cerrados, por mencionar algunos ejemplos. Creo que no es necesario explicar por qué ésto es problemático, pero para no dejar: el producto se vuelve inutilizable para quienes forman parte de poblaciones que compartan ciertas características físicas y fenotípicas, limitando su uso a un sector bastante reducido (casi siempre a personas blancas, en su mayoría hombres), perpetuando así un sinfín de desigualdades.

En el caso específico de algoritmos “sexistas”, y referenciando una entrada que publiqué hace varios meses sobre mi experiencia como estudiante de ciencias computacionales, algo que mencionaba es que el bajo número de mujeres en áreas de STEM (ciencia, tecnología, ingeniería, y matemáticas, por sus siglas en inglés) da fruto a productos que no toman en cuenta nuestras necesidades específicas. Por eso, aunque tal vez el término de “sexista” esté mal empleado o les suene raro (porque una computadora en sí no “piensa” ni “decide”, ergo no puede ser sexista), la realidad es que los resultados producidos son así: sexistas. La información utilizada en ciertos programas puede ser sesgada, y no olvidemos que las aplicaciones son desarrolladas por personas. Éstas pueden, entonces, de manera consciente o inconsciente, transferir sus sesgos y prejuicios a los algoritmos que diseñan.
Retomando el tema de la diversidad, es aparente la importancia de tener un equipo de desarrollo de software diverso, conformado por personas con distintas experiencias y puntos de vista. Ahora, en esta entrada me enfoco mucho en quiénes crean los programas porque es importante reconocer la importancia de la inclusión, una cuestión que a mi parecer (con base en mi experiencia personal) es menospreciada por muchas personas, especialmente en el área de la computación. Sin embargo, hay otros factores que impactan el diseño de una tecnología.

Se han propuesto métodos de taxonomía para las formas en las que se hacen presentes sesgos en algoritmos; por ejemplo, Friedman y Nissenbaum (1996) mencionan que hay 1) sesgos preexistentes (es decir, sesgos que tiene la persona que diseña el algoritmo), 2) sesgos técnicos (que se dan al momento de implementar el algoritmo), y 3) sesgos emergentes (que aparecen conforme pasa el tiempo por cambios en el uso que se le da al producto). Otro modelo que conozco es el de Danks y London (más reciente, del 2017) donde proponen 5 formas en las que se puede joder la objetividad del algoritmo: 1) cuando la información con la que se “entrena” el algoritmo es sesgada, 2) por el enfoque algorítmico (o sea, el estándar o criterios que se utilizan para medir la objetividad del algoritmo), 3) por la interpretación que le da un usuario a los resultados que produce el algoritmo, 4) la transferencia de contexto (cuando el algoritmo es usado en una tarea para la que no fue diseñado), y 5) procesamiento algorítmico, análogo al sesgo técnico en el modelo de Friedman y Nissenbaum.
En varias de estas categorías lxs programadorxs jugamos un rol importante, y por eso debemos ser autocríticxs con nuestras conductas e identificar nuestros prejuicios para así poder crear aplicaciones tan objetivas como nos sea posible (porque nunca nos podremos deshacer completamente de nuestros propios sesgos).

Para cerrar, no creo que haya una manera “correcta” de programar, y definitivamente no existe ni existirá una fórmula universal que nos asegure que nuestro producto será 100% inclusivo e imparcial, por el hecho de que cada persona es sumamente distinta y la sociedad está en constante cambio, y porque todxs tenemos prejuicios, sean conscientes o no (aunque sí hay medidas que se pueden tomar para hacer algoritmos más imparciales, por ejemplo el data set de IBM).
Lo que busco con este texto es simplemente poner el tema sobre la mesa y que sepamos que los programas de computadora pueden perpetuar conductas de marginación; que la tecnología no es imparcial y por tanto no debemos fiarnos de ella por completo, y NO debemos hacer oídos sordos a las experiencias de quienes han sido discriminadxs. Recordemos que al desarrollarse los algoritmos dentro de un contexto social específico, analizar los sesgos existentes es también analizar problemas sociales sistémicos.

Referencias
Aquí les dejo mis fuentes y otros textos que hablan sobre sesgos en algoritmos de software:

ESP
Acá el árticulo que habla sobre el caso de la tarjeta de Apple:
https://animal.mx/bbc/apple-card-por-que-dicen-que-la-tarjeta-de-credito-del-gigante-tecnologico-es-sexista/

Este artículo habla sobre un algoritmo desarrollado por Amazon que se utilizaba durante el proceso de selección de candidatos a entrevista de trabajo:
https://www.bbc.com/mundo/noticias-45823470?xtor=AL-73-%5Bpartner%5D-%5Bterra.com.br%5D-%5Blink%5D-%5Bmundo%5D-%5Bbizdev%5D-%5Bisapi%5D

ENG
Los artículos sobre categorías de algoritmos sesgados:
[1] Friedman y Nissenbaum (1996) https://dl.acm.org/doi/pdf/10.1145/230538.230561
[2] Danks y London (2017) https://www.researchgate.net/profile/Alex_London/publication/318830422_Algorithmic_Bias_in_Autonomous_Systems/links/5a4bb017aca2729b7c893d1b/Algorithmic-Bias-in-Autonomous-Systems.pdf

Estos tres artículos siempre los recomiendo, hablan de cómo la falta de diversidad en los equipos de trabajo que desarollan softwareresulta en productos excluyentes:
[1] https://www.nytimes.com/2016/06/26/opinion/sunday/artificial-intelligences-white-guy-problem.html
[2] https://muse.jhu.edu/article/645268/pdf?casa_token=sc4MWEGAekQAAAAA:h7WsWEA1wIbW5S0OZOYlNGVlTunatzVGzZK_Dd4dqA_JpGl25v0sTa4KH2uc1E_u5V1gMV4kyg
[3] https://dl.acm.org/doi/pdf/10.1145/2851581.2892578

Acá la investigación original en la que se basa el artículo de BBC sobre el algoritmo de Amazon: https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G

Después de compartir esta publicación en fb un compa me pasó estos dos artículos (gracias Roberto) sobre el data set con imágenes de rostros diversos que hizo IBM para mitigar el problema de algoritmos sesgados:
[1] https://www.ibm.com/blogs/research/2019/01/diversity-in-faces/?fbclid=IwAR3zqBtvBkOk6qeg3_oLyyixPFwbDLNBw9NK2-q-bvRxSIgZugf5Xk_v2Fk
[2] https://www.ibm.com/blogs/research/2018/02/mitigating-bias-ai-models/?fbclid=IwAR2DKIbqPHXTsbR_JUq0L6-IFaW5iIXNMNkL3Ic5Vk7DEbJqEeARQcc44VM

Originally published at https://ceecysrasies.blogspot.com on April 20, 2020.