Ètica digital i biaixos en el disseny de productes: el cas del dispensador de sabó

La constatació que alguns algoritmes que utilitza la intel·ligència artificial fallen a l’hora de reconèixer les persones de color posa en relleu les dificultats que encara existeixen per incloure la diversitat racial en els productes i serveis que utilitzem de manera habitual en el món digital. Les màquines prenen cada vegada més decisions de manera autònoma i per això, preocupa que els algoritmes perpetuïn en el món digital les mateixes conductes de discriminació racial provinents del món analògic i que els algoritmes prenguin decisions clarament discriminatòries.Per il·lustrar el debat és interessant el vídeo del cas del dispensador de sabó que utilitza un sensor per detectar quan una mà se situa sota:https://www.youtube.com/watch?v=YJjv_OeiHmo.El dispensador no planteja problemes quan la mà és de color blanc ja que dispensa el sabó sense cap dificultat, però curiosament aquest sensor no pot detectar la mà d’un client negre.Si fos possible tirar cap enrere en el temps per intentar comprendre la causa d’aquest biaix racial, segurament el problema es va crear –i no es va detectar– en la mateixa fase de disseny del dispensador, quan l’empresa que ho va concebre tenia al cap com a prototip un sol tipus d’usuari ideal, sense pensar a reflectir la diversitat de la població a la qual anava dirigit.I segurament la composició del grup de persones que va fer el disseny de la màquina expenedora de sabó tampoc era equitativa, ja que ens aventurem a assegurar que hi havia una clara infrarepresentació de persones de color, tant en la fase de disseny com en la d’entrenament del model, ja que possiblement el mateix no es va testejar amb una varietat àmplia de tons de pell i possiblement cap de color negre.El biaix possiblement va ser present en la fase de disseny i també en l’elecció de les dades que es van utilitzar per entrenar la màquina expenedora de sabó.La falta de representació de la realitat de les persones que anaven a utilitzar aquest servei com a clients o, dit d’una altra manera, l’homogeneïtat racial de l’equip creador del disseny, s’apunta com una de les causes del biaix.En aquest cas les conseqüències no van ser greus, però en altres supòsits les conseqüències de les decisions preses poden ser complicades d’assumir.Per evitar perpetuar les situacions de discriminació racial és clau el disseny inclusiu, la promoció de la diversitat en l’equip que crea i entrena la màquina i, sobretot, l’aplicació efectiva de principis de l’ètica digital com l’equitat, la transparència, la confiabilitat i la no-discriminació, eines totes que s’apunten com a indispensables per evitar que els biaixos racials es transfereixin de manera automàtica als algoritmes i amb això, en les decisions que les màquines prenen i que ens afecten com a persones.