Un algoritmo no hace más que reproducir desigualdades inherentes al sistema capitalista. Por esta razón, desde el Seminari Taifa convidan a politizar el análisis del algoritmo y entender el razonamiento subyacente.
Vivimos rodeadas de algoritmos. Artilugios tecnológicos abstractos que aun así tienen consecuencias muy reales para la clase trabajadora, como por ejemplo el afán de identificarnos a través de unas futuras cámaras de reconocimiento facial en el corazón de Barcelona.
A pesar de los riesgos de la tecnología, asistimos a una falsa narrativa que asocia avance tecnológico y progreso social y que trata de convencernos de que un código informático será más objetivo a la hora de resolver lo que antes se decidía por otros medios. Aun así, desde el Grupo de Tecnología del Seminari Taifa, dedicado al estudio del capitalismo digital, defendemos que lo que afecta a la vida de las personas es política, tanto si es ley como si es código.
De todos modos, ¿qué es un algoritmo? Es un listado de instrucciones finito, estructurado, secuencial y altamente específico. O como dice la metáfora, una receta, también de naturaleza analógica. En nuestra realidad pandémica, el triaje en las urgencias médicas sigue un protocolo asimilable a un algoritmo. En matemáticas son comunes en operaciones como la multiplicación o la división, pero es con la digitalización cuando han experimentado una auténtica edad de oro, gracias a la aparición de los algoritmos de aprendizaje automático. Esta tecnología, denominada machine learning en inglés, no es nada más que un sistema para optimizar un determinado resultado en otros algoritmos sin requerir supervisión humana.
Pero ¿quién decide el resultado a optimizar y quién acepta las consecuencias que puedan derivarse de la obtención de este resultado en un sistema complejo? Es inevitable analizar esta tecnología en términos de desigualdad. No tanto como causante, sino como perpetuadora. El algoritmo de Glovo, por ejemplo, está diseñado para favorecer las plusvalías de la empresa y no a los riders. La versión digital de la explotación.
Según afirmaba Judith Membrives en el debate Algoritmos sesgados del CVC y como también sostiene Adam Greenfield en su libro Radical Technologies, estamos hablando de que una parte impone sus normas sobre la otra sin que la parte dominada sea necesariamente consciente de ello. Un marco digital de dominación que, tras la retórica de falsa objetividad y optimización, actúa como un velo que oculta relaciones sociales de explotación (y que incluso puede crear otras nuevas, pero esto ya daría para otro artículo), convirtiéndose a menudo en un chivo expiatorio por el hecho de que los responsables de la explotación no tengan que rendir cuentas. Culpar al algoritmo es ideal: las variaciones son difíciles de contrastar y el algoritmo no es físico y, por tanto, no admite medidas de presión.
Pero ¿cómo crea exactamente desigualdad un algoritmo? Sus decisiones discriminatorias pueden provenir de los posibles sesgos de género, raza o clase inherentes a cualquier código o cualquier grupo de datos empleado para entrenarlos. De todas maneras, sea por desconocimiento o interés, el poder dominador de los algoritmos comienza mucho antes, cuando se toma la decisión de utilizarlos. Según Rachel Thomas, citando al profesor de Princeton Arvind Narayanan, el software de aprendizaje automático puede clasificarse grosso modo en tres grupos.
Percepción: búsqueda inversa de imágenes o de audio, diagnóstico médico, o los mediáticos hipertrucajes, llamados deepfakes en inglés (cuyas potencialidades y amenazas dan para otro artículo). Aquí hay avances realistas, medibles y reconocidos por la academia.
Reconocimiento y clasificación: detección de mensajes basura, violaciones de la propiedad intelectual, detección de discursos de odio. Esta es un área gris donde hay algoritmos eficaces como los de la primera categoría, pero donde también hay muchos que están sesgados perpetuando desigualdades.
Predicción del desarrollo social: esta es la categoría más dudosa, abiertamente seudocientífica, que trata de detectar riesgos terroristas, señalar a personas conflictivas, prever comportamientos con respecto a las finanzas o el éxito profesional. Aquí, claro está, entran muchos algoritmos que excluyen a muchas personas de todo el mundo, a menudo sin que estas entiendan cómo y por qué.
La creencia en la objetividad postideológica de los algoritmos también suele llevar a afirmar que el uso de algoritmos no tiene contrapartidas, pero optar por aplicar algoritmos de este tercer grupo o no plenamente desarrollados es perpetuar desigualdades. Por ejemplo: el algoritmo decide que a alguien no se le conceda un crédito o que no es buena candidata para un puesto de trabajo. En Catalunya, muchos permisos penitenciarios se tratan con el RisCanvi, que evalúa más de 43 variables, con lo cual la persona privada de libertad no tiene claro por qué se ha tomado una decisión u otra.
El hecho de no comprender el razonamiento del algoritmo se denomina efecto de caja negra, y según Frank Pasquale es el principal elemento de desigualdad. La judicatura está obligada a argumentar veredictos, pero los algoritmos, maquinalmente objetivos, son blancos o negros, pero siempre incuestionables. Si supiéramos qué prioriza el algoritmo podríamos aplicar la ley Goodhart y darle las métricas que pide, haciendo que vaya a favor nuestro. Mientras no conozcamos el algoritmo, el poder solo está en uno de los bandos.
¿Qué hacer entonces? Politizar el análisis del algoritmo como se politiza su creación. Hace falta analizar las relaciones sociales que subyacen al algoritmo, del mismo modo que se analizan las relaciones sociales que subyacen a la mercancía. Cuando una decisión política de una empresa o una administración impactaba sobre la clase trabajadora u otros colectivos, era viable lanzar una respuesta o iniciar una negociación. Sin embargo, esta vía se complica cuando hay un algoritmo con su falsa pátina de objetividad, que se convierte en un enemigo etéreo e incomprensible.
Entendemos que el problema no son los algoritmos, ya que pueden ser útiles en tareas médicas y científicas y pueden resultar claves para conseguir una auténtica economía planificada, como apuntan ciertos autores como Paul Cockshott y Maxi Nieto. El problema es el capitalismo y su uso interesado de esta tecnología como una herramienta más de dominación. El algoritmo no hace más que reproducir desigualdades inherentes al sistema y la prueba es que la patronal CEOE no considera que la obligación establecida por el Ministerio de Trabajo de hacer públicos los algoritmos de las empresas de reparto precarizadoras (Uber Eats, Deliveroo, Glovo) sea una amenaza para estas. Aparte del detalle de que la ley solamente obliga a publicar la parte del algoritmo relacionada con el derecho laboral (como si el resto del algoritmo no influyera), ya se está comprobando que la explotación continúa el paso de una parte sustancial de la fuerza de trabajo por las ETT.
La cosa está clara: si solo se cuestiona el algoritmo, no es un problema para la patronal, ya que las relaciones de explotación seguirán existiendo, sean digitales o analógicas. Además, la administración y los movimientos sociales estamos en mantillas a la hora de comprender y contrarrestar el impacto de esta tecnología en la desigualdad laboral. Hace unos años, periodistas como Austin Carr o Judith Duportail descifraron el funcionamiento del algoritmo de la aplicación de citas Tinder. Resultó ser profundamente clasista y aun así prácticamente no hubo reacciones adversas, ni siquiera entre las personas usuarias. Tal vez no se comprendían las consecuencias.
Si los algoritmos son política, hay que hacer que cambien de bando y buscar más experiencias como la del Ministerio de Trabajo, que realiza inspecciones automatizadas para detectar falsos trabajadores temporales, o la de los BreadTubers, que publican contenidos de izquierda haciendo creer al algoritmo de YouTube que sus vídeos son de ultraderecha. Si los algoritmos habían de servir para dominar, también podrán servir para cuestionar esta dominación.
Traducción: viento sur
Octavi Bioy es miembro del Grupo de Tecnología del Seminari Taifa. Este artículo es fruto del trabajo colectivo de dicho grupo.