Equidad y abstracción en sistemas sociotécnicos

Un objetivo clave de la comunidad fair-ML es desarrollar sistemas basados en aprendizaje automático que, una vez introducidos en un contexto social, puedan lograr resultados sociales y legales como equidad, justicia y debido proceso. Conceptos fundamentales en ciencias de la computación —como la abstracción y el diseño modular— se utilizan para definir nociones de equidad y discriminación, para producir algoritmos de aprendizaje conscientes de la equidad y para intervenir en diferentes etapas de una cadena de toma de decisiones con el fin de producir resultados "justos". Sin embargo, en este artículo sostenemos que estos conceptos hacen que las intervenciones técnicas sean ineficaces, inexactas y a veces peligrosamente equivocadas cuando ingresan al contexto social que rodea a los sistemas de toma de decisiones. Describimos esta discordancia con cinco "trampas" en las que puede caer el trabajo fair-ML incluso al intentar ser más consciente del contexto en comparación con la ciencia de datos tradicional. Nos basamos en estudios de sistemas sociotécnicos en Science and Technology Studies para explicar por qué ocurren tales trampas y cómo evitarlas. Finalmente, sugerimos maneras en que los diseñadores técnicos pueden mitigar estas trampas mediante un reenfoque del diseño en términos de proceso en lugar de soluciones y mediante la delimitación de las fronteras de abstracción para incluir actores sociales y no solo técnicos.