Procesamiento Hambriento de Energía: ¿Watts que impulsa el costo del despliegue de IA?

En los últimos años ha habido un aumento en la popularidad de productos comerciales de IA basados en sistemas de IA generativa y multipropósito que prometen un enfoque unificado para incorporar modelos de aprendizaje automático (ML) en la tecnología. Sin embargo, esta ambición de "generalidad" tiene un alto costo ambiental, dado la cantidad de energía que estos sistemas requieren y la cantidad de carbono que emiten. En este trabajo, proponemos la primera comparación sistemática del costo continuo de inferencia de varias categorías de sistemas ML, cubriendo tanto modelos específicos para tareas (es decir, modelos afinados que realizan una sola tarea) como modelos "multipropósito" (es decir, entrenados para múltiples tareas). Medimos el costo de despliegue como la cantidad de energía y carbono requeridos para realizar 1,000 inferencias en conjuntos de datos de referencia representativos usando estos modelos. Encontramos que las arquitecturas generativas multipropósito son órdenes de magnitud más costosas que los sistemas específicos para tareas en una variedad de tareas, incluso controlando por el número de parámetros del modelo. Concluimos con una discusión sobre la tendencia actual de desplegar sistemas ML generativos multipropósito, y advertimos que su utilidad debe evaluarse de manera más intencionada frente a los costos incrementados en términos de energía y emisiones. Todos los datos de nuestro estudio pueden accederse mediante una demostración interactiva para llevar a cabo exploraciones y análisis adicionales.