Ingeniería de Posición: Potenciando Modelos de Lenguaje Grandes mediante la Manipulación de Información Posicional

El rendimiento de los modelos de lenguaje grandes (LLMs) está significativamente influenciado por la calidad de los prompts proporcionados. En respuesta, los investigadores han desarrollado enormes estrategias de ingeniería de prompts dirigidas a modificar el texto del prompt para mejorar el desempeño en las tareas. En este artículo, presentamos una técnica novedosa denominada ingeniería de posición, que ofrece una manera más eficiente de guiar a los grandes modelos de lenguaje. A diferencia de la ingeniería de prompts, que requiere un esfuerzo sustancial para modificar el texto proporcionado a los LLMs, la ingeniería de posición solo implica alterar la información posicional en el prompt sin modificar el texto en sí. Hemos evaluado la ingeniería de posición en dos escenarios ampliamente usados de LLM: generación aumentada por recuperación (RAG) y aprendizaje en contexto (ICL). Nuestros hallazgos muestran que la ingeniería de posición mejora sustancialmente sobre la línea base en ambos casos. Así, la ingeniería de posición representa una nueva estrategia prometedora para explotar las capacidades de los grandes modelos de lenguaje.