Los modelos recientes de lenguaje grande dependen cada vez más de arquitecturas modulares para lograr escalabilidad y eficiencia. Entre estos enfoques, los sistemas Mixture-of-Experts (MoE) permiten el cálculo condicional mediante el enrutamiento dinámico de entradas a módulos expertos especializados. Aunque este mecanismo permite que los modelos amplíen la capacidad de parámetros manteniendo un costo computacional manejable, los procesos de enrutamiento que determinan la activación de expertos permanecen en gran medida opacos. Los mecanismos actuales de gating optimizan principalmente el rendimiento estadístico, ofreciendo una visión limitada de la lógica estructural que gobierna cómo fluye la información a través del sistema. Este artículo propone un marco conceptual en el que el modelo Ontology–Process–Trajectory (OPT) de la cognición funciona como una capa de enrutamiento cognitivo para arquitecturas modulares de modelos de lenguaje grande. El marco OPT describe los procesos de razonamiento como vías dinámicas que conectan fuentes de señales generativas con procesos de estabilización que resuelven esas señales en interpretaciones o acciones coherentes. Al introducir esta perspectiva de vías en arquitecturas modulares de IA, el enrutamiento experto puede interpretarse como propagación estructurada de señales en lugar de un gating puramente estadístico. Dentro de esta perspectiva, los expertos modulares corresponden a mecanismos de estabilización que transforman señales dentro de dominios particulares de procesamiento, mientras que los mecanismos de enrutamiento aproximan la selección de vías cognitivas por las cuales viajan las señales. La arquitectura resultante sugiere una interpretación por capas en la que el cálculo neural opera dentro de una topología estructural de enrutamiento que organiza el flujo de información. El presente trabajo no introduce un nuevo algoritmo de entrenamiento. En cambio, propone una interpretación estructural de arquitecturas neuronales modulares y describe cómo los principios de enrutamiento basados en vías podrían informar el diseño futuro de modelos. Al vincular la teoría de vías cognitivas con sistemas modulares de aprendizaje automático, el marco OPT puede ofrecer un puente conceptual entre teorías del razonamiento y arquitecturas de inteligencia artificial escalables.
Building similarity graph...
Analyzing shared references across papers
Loading...
Eve Liu
Building similarity graph...
Analyzing shared references across papers
Loading...
Eve Liu (miércoles,) estudió esta cuestión.
www.synapsesocial.com/papers/69b3ad1302a1e69014ccf626 — DOI: https://doi.org/10.5281/zenodo.18963959
Synapse has enriched 5 closely related papers on similar clinical questions. Consider them for comparative context: