La arquitectura de los modelos de inteligencia artificial ha evolucionado rápidamente hacia estructuras más complejas y eficientes, siendo el Mixture of Experts (MoE) uno de los pilares fundamentales de esta transición. A diferencia de los modelos densos tradicionales donde cada parámetro se activa para procesar cada token, el Mixture of Experts permite una activación selectiva …