Recurrent Looped Transformer: Optimizando la Arquitectura de Estado Recursivo

La evolución constante de los modelos de lenguaje ha llevado a investigadores a explorar nuevas fronteras más allá del mecanismo de atención tradicional, dando lugar a la innovadora arquitectura de estado recursivo en los sistemas conocidos como Recurrent Looped Transformer. A diferencia de los Transformers estándar, que sufren un crecimiento cuadrático en su costo computacional …