El enfoque diseñado en la UGR reduce el tamaño de BERT

Un equipo de investigadores de la Universidad de Granada ha desarrollado una innovadora metodología para reducir el tamaño y hacer más accesibles los modelos de lenguaje basados en BERT, que es un sistema que utiliza el aprendizaje automático para procesar el lenguaje natural. El enfoque diseñado en la UGR se denomina ‘Persistent BERT Compression and Explainability (PBCE)’ y utiliza homología persistente para identificar y eliminar neuronas redundantes, logrando una reducción del tamaño del modelo de hasta un 47% en BERT Base y un 42% en BERT Large, sin afectar significativamente la precisión de las tareas de procesamiento del lenguaje natural que este sistema logra.

Seguir leyendo