Evaluación de modelos de lenguaje para la clasificación temática de resúmenes científicos en español y portugués
Evaluating language models for subject classification of scientific abstracts in Spanish and Portuguese
Afiliaciones
- Universidad de Barcelona ROR https://ror.org/021018s57
- University of Lisbon ROR https://ror.org/01c27hj86
- Pontificia Universidad Católica de Chile ROR https://ror.org/04teye511
Resumen
La clasificación temática automatizada puede facilitar la indexación de la producción científica iberoamericana, históricamente subrepresentada en los sistemas internacionales. Se evaluaron cinco modelos de lenguaje en la tarea de asignar áreas disciplinares a 9.600 resúmenes en español y portugués, comparando su desempeño con anotaciones de especialistas. El mejor modelo alcanzó un F1 macro de 0,87 en español y 0,84 en portugués. Los errores se concentraron en áreas interdisciplinarias y en resúmenes breves. Se discuten las condiciones para incorporar estas herramientas en flujos editoriales sin reemplazar la revisión experta.
Automated subject classification can facilitate the indexing of Ibero-American scholarly output, historically under-represented in international systems. Five language models were evaluated on assigning disciplinary areas to 9,600 abstracts in Spanish and Portuguese, comparing their performance with expert annotations. The best model reached a macro F1 of 0.87 in Spanish and 0.84 in Portuguese. Errors were concentrated in interdisciplinary areas and short abstracts. The conditions for incorporating these tools into editorial workflows without replacing expert review are discussed.
Introducción
Los sistemas de indexación dependen de metadatos temáticos consistentes. En revistas con recursos limitados, la asignación manual de áreas disciplinares suele ser heterogénea, lo que afecta la recuperación de la información y la visibilidad de los artículos.
Datos y métodos
Se construyó un corpus equilibrado de 9.600 resúmenes, 4.800 por idioma, distribuidos en 24 áreas disciplinares. Tres especialistas anotaron cada resumen de manera independiente y las discrepancias se resolvieron por consenso. Los modelos se evaluaron en modalidad de pocos ejemplos.
Resultados
La figura 1 compara el desempeño de los cinco modelos evaluados en español. La tabla 1 detalla las métricas del mejor modelo en ambos idiomas, con una diferencia moderada a favor del español.
| Idioma | Precisión | Exhaustividad | F1 macro |
|---|---|---|---|
| Español | 0,89 | 0,85 | 0,87 |
| Portugués | 0,86 | 0,83 | 0,84 |
Discusión
Los modelos pueden ofrecer sugerencias útiles a los equipos editoriales, pero la variabilidad en áreas interdisciplinarias aconseja mantener la validación humana. Se recomienda documentar el uso de estas herramientas en las políticas editoriales.
Contenido ficticio generado para la demostración de estilos de la plataforma. Autores, datos y referencias son inventados.
Referencias
- Bastos, F., & Rocha, P. (2024). Corpus científicos en portugués para PLN. Lisboa: Edições Académicas.
- Llorens, M., & Vidal, J. (2025). Clasificación automática y diversidad lingüística. Revista Española de Documentación Digital, 48(1), 1-19.
- Saavedra, I. (2025). Inteligencia artificial en flujos editoriales: riesgos y oportunidades. Comunicación Académica, 7(2), 33-50.
Información del artículo
Licencia y derechos
Derechos de autor 2026 Jordi Puigdomènech Ferrer, Inês Carvalho Mendes, Tomás Errázuriz Vial

Esta obra está bajo una licencia internacional Creative Commons Atribución 4.0.
- Sección
- Artículos