Artículos Open access CC BY 4.0 Vol. 1 No. 1 (2026): Número 1 pp. 88-102

Evaluating language models for subject classification of scientific abstracts in Spanish and Portuguese

Evaluación de modelos de lenguaje para la clasificación temática de resúmenes científicos en español y portugués

  • Jordi Puigdomènech Ferrer 1 Corresponding author (Author)
  • Inês Carvalho Mendes 2 (Author)
  • Tomás Errázuriz Vial 3 (Author)
Affiliations
  1. University of Barcelona ROR https://ror.org/021018s57
  2. University of Lisbon ROR https://ror.org/01c27hj86
  3. Pontifical Catholic University of Chile ROR https://ror.org/04teye511
Received
Published

Abstract

Automated subject classification can facilitate the indexing of Ibero-American scholarly output, historically under-represented in international systems. Five language models were evaluated on assigning disciplinary areas to 9,600 abstracts in Spanish and Portuguese, comparing their performance with expert annotations. The best model reached a macro F1 of 0.87 in Spanish and 0.84 in Portuguese. Errors were concentrated in interdisciplinary areas and short abstracts. The conditions for incorporating these tools into editorial workflows without replacing expert review are discussed.

Introducción

Los sistemas de indexación dependen de metadatos temáticos consistentes. En revistas con recursos limitados, la asignación manual de áreas disciplinares suele ser heterogénea, lo que afecta la recuperación de la información y la visibilidad de los artículos.

Datos y métodos

Se construyó un corpus equilibrado de 9.600 resúmenes, 4.800 por idioma, distribuidos en 24 áreas disciplinares. Tres especialistas anotaron cada resumen de manera independiente y las discrepancias se resolvieron por consenso. Los modelos se evaluaron en modalidad de pocos ejemplos.

Resultados

La figura 1 compara el desempeño de los cinco modelos evaluados en español. La tabla 1 detalla las métricas del mejor modelo en ambos idiomas, con una diferencia moderada a favor del español.

F1 macro por modelo (español)
Figura 1. F1 macro por modelo (español). Elaboración propia con datos ficticios.
Tabla 1. Desempeño del mejor modelo por idioma
IdiomaPrecisiónExhaustividadF1 macro
Español0,890,850,87
Portugués0,860,830,84

Discusión

Los modelos pueden ofrecer sugerencias útiles a los equipos editoriales, pero la variabilidad en áreas interdisciplinarias aconseja mantener la validación humana. Se recomienda documentar el uso de estas herramientas en las políticas editoriales.

Contenido ficticio generado para la demostración de estilos de la plataforma. Autores, datos y referencias son inventados.

References

  1. Bastos, F., & Rocha, P. (2024). Corpus científicos en portugués para PLN. Lisboa: Edições Académicas.
  2. Llorens, M., & Vidal, J. (2025). Clasificación automática y diversidad lingüística. Revista Española de Documentación Digital, 48(1), 1-19.
  3. Saavedra, I. (2025). Inteligencia artificial en flujos editoriales: riesgos y oportunidades. Comunicación Académica, 7(2), 33-50.

Article information

Section
Artículos