Artículos Acceso abierto CC BY 4.0 Vol. 1 Núm. 1 (2026): Número 1 pp. 88-102

Evaluación de modelos de lenguaje para la clasificación temática de resúmenes científicos en español y portugués

Evaluating language models for subject classification of scientific abstracts in Spanish and Portuguese

  • Jordi Puigdomènech Ferrer 1 Autor de correspondencia (Autor/a)
  • Inês Carvalho Mendes 2 (Autor/a)
  • Tomás Errázuriz Vial 3 (Autor/a)
Afiliaciones
  1. Universidad de Barcelona ROR https://ror.org/021018s57
  2. University of Lisbon ROR https://ror.org/01c27hj86
  3. Pontificia Universidad Católica de Chile ROR https://ror.org/04teye511
Recibido
Publicado

Resumen

La clasificación temática automatizada puede facilitar la indexación de la producción científica iberoamericana, históricamente subrepresentada en los sistemas internacionales. Se evaluaron cinco modelos de lenguaje en la tarea de asignar áreas disciplinares a 9.600 resúmenes en español y portugués, comparando su desempeño con anotaciones de especialistas. El mejor modelo alcanzó un F1 macro de 0,87 en español y 0,84 en portugués. Los errores se concentraron en áreas interdisciplinarias y en resúmenes breves. Se discuten las condiciones para incorporar estas herramientas en flujos editoriales sin reemplazar la revisión experta.

Introducción

Los sistemas de indexación dependen de metadatos temáticos consistentes. En revistas con recursos limitados, la asignación manual de áreas disciplinares suele ser heterogénea, lo que afecta la recuperación de la información y la visibilidad de los artículos.

Datos y métodos

Se construyó un corpus equilibrado de 9.600 resúmenes, 4.800 por idioma, distribuidos en 24 áreas disciplinares. Tres especialistas anotaron cada resumen de manera independiente y las discrepancias se resolvieron por consenso. Los modelos se evaluaron en modalidad de pocos ejemplos.

Resultados

La figura 1 compara el desempeño de los cinco modelos evaluados en español. La tabla 1 detalla las métricas del mejor modelo en ambos idiomas, con una diferencia moderada a favor del español.

F1 macro por modelo (español)
Figura 1. F1 macro por modelo (español). Elaboración propia con datos ficticios.
Tabla 1. Desempeño del mejor modelo por idioma
IdiomaPrecisiónExhaustividadF1 macro
Español0,890,850,87
Portugués0,860,830,84

Discusión

Los modelos pueden ofrecer sugerencias útiles a los equipos editoriales, pero la variabilidad en áreas interdisciplinarias aconseja mantener la validación humana. Se recomienda documentar el uso de estas herramientas en las políticas editoriales.

Contenido ficticio generado para la demostración de estilos de la plataforma. Autores, datos y referencias son inventados.

Referencias

  1. Bastos, F., & Rocha, P. (2024). Corpus científicos en portugués para PLN. Lisboa: Edições Académicas.
  2. Llorens, M., & Vidal, J. (2025). Clasificación automática y diversidad lingüística. Revista Española de Documentación Digital, 48(1), 1-19.
  3. Saavedra, I. (2025). Inteligencia artificial en flujos editoriales: riesgos y oportunidades. Comunicación Académica, 7(2), 33-50.

Información del artículo

Sección
Artículos