Saltar a contenido

Structured Information Extraction from Texts in Spanish Using LLM Systems

Construí un sistema que convierte texto libre en español en datos JSON estructurados usando LLMs abiertos pequeños. Rellena solo lo que el texto respalda y está diseñado para devolver null en lugar de inventar un valor.

  • Artículo publicado

    Publicado en las actas de IberLEF 2026 (CEUR Workshop Proceedings). Ver el artículo

  • Premio

    Uno de los tres premios a los mejores TFM de la primera promoción, patrocinados por la Cátedra Tracasa. Detalles

  • Entrenamiento en supercomputador

    LoRA y fine-tuning completo en MareNostrum 5 (NVIDIA H100), sobre 3 modelos abiertos de 3B a 14B parámetros.

Prueba la demo en vivo →

Tecnologías de un vistazo

  • PyTorch

    Entrenamiento de modelos

  • Transformers · PEFT · TRL

    LoRA y fine-tuning supervisado

  • vLLM

    Servir los modelos base y los afinados

  • Outlines · xgrammar

    Decodificación JSON restringida por gramática

  • Pydantic · jsonschema

    Manejo de esquemas y validación de salidas

  • SLURM sobre GPUs H100

    Entrenamiento por lotes en el supercomputador MareNostrum 5

  • MLflow · Langfuse

    Seguimiento y trazado de experimentos

  • Sentence-Transformers · scikit-learn

    Recuperación few-shot y evaluación

Todas las tecnologías

Cifras principales

Cifra Valor Qué es
Mejor F1 zero-shot 0,7999 Qwen3-14B con el mejor pipeline de inferencia (ejecución E226), conjunto de desarrollo de GenSIE, 149 tareas
Micro-F1 en el test 0,74 Qwen3-14B, pipeline e226, sobre el conjunto de test publicado de 145 instancias. Autoevaluado por los autores con el arnés oficial y un modelo de embeddings más ligero, por lo que es una cota inferior de la puntuación oficial. Reportado en el artículo publicado de GenSIE 2026
Escala experimental 280 identificadores de experimento 452 ejecuciones registradas en el registro de experimentos (varias ejecuciones pueden compartir identificador, por ejemplo entre modelos)
Corpus sintético 3.948 pares Pares esquema–instancia sobre 3.275 títulos de esquema distintos, generados con una adaptación en cinco etapas de GuideX y usados tanto para la recuperación few-shot como para el entrenamiento

La cifra de 0,7999 es sobre el conjunto de desarrollo y la de 0,74 sobre el conjunto de test, así que no son comparables entre sí.

Sobre el proyecto

Trabajo Fin de Máster (Máster en Machine Learning, Universidad Pública de Navarra) de Iñigo Goikoetxea Fanega, dirigido por Mikel Sesma Sara y Javier Lasheras Navas. Construye un sistema que rellena un esquema JSON arbitrario, proporcionado solo en el momento de la inferencia, con información fundamentada en un texto en español, usando LLMs abiertos pequeños (hasta 14B parámetros).

El trabajo nació como una participación en la tarea compartida GenSIE 2026 de IberLEF, donde estaba prohibido el fine-tuning, y se amplió después con LoRA y fine-tuning completo sobre un corpus sintético en español. Combina recuperación de ejemplos few-shot por similitud de esquema, decodificación restringida por gramática, posprocesado consciente del esquema y un estudio controlado de cuándo ayuda el entrenamiento.

Por dónde seguir