Montaje experimental
El estudio se organiza en fases, cada una responde a una sola pregunta y pasa su mejor configuración a la siguiente.
Datos
| Conjunto | Tamaño | Uso |
|---|---|---|
| Conjunto starter | 40 instancias | Cribado inicial de familias de técnicas en tiempo de inferencia |
| Conjunto de desarrollo | 149 tareas | Todos los experimentos posteriores y las comparaciones de este sitio |
| Corpus sintético | 3.948 pares | Biblioteca de recuperación few-shot y datos de fine-tuning supervisado |
| Reserva de eval-loss | 197 ejemplos | Partición interna de validación usada como métrica auxiliar durante la búsqueda de LoRA (la versión limpia del corpus tiene una reserva de 200 ejemplos) |
El corpus sintético tiene 3.748 pares de entrenamiento y una reserva de 200 ejemplos. El test oficial de GenSIE se evalúa en el artículo publicado; los resultados de este sitio son sobre el conjunto de desarrollo.
Modelos
| Modelo | Checkpoint | Notas |
|---|---|---|
| Qwen3-14B | Qwen/Qwen3-14B |
El más grande de los tres |
| Salamandra-7B | BSC-LT/salamandra-7b-instruct |
Orientado al español, entrenado en el Barcelona Supercomputing Center |
| Llama-3.2-3B | meta-llama/Llama-3.2-3B-Instruct |
El más pequeño de los tres |
Los mismos tres modelos se usan en todos los experimentos, de modo que las comparaciones entre modelos son interpretables. El artículo publicado también reporta resultados zero-shot con Gemma-4-E4B.
Los cuatro experimentos
- Familias de técnicas en tiempo de inferencia. Baseline, chain-of-thought, razonamiento consciente del esquema y recuperación few-shot se criban sobre el conjunto starter; la mejor familia se refina después sobre el conjunto de desarrollo con decodificación restringida, una guía de campos y capas de posprocesado.
- Búsqueda de hiperparámetros de LoRA. Tres fases sobre la reserva de eval-loss: rango y dropout, luego scheduler, luego modo de prompt. Cada fase pasa su mejor ajuste a la siguiente.
- Efecto del fine-tuning en el F1. Para cada modelo, cuatro celdas sobre el conjunto de desarrollo: baseline sin entrenar, sin entrenar con el mejor pipeline zero-shot, LoRA y fine-tuning completo.
- Efecto del fine-tuning en los errores. Cada error se clasifica en una de cinco categorías, y la tasa de null-trap se mide aparte como sonda de fabricación.
Protocolo de evaluación
- Métrica: Micro-F1 de Flattened Schema Scoring, tal como la define la tarea (ver el problema).
- Todas las ejecuciones usan una sola semilla. Los entrenamientos usan parada temprana con una paciencia de 2 evaluaciones.
- El coste de cómputo de un pipeline de inferencia se estima a partir del número de tokens y del número de parámetros.
Hardware y software
El entrenamiento se ejecuta en el supercomputador MareNostrum 5 del Barcelona Supercomputing Center, sobre GPUs NVIDIA H100, planificado con SLURM. Cada ejecución de LoRA tarda entre 3 y 6 horas de GPU. El stack de software se describe en la página de tecnologías.