Resultados
Solo números y observaciones; la interpretación está en Lo que aprendí. Todos los resultados son sobre el conjunto de desarrollo de GenSIE (149 tareas), con una sola semilla.
Mejor pipeline zero-shot: progresión en Qwen3-14B
| Pipeline | F1 |
|---|---|
| Baseline (zero-shot) | 0,6577 |
| E021 (1-shot) | 0,6994 |
| E025 (3-shot, similitud de esquema) | 0,7155 |
| E211 (E025 + posprocesado de anclaje) | 0,7426 |
| E222 (E025 + posprocesado completo, incluido el filtro de alucinaciones) | 0,7840 |
| E225 (selector enriquecido, biblioteca sintética, adendas de comportamiento) | 0,7910 |
| E226 (E225 + guía de campos + limpieza de la fuente) | 0,7999 |
En toda la pila de posprocesado, el recuento de errores de alucinación bajó de 84 (E025, sin posprocesado) a 21 (E222). Una variante de E226 con un prompt un 40 % más corto (E227) obtuvo 0,7895.
Mejor resultado por régimen y modelo
| Modelo | Baseline sin entrenar | Mejor zero-shot | Mejor LoRA | Mejor fine-tuning completo |
|---|---|---|---|---|
| Qwen3-14B | 0,6577 | 0,7999 | 0,6977 | 0,7054 |
| Llama-3.2-3B | 0,6703 | 0,7459 | 0,7449 | 0,7481 |
| Salamandra-7B | 0,4843 | 0,6276 | 0,6406 | 0,6193 |
Mejor valor por modelo en negrita. Los modelos entrenados Qwen y Llama se evaluaron solo con los prompts baseline y 1-shot: los pipelines más ricos (E225, E226) no se ejecutaron sobre ellos, y la ejecución de Qwen con LoRA y E226 se abandonó por la longitud del prompt y la latencia. La tabla no muestra, por tanto, cuánto añade el entrenamiento sobre el mejor pipeline en esos dos modelos. El F1 más alto de todas las configuraciones es el de Qwen3-14B zero-shot (0,7999). En Llama el mejor pipeline zero-shot (0,7459) y el fine-tuning completo (0,7481) están prácticamente empatados. En Salamandra el mejor resultado es LoRA combinado con un prompt few-shot enriquecido.
Alucinación en campos anulables
Tasas sobre las 505 oportunidades de campos anulables del conjunto de desarrollo, con el prompt baseline simple (sin ejemplos few-shot ni posprocesado).
| Modelo | Tasa de null-trap sin entrenar | Mejor variante entrenada |
|---|---|---|
| Qwen3-14B | 14,65 % | 12,08 % (fine-tuning completo; LoRA 12,48 %) |
| Salamandra-7B | 24,55 % | 7,33 % (fine-tuning completo; LoRA 14,26 %) |
| Llama-3.2-3B | 25,15 % | 6,34 % (LoRA; fine-tuning completo 12,67 %) |
La tasa bajó en todos los modelos con el entrenamiento. Todas las tasas se midieron con el prompt baseline simple, no con los mejores pipelines.
Búsqueda de LoRA
La búsqueda convergió en la misma configuración para los tres modelos: rango 64, alpha 128, dropout 0,10, learning rate 5e-5. Pasar del rango 64 al 128 redujo el eval-loss como máximo en 0,003 mientras la brecha entre entrenamiento y evaluación seguía creciendo. El in-context tuning dio el menor eval-loss en todos los modelos:
| Modelo | Eval-loss con prompt por defecto | Eval-loss con in-context tuning |
|---|---|---|
| Qwen3-14B | 0,5698 | 0,3569 |
| Salamandra-7B | 0,5078 | 0,3829 |
| Llama-3.2-3B | 0,671 | 0,4248 |