Saltar a contenido

Resultados

Solo números y observaciones; la interpretación está en Lo que aprendí. Todos los resultados son sobre el conjunto de desarrollo de GenSIE (149 tareas), con una sola semilla.

Mejor pipeline zero-shot: progresión en Qwen3-14B

Pipeline F1
Baseline (zero-shot) 0,6577
E021 (1-shot) 0,6994
E025 (3-shot, similitud de esquema) 0,7155
E211 (E025 + posprocesado de anclaje) 0,7426
E222 (E025 + posprocesado completo, incluido el filtro de alucinaciones) 0,7840
E225 (selector enriquecido, biblioteca sintética, adendas de comportamiento) 0,7910
E226 (E225 + guía de campos + limpieza de la fuente) 0,7999

En toda la pila de posprocesado, el recuento de errores de alucinación bajó de 84 (E025, sin posprocesado) a 21 (E222). Una variante de E226 con un prompt un 40 % más corto (E227) obtuvo 0,7895.

Mejor resultado por régimen y modelo

Modelo Baseline sin entrenar Mejor zero-shot Mejor LoRA Mejor fine-tuning completo
Qwen3-14B 0,6577 0,7999 0,6977 0,7054
Llama-3.2-3B 0,6703 0,7459 0,7449 0,7481
Salamandra-7B 0,4843 0,6276 0,6406 0,6193

Mejor valor por modelo en negrita. Los modelos entrenados Qwen y Llama se evaluaron solo con los prompts baseline y 1-shot: los pipelines más ricos (E225, E226) no se ejecutaron sobre ellos, y la ejecución de Qwen con LoRA y E226 se abandonó por la longitud del prompt y la latencia. La tabla no muestra, por tanto, cuánto añade el entrenamiento sobre el mejor pipeline en esos dos modelos. El F1 más alto de todas las configuraciones es el de Qwen3-14B zero-shot (0,7999). En Llama el mejor pipeline zero-shot (0,7459) y el fine-tuning completo (0,7481) están prácticamente empatados. En Salamandra el mejor resultado es LoRA combinado con un prompt few-shot enriquecido.

Alucinación en campos anulables

Tasas sobre las 505 oportunidades de campos anulables del conjunto de desarrollo, con el prompt baseline simple (sin ejemplos few-shot ni posprocesado).

Modelo Tasa de null-trap sin entrenar Mejor variante entrenada
Qwen3-14B 14,65 % 12,08 % (fine-tuning completo; LoRA 12,48 %)
Salamandra-7B 24,55 % 7,33 % (fine-tuning completo; LoRA 14,26 %)
Llama-3.2-3B 25,15 % 6,34 % (LoRA; fine-tuning completo 12,67 %)

La tasa bajó en todos los modelos con el entrenamiento. Todas las tasas se midieron con el prompt baseline simple, no con los mejores pipelines.

Búsqueda de LoRA

La búsqueda convergió en la misma configuración para los tres modelos: rango 64, alpha 128, dropout 0,10, learning rate 5e-5. Pasar del rango 64 al 128 redujo el eval-loss como máximo en 0,003 mientras la brecha entre entrenamiento y evaluación seguía creciendo. El in-context tuning dio el menor eval-loss en todos los modelos:

Modelo Eval-loss con prompt por defecto Eval-loss con in-context tuning
Qwen3-14B 0,5698 0,3569
Salamandra-7B 0,5078 0,3829
Llama-3.2-3B 0,671 0,4248