Lo que aprendí

Interpretación de los resultados. Se apoya en tres modelos, una tarea y ejecuciones de una sola semilla, así que cada afirmación se formula con cautela.

El fine-tuning parece ayudar menos cuanto mejor es el pipeline

En Qwen3-14B el mejor pipeline zero-shot (0,7999) supera tanto a LoRA como al fine-tuning completo. En Llama los dos están prácticamente empatados. Solo en Salamandra, el modelo más débil sin entrenar, LoRA suma algo sobre el mejor pipeline de prompting. La comparación tiene un límite: los modelos entrenados Qwen y Llama no se evaluaron con los pipelines más ricos, así que no está probado si el entrenamiento aporta algo sobre ellos. Una lectura plausible es que el fine-tuning enseña al modelo un comportamiento de manejo de esquemas que las capas de posprocesado y los ejemplos recuperados ya aportan en inferencia: cuando esas capas faltan, el entrenamiento compensa; cuando están, tiene menos que añadir.

El entrenamiento importa en otro eje: la alucinación

El F1 global oculta un efecto consistente. Con el prompt baseline simple, la tasa de null-trap bajó en todos los modelos con el entrenamiento, con fuerza en Salamandra y Llama y solo ligeramente en Qwen. Esto sugiere que, frente a un modelo sin entrenar con el mismo prompt, el entrenamiento hace al modelo más dispuesto a abstenerse. No demuestra que el entrenamiento supere al mejor pipeline de prompting en este eje: en el análisis de origen, un pipeline bien diseñado sigue siendo competitivo con LoRA en anclaje a la fuente.

El óptimo fue estable entre tamaños de modelo

La misma configuración de LoRA (rango 64, alpha 128, dropout 0,10) resultó la mejor para los modelos de 3B, 7B y 14B, y el in-context tuning ayudó a los tres. Junto con la ganancia plana entre el rango 64 y el 128, esto parece indicar que la dificultad de la tarea reside en razonar sobre el esquema, y que las palancas que actúan sobre ese razonamiento se comportan de forma parecida en este rango de tamaños.

Lo que no funcionó

La ejecución E229 añadió una segunda pasada dirigida del LLM para las 34 tareas de desarrollo con objetos anidados, sobre E226 con Llama-3.2-3B. El subconjunto objetivo mejoró en 0,0037, pero el F1 global bajó de 0,7459 a 0,7432 y el coste estimado creció hasta unas 1,23 veces el de E226. Además, 20 de las 115 tareas sin objetos anidados cambiaron entre dos ejecuciones de una primera pasada sin modificar, lo que apunta a no determinismo en el stack de serving y no al método. La rama se descartó.

Límites

Tres modelos, una tarea, ejecuciones de una sola semilla: la interpretación no es una prueba entre familias de modelos.
El pipeline más rico desborda la ventana de contexto de 8k de Salamandra en 14 de las 149 tareas de desarrollo, así que su mejor pipeline reportado es uno más ligero.
El corpus sintético está dominado por texto de dominio general derivado de Wikipedia, así que la transferencia a dominios especializados no se prueba aquí.