El problema

Extracción guiada por esquema en español

Una instancia de la tarea es una terna: un texto fuente en español, una instrucción en lenguaje natural y un esquema JSON que define qué extraer. El esquema solo se conoce en el momento de la inferencia, de modo que un sistema no puede memorizar tipos de entidad: tiene que leer los nombres, tipos y descripciones de los campos y actuar en consecuencia.

Una salida válida debe cumplir dos restricciones a la vez:

1. Validez estructural: la salida es un objeto JSON que se ajusta al esquema.
2. Fidelidad a la fuente: todo valor no nulo está respaldado por el texto, y todo campo que el texto no respalda se devuelve como null.

A continuación se muestra una instancia ilustrativa escrita para esta página, en el formato del corpus sintético (esquema abreviado); no es un registro del corpus. Fíjate en que el caudal medio no aparece en el texto, así que la respuesta correcta para ese campo es null.

{
  "input_text": "El río Arga es uno de los principales ríos de Navarra. Nace en el área de Quinto Real, en los Pirineos navarros, y atraviesa Pamplona y Puente la Reina antes de desembocar en el río Aragón. Tiene una longitud de 145 km.",
  "instruction": "Extrae el perfil estructurado del río descrito: su nombre, el río en el que desemboca, su longitud en kilómetros, la zona donde nace, las localidades que atraviesa y su caudal medio.",
  "target_schema": "RiverProfile: name, tributary_of, length_km (integer), source_range, passes_through (array), avg_flow_m3s (number or null)",
  "output": {
    "name": "Arga",
    "tributary_of": "Aragón",
    "length_km": 145,
    "source_range": "Quinto Real",
    "passes_through": ["Pamplona", "Puente la Reina"],
    "avg_flow_m3s": null
  }
}

Null-traps

A los campos que el texto no responde se les llama null-traps. Un modelo que inventa un valor verosímil para ellos está alucinando, y la evaluación lo penaliza. Esto convierte la tarea en una prueba de contención tanto como de extracción.

La tarea compartida GenSIE 2026

GenSIE (General-purpose Schema-guided Information Extraction) fue una tarea compartida de IberLEF 2026. Dos reglas condicionaron el trabajo:

• Política de No-Training. Estaba prohibido modificar los pesos del modelo (LoRA, QLoRA, fine-tuning completo). Solo se permitían técnicas en tiempo de inferencia: prompting, recuperación, decodificación restringida y ejemplos few-shot.
• Varios modelos abiertos pequeños. Los sistemas se evaluaban sobre varios modelos de pesos abiertos de menos de 14B parámetros de familias distintas, algunos de ellos ocultos hasta los resultados, lo que desincentivaba ajustar un pipeline a un único modelo.

Aproximadamente la mitad de los esquemas del test privado eran completamente nuevos.

La métrica

La métrica principal es el Flattened Schema Scoring: las salidas de referencia y del sistema se aplanan en conjuntos clave–valor, cada clave compartida recibe una puntuación de similitud entre 0 y 1 (coincidencia exacta para tipos rígidos como enumeraciones y números, una mezcla de embeddings y similitud léxica para texto libre), y la puntuación final es un Micro-F1:

F1 = 2 · TPS / (|G| + |S|), donde TPS es la suma de las similitudes de las claves compartidas, y |G| y |S| son los tamaños de los conjuntos de claves de referencia y del sistema.

El leaderboard de GenSIE agrega los resultados como la fracción de la distancia entre el baseline y la perfección que cada sistema cierra, promediada sobre los modelos de evaluación. Este sitio reporta el Micro-F1 bruto por modelo.