Participación humana suficiente: el criterio que separa supervisión real de maquillaje regulatorioSufficient Human Participation: The Criterion That Separates Real Oversight from Regulatory Window Dressing

Por qué “hay un humano” no alcanzaWhy “There's a Human” Is Not Enough

La norma —AI Act, SIGEN, la mayoría de los marcos que están apareciendo— exige supervisión humana en decisiones de riesgo. Pero no define de qué tipo. Eso deja espacio para una forma de cumplimiento nominal: alguien firma, aprueba o revisa, sin tener en los hechos capacidad real de detectar un error o de frenar la decisión a tiempo.

The rule — the AI Act, SIGEN, most of the frameworks that are emerging — requires human oversight on risk decisions. But it doesn't define what kind. That leaves room for a form of nominal compliance: someone signs, approves or reviews, without actually having the capacity to detect an error or stop the decision in time.

Ese humano no reduce el riesgo. Lo esconde, porque ahora hay una firma que parece garantizar algo que no garantiza.

That human doesn't reduce risk. They hide it, because now there's a signature that appears to guarantee something it doesn't guarantee.

Las cuatro condiciones de suficienciaThe Four Conditions of Sufficiency

Participación humana suficiente exige que se cumplan, simultáneamente, estas cuatro condiciones:

Sufficient human participation requires that all four of the following conditions be met simultaneously:

1. Información completa.Complete information. El humano tiene acceso a los mismos datos e insumos que usó el sistema — no un resumen editado que ya viene sesgado hacia la conclusión del algoritmo. The human has access to the same data and inputs used by the system — not an edited summary that is already biased toward the algorithm's conclusion.
2. Tiempo real de decisión.Real decision time. Existe ventana efectiva para revisar antes de que la decisión se ejecute — no una aprobación posterior que solo formaliza lo que ya ocurrió. There is an effective window to review before the decision is executed — not a post-hoc approval that only formalizes what has already occurred.
3. Capacidad técnica de evaluación.Technical evaluation capacity. La persona entiende lo suficiente del criterio del sistema como para detectar una anormalidad, no solo para hacer clic en “aprobar”. Esta condición es la base de lo que en TRIA se define como supervisión escéptica sustantiva: la actitud profesional de verificar activamente los outputs de un sistema de IA contra la norma aplicable, los hechos del caso y el criterio propio — sin partir de la aceptación ni del rechazo a priori. The person understands enough about the system's criteria to detect an anomaly, not just to click “approve.” This condition is the basis of what TRIA defines as substantive skeptical supervision: the professional attitude of actively verifying an AI system's outputs against the applicable rule, the facts of the case, and one's own judgment — without starting from acceptance or rejection a priori.
4. Autoridad real de veto.Real veto authority. Puede frenar o modificar la decisión sin costo desproporcionado — organizacional, de tiempo o de responsabilidad — que desincentive hacerlo. They can stop or modify the decision without disproportionate cost — organizational, temporal or accountability-related — that would discourage doing so.

Si falta una sola, la supervisión es nominal, aunque exista formalmente.

If any single one is missing, the oversight is nominal, even when it formally exists.

A partir de qué punto es intervención profesionalWhen It Counts as Professional Intervention

Las cuatro condiciones anteriores dan el marco. Falta el corte: por debajo de qué punto una acción humana deja de contar como intervención.

The four conditions above provide the framework. What's missing is the threshold: below what point does a human action stop counting as intervention.

No es intervención profesional:

It is NOT professional intervention:

• Aprobar sin haber revisado el input que usó el sistema.Approving without having reviewed the input used by the system.
• Revisar después de que la decisión ya se ejecutó, sin capacidad de revertirla.Reviewing after the decision was already executed, with no ability to reverse it.
• Delegar la lectura del output a otra persona sin criterio sobre el caso.Delegating the reading of the output to another person without judgment about the case.
• Firmar por procedimiento, sin registro de qué se evaluó puntualmente.Signing as procedure, without a record of what was specifically evaluated.

Es intervención profesional cuando la persona puede responder, con evidencia, estas tres preguntas sobre un caso concreto: qué información tuvo, qué evaluó de esa información, y qué hubiera cambiado su decisión.

It IS professional intervention when the person can answer, with evidence, these three questions about a specific case: what information they had, what they evaluated in that information, and what would have changed their decision.

Si no puede reconstruir eso, no hubo intervención — hubo firma.

If they cannot reconstruct that, there was no intervention — there was a signature.

Este corte importa porque es el que un auditor o regulador va a aplicar en los hechos, más allá de lo que diga el proceso documentado.

This threshold matters because it is the one an auditor or regulator will apply in practice, regardless of what the documented process says.

Cómo se evalúa en la prácticaHow to Evaluate in Practice

El indicador más confiable de nivel “Suficiente” no es el proceso en el papel — es la existencia de casos donde el humano efectivamente cambió o frenó una decisión. Sin eso, la supervisión no se puede distinguir de la formalidad vacía.

The most reliable indicator of “Sufficient” level is not the process on paper — it is the existence of cases where the human actually changed or stopped a decision. Without that, the oversight cannot be distinguished from empty formality.

Por qué esto importa más de lo que pareceWhy This Matters More Than It Seems

Esta es la dimensión donde más organizaciones fallan sin saberlo, porque es la más fácil de simular. Documentar trazabilidad de datos es verificable con evidencia dura. Demostrar que un humano interviene de verdad requiere mostrar comportamiento, no solo estructura — y eso rara vez se audita hasta que ya pasó un incidente.

This is the dimension where most organizations fail without knowing it, because it is the easiest to simulate. Documenting data traceability is verifiable with hard evidence. Demonstrating that a human actually intervenes requires showing behavior, not just structure — and that is rarely audited until an incident has already occurred.

La lectura de fondoThe Underlying Reading

Un organismo de control no va a preguntar si hay un humano en el loop. Va a preguntar qué hizo ese humano la última vez que el sistema se equivocó. Si la respuesta es “nada, porque no se enteró a tiempo”, no hubo supervisión escéptica sustantiva — solo estaba anotada.

A control body is not going to ask whether there is a human in the loop. It will ask what that human did the last time the system made a mistake. If the answer is “nothing, because they didn't find out in time,” there was no substantive skeptical supervision — it was only on record.