La caja negra no estaba en el sistemaThe Black Box Wasn't in the System

La clase del Módulo 6, UNLZ — septiembre de 2026The Module 6 class, UNLZ — September 2026

Lo que ya sabían hacerWhat They Already Knew How to Do

Antes de la presentación, los grupos habían trabajado cinco casos. En quince minutos, sin ningún marco formal, evaluaron cuatro cosas: quién responde, con qué criterio trabaja el sistema, si se puede reconstruir qué pasó y cuándo interviene una persona. Eso es intuición profesional, y es valiosa. Pero sin un método detrás, es difícil defenderla ante un cliente, un regulador o un juez.

Before the presentation, the groups had worked through five cases. In fifteen minutes, with no formal framework, they evaluated four things: who is accountable, what rules the system works under, whether what happened can be reconstructed, and when a person steps in. That is professional intuition, and it is valuable. But without a method behind it, it is hard to defend in front of a client, a regulator, or a judge.

La caja negra estaba en otro ladoThe Black Box Was Somewhere Else

Mostré tres casos argentinos: Chubut, Azul y Rosario. Un texto generado sin supervisión, antecedentes inventados por el modelo, fallos que nunca existieron. Pero hay algo que se pierde si los contamos como fallas de la inteligencia artificial: no fueron casos donde la IA falló. Fueron casos donde el profesional aceptó el resultado sin auditarlo.

I showed three Argentine cases: Chubut, Azul, and Rosario. Text generated without oversight, precedents invented by the model, rulings that never existed. But something gets lost if we tell them as failures of artificial intelligence: these were not cases where the AI failed. They were cases where the professional accepted the result without auditing it.

La caja negra no estaba en el sistema. Estaba en la decisión de firmar sin verificar. Y eso no lo resuelve ningún marco regulatorio por sí solo. Lo resuelve el criterio profesional, pero un criterio que sabe cuándo desconfiar y cómo dejar documentado que desconfió.

The black box wasn't in the system. It was in the decision to sign without verifying. And no regulatory framework solves that by itself. Professional judgment does, but a judgment that knows when to distrust and how to document that it did.

La pregunta que dejé abiertaThe Question I Left Open

Doris había preguntado cómo se audita un sistema de IA. Yo dejé otra: ¿qué pasa cuando el profesional que firma es el que no se auditó a sí mismo? La dejé sin responder a propósito, para que trabajara en la sala. Si la clase se llevó una sola cosa, ojalá haya sido esa.

Doris had asked how an AI system is audited. I left a different question: what happens when the professional who signs is the one who never audited themselves? I left it unanswered on purpose, so it could keep working in the room. If the class took away just one thing, I hope it was that.