De la caja negra a la gobernanza algorítmica: cómo se audita realmente un sistema de IAFrom the Black Box to Algorithmic Governance: How an AI System Is Actually Audited

La pregunta con la que arrancamos no fue mía. Fue la que la cátedra les había planteado a los alumnos esa misma clase, sobre cinco casos reales de decisiones asistidas por IA. Antes de responderla, les devolví otra: de esos cinco casos, ¿algún grupo había autorizado sin condiciones? Ninguno. Y ahí estaba el punto de partida real de la charla: lo que le faltaba a cada caso no era más información. Era un método para procesarla de manera que después se pueda reconstruir.

The question we opened with wasn't mine. It was the one the course had put to the students that same class, around five real cases of AI-assisted decisions. Before answering it, I asked them one back: of those five cases, had any group approved without conditions? None had. And that was the real starting point of the talk: what was missing in each case wasn't more information. It was a method to process it in a way that could later be reconstructed.

Con los estudiantes y el equipo docente del Módulo 6, UNLZ — 28 de septiembre de 2026With the students and teaching team of Module 6, UNLZ — September 28, 2026

Un nombre para lo que ya estaban haciendoA Name for What They Were Already Doing

Sin saberlo, en esos cinco casos los alumnos ya habían evaluado cuatro cosas: quién responde, con qué criterio trabaja el sistema, si se puede reconstruir qué pasó, y cuándo interviene una persona. Eso tiene nombre: TRIA — Trazabilidad, Razonamiento, Inteligencia Artificial (bien elegida para el entorno regulado) y Auditoría. No es una checklist para completar después de usar el sistema. Es el mecanismo que hay que diseñar antes.

Without realizing it, in those five cases the students had already evaluated four things: who is accountable, what rules the system works under, whether what happened can be reconstructed, and when a person has to step in. That has a name: TRIA — Traceability, Reasoning, Artificial Intelligence (chosen for the regulated environment it operates in), and Audit. It's not a checklist to fill out after using the system. It's the mechanism you design before.

La supervisión humana, en ese marco, no es un casillero que se tilda. Es un diseño con tres niveles: procesos de bajo riesgo donde la IA puede actuar sola, situaciones fuera de lo esperado donde el sistema tiene que escalar, y decisiones irreversibles —con peso legal o profesional— donde la persona decide siempre. Estar presente en el proceso no es lo mismo que controlar el proceso.

In that framework, human oversight isn't a box to check. It's a design with three tiers: low-risk processes where AI can act on its own, out-of-range situations where the system has to escalate, and irreversible decisions — with legal or professional weight — where a person always decides. Being present in the process is not the same as controlling the process.

Tres provincias, un mismo problemaThree Provinces, One Shared Problem

La parte más dura de la charla no fueron los principios. Fueron los casos. En Chubut, parte de un texto judicial fue generado por IA sin supervisión adecuada y la sentencia terminó anulada. En Azul, un sistema incorporó antecedentes jurídicos que no existían —inventados por el modelo— y la resolución quedó invalidada. En Rosario, se citaron fallos que nunca existieron, y el profesional que firmó enfrenta hoy un cuestionamiento por su actuación.

The hardest part of the talk wasn't the principles. It was the cases. In Chubut, part of a judicial text was AI-generated without adequate oversight, and the ruling was overturned. In Azul, a system introduced legal precedents that didn't exist — fabricated by the model — and the resolution was invalidated. In Rosario, rulings that never existed were cited, and the professional who signed off is now facing a misconduct inquiry.

El IALAB de la UBA ya tiene un nombre para este patrón: shadow AI. No es que la tecnología haya fallado. Es que nadie validó el resultado antes de que llevara una firma. Por eso, en abril de 2026, el Consejo de la Magistratura de la Ciudad de Buenos Aires se convirtió en el primer organismo argentino en declarar, por resolución, que la gobernanza algorítmica es una obligación institucional — no una buena práctica opcional.

UBA's IALAB already has a name for this pattern: shadow AI. It's not that the technology failed. It's that no one validated the output before it carried a signature. That's why, in April 2026, the Judiciary Council of the City of Buenos Aires became the first Argentine body to declare, by resolution, that algorithmic governance is an institutional obligation — not an optional best practice.

Con el marco aplicado, esos mismos tres casos se ven distinto: entrada controlada (saber qué documentación entró al modelo, en qué versión), proceso auditable (que el modelo muestre su razonamiento paso a paso, no solo una conclusión cerrada) y salida verificable (que el profesional apruebe y firme bajo su propio criterio, no bajo el del modelo). El sistema genera velocidad. La firma sigue siendo responsabilidad exclusiva del profesional.

With the framework applied, those same three cases look different: controlled input (knowing what documentation went into the model, in what version), an auditable process (the model lays out its reasoning step by step instead of handing over a closed conclusion), and verifiable output (the professional approves and signs under their own judgment, not the model's). The system generates speed. The signature remains the professional's exclusive responsibility.

La historia ya pasó por estoHistory Already Went Through This

En 2001, Enron y WorldCom mostraron sistemas contables que funcionaban perfectamente — hasta que nadie pudo explicar cómo. La respuesta fue Sarbanes-Oxley. Las organizaciones que ya tenían controles documentados se adaptaron en meses. Las que esperaron tardaron años, pagaron más, y algunas no sobrevivieron. Bajo SOX, ninguna caja negra puede certificarse como control efectivo: lo que el proceso no puede mostrar, no puede darse por controlado. Un sistema de IA sin trazabilidad estructurada tiene exactamente ese problema, veinte años después.

In 2001, Enron and WorldCom ran accounting systems that worked perfectly — until no one could explain how. The answer was Sarbanes-Oxley. Organizations that already had documented controls adapted in months. Those that waited took years, paid more, and some didn't survive. Under SOX, no black box can be certified as an effective control: what a process can't show, can't be assumed to be under control. An AI system without structured traceability has exactly that problem, twenty years later.

Y no es una discusión de política pública lejana. La Disposición 60/2016 de la AAIP ya exige garantías equivalentes para transferir datos de clientes argentinos a servidores en el exterior — y usar IA en la nube con esos datos ya entra en ese alcance. El AI Act europeo, por su carácter extraterritorial, ya está bajando en cascada a través de las políticas internas de las grandes firmas hacia sus subsidiarias y clientes en Argentina. La Ley 25.326, la Res. UIF 42/2024 (que nombra explícitamente a los contadores matriculados como sujeto obligado), la Ley 27.401 y la Disposición SSTI 2/2023 no mencionan la inteligencia artificial — pero las cinco convergen en el mismo requisito de fondo: que el proceso automatizado se pueda reconstruir. El vacío no es legal. Es de implementación.

And this isn't a distant policy debate. AAIP Disposition 60/2016 already requires equivalent guarantees to transfer Argentine clients' data to servers abroad — and using cloud AI with that data already falls within its scope. The EU AI Act, extraterritorial by design, is already cascading down through the internal policies of large firms to their subsidiaries and clients in Argentina. Law 25.326, UIF Resolution 42/2024 (which explicitly names licensed accountants as an obligated party), Law 27.401, and SSTI Disposition 2/2023 don't mention artificial intelligence — yet all five converge on the same underlying requirement: that the automated process be reconstructable. The gap isn't legal. It's implementation.

La pregunta que le dejé a la claseThe Question I Left the Class With

Cerré la disertación con una pregunta distinta a la que abrió la clase: ¿qué pasa cuando el profesional que firma es el que nunca se auditó a sí mismo? La diferencia, de acá en más, no va a estar en quién usa inteligencia artificial. Va a estar en quién puede explicar sus resultados. Cuando un cliente, un auditor, un regulador o un juez pregunten cómo se llegó a una conclusión, la respuesta no va a poder ser "lo dijo la inteligencia artificial". La responsabilidad va a seguir siendo humana.

I closed with a different question than the one we opened with: what happens when the professional who signs is the one who never audited themselves? Going forward, the difference won't be who uses artificial intelligence. It will be who can explain their results. When a client, an auditor, a regulator, or a judge asks how a conclusion was reached, the answer won't be able to be "the AI said so." Accountability will remain human.