Dentro de la caja negra: qué guarda un sistema de IA y por qué te importaInside the Black Box: What an AI System Stores and Why It Matters to You
Analista de Transfer Pricing, Grant Thornton Argentina. Investigador en gobernanza algorítmica aplicada al cumplimiento fiscal internacional.Transfer Pricing Analyst, Grant Thornton Argentina. Researcher in algorithmic governance applied to international tax compliance.
“Caja negra” es la metáfora más usada y menos explicada sobre IA. Se dice para transmitir que no se sabe qué pasa adentro — pero pocas veces se detalla qué es, específicamente, lo que queda oculto y por qué eso tiene consecuencias legales concretas, no solo técnicas.“Black box” is the most used and least explained metaphor about AI. It is said to convey that nobody knows what happens inside — but it is rarely specified what, exactly, remains hidden and why that has concrete legal consequences, not just technical ones.
Qué hay realmente adentroWhat Is Really Inside
Un sistema de IA generativa no es una caja vacía con una regla mágica. Tiene capas concretas, cada una con implicancias distintas:
A generative AI system is not an empty box with a magic rule. It has concrete layers, each with different implications:
Datos de entrenamiento. El corpus con el que se construyó el modelo — en modelos de terceros, rara vez es público en detalle. Determina qué sesgos, qué huecos de conocimiento y qué límites normativos ya vienen incorporados antes de que la organización use el sistema.
Training data. The corpus used to build the model — in third-party models, it is rarely public in detail. It determines what biases, what knowledge gaps, and what normative limits are already incorporated before the organization uses the system.
Parámetros del modelo. Los pesos internos que determinan cómo el sistema procesa un input. Son, literalmente, ilegibles para un humano — no hay forma de “leer” por qué un modelo llegó a un resultado mirando sus parámetros directamente.
Model parameters. The internal weights that determine how the system processes an input. They are, literally, unreadable to a human — there is no way to “read” why a model reached a result by looking at its parameters directly.
Proceso de inferencia. El camino que sigue el sistema entre recibir un input y producir un output. Algunos modelos exponen parte de este proceso (razonamiento intermedio visible); la mayoría no.
Inference process. The path the system follows between receiving an input and producing an output. Some models expose part of this process (visible intermediate reasoning); most do not.
Datos del input de la organización. Lo que la organización envía al sistema — acá es donde entra la variable de privacidad y protección de datos, porque ese input puede incluir información personal, confidencial o regulada.
Organization's input data. What the organization sends to the system — this is where the privacy and data protection variable enters, because that input can include personal, confidential, or regulated information.
Por qué “no se puede saber qué hace” es imprecisoWhy “You Can't Know What It Does” Is Imprecise
La opacidad no es uniforme. Hay tres niveles distintos, y confundirlos genera decisiones de gobernanza mal calibradas:
Opacity is not uniform. There are three distinct levels, and confusing them generates poorly calibrated governance decisions:
| Nivel | Qué significa | Se puede mitigar con |
|---|---|---|
| Opacidad de origen | No se sabe con qué datos se entrenó el modelo | Elegir proveedores con políticas de transparencia documentadas, contratos claros |
| Opacidad de proceso | No se puede reconstruir el razonamiento interno del modelo | Trazabilidad del input/output — no del modelo en sí, sino de cómo se usó |
| Opacidad de uso | Se sabe cómo funciona el sistema, pero no se documentó cómo se aplicó en un caso concreto | Esto es enteramente responsabilidad de la organización — no del proveedor |
| Level | What it means | Can be mitigated with |
|---|---|---|
| Origin opacity | Unknown what data the model was trained on | Choose providers with documented transparency policies, clear contracts |
| Process opacity | The model's internal reasoning cannot be reconstructed | Input/output traceability — not of the model itself, but of how it was used |
| Use opacity | How the system works is known, but how it was applied in a specific case was not documented | This is entirely the organization's responsibility — not the provider's |
El tercer nivel es el que más importa en la práctica, porque es el único que la organización controla al cien por ciento. No se puede exigir que un proveedor abra sus parámetros — sí se puede (y se debe) exigir que la organización registre cómo usó el sistema en cada caso.
The third level is the one that matters most in practice, because it is the only one the organization controls one hundred percent. One cannot demand that a provider open their parameters — one can (and should) demand that the organization record how it used the system in each case.
Dónde entra la privacidad de datosWhere Data Privacy Enters
Cuando una organización envía información a un sistema de IA externo, esa información sale de su perímetro de control directo. Ahí aparecen preguntas concretas que van más allá de la opacidad del modelo:
When an organization sends information to an external AI system, that information leaves its direct control perimeter. There, concrete questions arise that go beyond the model's opacity:
- ¿El proveedor retiene los datos enviados, y por cuánto tiempo?Does the provider retain the data sent, and for how long?
- ¿Se usan para reentrenar el modelo, mezclándose con datos de otros clientes?Are they used to retrain the model, mixing with data from other clients?
- ¿Hay transferencia internacional de datos, y bajo qué marco legal se ampara?Is there international data transfer, and under what legal framework?
- ¿Existe un contrato de Zero Data Retention (ZDR) que garantice que el dato no se retiene ni se usa para entrenamiento?Is there a Zero Data Retention (ZDR) contract guaranteeing the data is not retained or used for training?
Estas preguntas no son técnicas — son contractuales y normativas. Ley 25.326 en Argentina, GDPR si hay conexión europea, disposiciones sectoriales según la industria: todas convergen en el mismo punto — enviar datos a una API externa es tratamiento de datos, y como tal, requiere base legal y contrato, no solo buena fe.
These questions are not technical — they are contractual and normative. Law 25,326 in Argentina, GDPR if there is a European connection, sectoral provisions depending on the industry: all converge on the same point — sending data to an external API is data processing, and as such, it requires a legal basis and contract, not just good faith.
Qué se puede exigir sin abrir la caja negraWhat Can Be Required Without Opening the Black Box
No hace falta —ni es posible— que un proveedor exponga sus parámetros internos para que una organización opere con responsabilidad. Lo que sí se puede y debe exigir:
It is neither necessary nor possible for a provider to expose their internal parameters for an organization to operate responsibly. What can and must be required:
- Documentación de políticas de retención y uso de datosDocumentation of data retention and use policies
- Contrato explícito que cubra transferencia y tratamientoExplicit contract covering transfer and processing
- Registro propio de cada input enviado y output recibido, independiente de lo que el proveedor documenteOwn record of each input sent and output received, independent of what the provider documents
- Clasificación previa de qué tipo de dato puede salir hacia el sistema y cuál debe permanecer localPrior classification of what type of data can go to the system and which must remain local
Esto es, en la práctica, la función de una ventana de control bien diseñada: no abre la caja negra del modelo, pero sí documenta con precisión todo lo que entra y sale de ella.
This is, in practice, the function of a well-designed control window: it does not open the model's black box, but it does precisely document everything that enters and exits it.
La lectura de fondoThe Underlying Reading
No hace falta entender los parámetros internos de un modelo para gobernar su uso con responsabilidad. Hace falta controlar lo que sí está en manos de la organización: qué dato entra, bajo qué contrato, y qué registro queda de cada uso. La caja negra puede seguir siendo negra por dentro — el problema aparece cuando también es negra por fuera.
You do not need to understand a model's internal parameters to govern its use responsibly. You need to control what is in the organization's hands: what data enters, under what contract, and what record remains of each use. The black box can remain black inside — the problem appears when it is also black on the outside.