El Algoritmo que Discrimina sin SaberloThe Algorithm That Discriminates Without Knowing It

I. IntroducciónI. Introduction

Imaginemos dos contribuyentes con facturación similar, igual rubro y comportamiento fiscal idéntico durante los últimos cinco años. El sistema los clasifica de manera diferente: uno como perfil de bajo riesgo, el otro como candidato prioritario a fiscalización. La diferencia no está en lo que hicieron. Está en dónde operan, a qué sector pertenecen, o qué historial acumuló ese segmento en las bases de datos del organismo durante la década anterior.

Imagine two taxpayers with similar revenue, the same line of business, and identical tax behavior over the last five years. The system classifies them differently: one as a low-risk profile, the other as a priority candidate for inspection. The difference is not in what they did. It is in where they operate, what sector they belong to, or what history that segment accumulated in the agency's databases during the previous decade.

Nadie tomó esa decisión conscientemente. El algoritmo la tomó solo, basándose en patrones que aprendió de decisiones humanas pasadas. Y esas decisiones humanas pasadas no eran neutrales.

No one made that decision consciously. The algorithm made it on its own, based on patterns it learned from past human decisions. And those past human decisions were not neutral.

Este es el mecanismo del sesgo algorítmico: no una falla técnica aislada, sino la automatización y amplificación de desigualdades preexistentes. Cuando ese mecanismo opera en el sector privado, el daño es acotado. Cuando opera en el Estado, adquiere escala institucional, respaldo de autoridad pública y, en ausencia de auditoría, se vuelve prácticamente indetectable.

This is the mechanism of algorithmic bias: not an isolated technical failure, but the automation and amplification of pre-existing inequalities. When that mechanism operates in the private sector, the harm is limited. When it operates in the State, it takes on institutional scale, the backing of public authority, and, in the absence of audit, becomes practically undetectable.

II. Cómo nace el sesgo algorítmicoII. How Algorithmic Bias Is Born

Un sistema de inteligencia artificial aprende de datos. No razona desde principios: generaliza desde ejemplos. Si los ejemplos con los que fue entrenado reflejan decisiones históricamente desiguales, el modelo aprende esa desigualdad como si fuera un patrón objetivo. En el campo de la informática, este fenómeno tiene un nombre simple: garbage in, garbage out. Lo que entra determina lo que sale.

An artificial intelligence system learns from data. It does not reason from principles: it generalizes from examples. If the examples it was trained on reflect historically unequal decisions, the model learns that inequality as if it were an objective pattern. In the field of computer science, this phenomenon has a simple name: garbage in, garbage out. What goes in determines what comes out.

El sesgo puede originarse en tres momentos distintos. El primero es el sesgo en los datos de entrenamiento: si las fiscalizaciones pasadas se concentraron desproporcionadamente en determinados sectores, regiones o perfiles de contribuyente, el modelo aprende que esos perfiles son intrínsecamente más riesgosos —aunque la razón real haya sido una política de fiscalización selectiva, no una mayor propensión al incumplimiento.

Bias can originate at three different points. The first is bias in the training data: if past inspections concentrated disproportionately on certain sectors, regions, or taxpayer profiles, the model learns that those profiles are intrinsically riskier — even though the real reason may have been a selective inspection policy, not a greater propensity for non-compliance.

El segundo es el sesgo en el diseño del modelo: las variables que se eligen para entrenar el sistema no son neutrales. Incluir el código postal como variable predictiva, por ejemplo, puede introducir sesgos geográficos que correlacionen con variables socioeconómicas sin que nadie lo haya decidido explícitamente.

The second is bias in the model design: the variables chosen to train the system are not neutral. Including the postal code as a predictive variable, for example, can introduce geographic biases that correlate with socioeconomic variables without anyone having explicitly decided it.

El tercero, y quizás el más peligroso, es la ausencia de validación externa: sin un proceso sistemático de revisión de los outputs del modelo, el sesgo opera en silencio durante meses o años antes de que alguien lo advierta. Si es que alguien lo advierte.

The third, and perhaps the most dangerous, is the absence of external validation: without a systematic process for reviewing the model's outputs, bias operates silently for months or years before anyone notices. If anyone notices at all.

La objetividad aparente del número es, paradójicamente, el principal mecanismo de ocultamiento. Un score de riesgo de 87 sobre 100 parece más objetivo que el juicio de un inspector. Pero si ese score fue calculado por un modelo que heredó los prejuicios de mil decisiones anteriores, su precisión matemática no lo hace más justo: lo hace más difícil de cuestionar.

The apparent objectivity of the number is, paradoxically, the main mechanism of concealment. A risk score of 87 out of 100 seems more objective than an inspector's judgment. But if that score was calculated by a model that inherited the prejudices of a thousand earlier decisions, its mathematical precision does not make it fairer: it makes it harder to challenge.

III. El Estado como amplificadorIII. The State as an Amplifier

El sesgo algorítmico en el sector privado genera consecuencias acotadas: una recomendación incorrecta, un precio injusto, una experiencia de usuario deficiente. Quien lo sufre puede cambiar de proveedor, reclamar, o simplemente ignorar el sistema. Esa salida no existe cuando el Estado es quien clasifica, habilita, restringe o fiscaliza.

Algorithmic bias in the private sector generates limited consequences: an incorrect recommendation, an unfair price, a poor user experience. Those affected can switch providers, file a complaint, or simply ignore the system. That exit does not exist when the State is the one classifying, authorizing, restricting, or inspecting.

Cuando un organismo público usa un sistema de IA sesgado para determinar perfiles de riesgo fiscal, asignar inspecciones o clasificar contribuyentes, el sesgo adquiere tres propiedades que lo vuelven cualitativamente distinto: tiene escala masiva, está respaldado por autoridad pública y produce efectos jurídicos que el ciudadano debe impugnar activamente para revertir.

When a public agency uses a biased AI system to determine tax risk profiles, assign inspections, or classify taxpayers, the bias takes on three properties that make it qualitatively different: it has massive scale, it is backed by public authority, and it produces legal effects that the citizen must actively challenge in order to reverse.

En ese contexto, la carga no está en el sistema de demostrar que su clasificación es correcta. Está en el ciudadano de demostrar que es incorrecta. Y si el sistema es opaco —si ni el organismo ni el afectado pueden acceder a la lógica que produjo el resultado— esa impugnación se vuelve casi imposible.

In that context, the burden is not on the system to prove that its classification is correct. It is on the citizen to prove that it is incorrect. And if the system is opaque — if neither the agency nor the person affected can access the logic that produced the result — that challenge becomes almost impossible.

IV. Por qué la auditoría algorítmica es la única salidaIV. Why Algorithmic Audit Is the Only Way Out

La respuesta intuitiva al problema del sesgo algorítmico suele ser tecnológica: mejores datos, mejores modelos, más precisión. Esa respuesta es insuficiente. Un modelo más preciso que replica un sesgo más eficientemente no es una solución: es una amplificación del problema con mayor velocidad.

The intuitive response to the problem of algorithmic bias tends to be technological: better data, better models, more accuracy. That response is insufficient. A more accurate model that replicates a bias more efficiently is not a solution: it is an amplification of the problem at greater speed.

La respuesta correcta es institucional: auditoría algorítmica sistemática. Esto significa establecer procesos continuos de revisión de los outputs del sistema para detectar patrones de clasificación que puedan indicar sesgo. ¿Qué sectores están siendo marcados como de alto riesgo con mayor frecuencia? ¿Correlaciona esa distribución con variables que no deberían ser relevantes? ¿Ha cambiado esa distribución después de una actualización del modelo?

The correct response is institutional: systematic algorithmic audit. This means establishing continuous processes for reviewing the system's outputs to detect classification patterns that may indicate bias. Which sectors are being flagged as high risk most frequently? Does that distribution correlate with variables that should not be relevant? Has that distribution changed after a model update?

Sin trazabilidad de inputs y outputs, esas preguntas no pueden responderse. Sin control de versiones, no puede saberse si un cambio en el modelo introdujo o corrigió un sesgo. Sin revisión humana sustantiva sobre los resultados agregados del sistema, el sesgo opera sin contrapeso.

Without traceability of inputs and outputs, those questions cannot be answered. Without version control, it cannot be known whether a change in the model introduced or corrected a bias. Without substantive human review of the system's aggregate results, bias operates with no counterweight.

La distinción es relevante: MDMA diagnostica la capacidad institucional previa; TRIA opera sobre el proceso en curso. Un organismo que no tiene capacidad de detectar sesgos no puede beneficiarse de un marco de trazabilidad, porque no sabrá qué buscar en los registros que ese marco produce.

The distinction is relevant: MDMA diagnoses prior institutional capacity; TRIA operates on the ongoing process. An agency that lacks the capacity to detect bias cannot benefit from a traceability framework, because it will not know what to look for in the records that framework produces.

V. ConclusiónV. Conclusion

El sesgo algorítmico en el Estado no es un problema técnico que se resuelve con mejor tecnología. Es un problema de gobernanza que se resuelve con auditoría, trazabilidad y responsabilidad institucional.

Algorithmic bias in the State is not a technical problem that is solved with better technology. It is a governance problem that is solved with audit, traceability, and institutional accountability.

Un algoritmo que no puede ser auditado no puede ser corregido. Un sesgo que no puede ser corregido se convierte, por omisión, en política pública. Y una política pública basada en el prejuicio de los datos históricos no es modernización del Estado: es la desigualdad de ayer administrada con la eficiencia de hoy.

An algorithm that cannot be audited cannot be corrected. A bias that cannot be corrected becomes, by omission, public policy. And a public policy based on the prejudice of historical data is not modernization of the State: it is yesterday's inequality administered with today's efficiency.

Las iniciativas recientes —SIGEN, Buenos Aires, los proyectos legislativos nacionales— abren una ventana. Argentina tiene la oportunidad de construir un estándar de gobernanza algorítmica que convierta la auditoría del sesgo en una obligación institucional, no en una buena práctica opcional. El costo de no hacerlo no lo paga el sistema. Lo paga el ciudadano que no sabe por qué fue marcado.

Recent initiatives — SIGEN, Buenos Aires, the national legislative bills — open a window. Argentina has the opportunity to build an algorithmic governance standard that turns bias audit into an institutional obligation, not an optional good practice. The cost of not doing so is not paid by the system. It is paid by the citizen who does not know why they were flagged.

ReferenciasReferences

Decreto N.º 742/2026. (2026, 14 de julio). Marco Provincial para el Desarrollo, Uso y Gobernanza de la Inteligencia Artificial. Gobierno de la Provincia de Buenos Aires. Boletín Oficial de la Provincia de Buenos Aires.

Decree No. 742/2026. (2026, July 14). Provincial Framework for the Development, Use and Governance of Artificial Intelligence. Government of the Province of Buenos Aires. Official Gazette of the Province of Buenos Aires.

Lento, U. (2026a). TRIA: Trazabilidad, razonamiento, inteligencia artificial, auditoría [Metodología registrada, Legajo N.º RL-2026-46255181; Expedientes EX-2026-44027103-APN-DNDA#MJ y EX-2026-44039596-APN-DNDA#MJ]. Dirección Nacional del Derecho de Autor, Argentina.

Lento, U. (2026a). TRIA: Traceability, reasoning, artificial intelligence, audit [Registered methodology, File No. RL-2026-46255181; Case Nos. EX-2026-44027103-APN-DNDA#MJ and EX-2026-44039596-APN-DNDA#MJ]. National Copyright Office (DNDA), Argentina.