Toda la materia es un entrenamiento para una sola habilidad: mirar un sistema de IA
concreto, encontrar qué derecho o valor está en juego, reconocer
qué principios chocan y tomar posición con fundamentos. Eso mismo es lo
que va a pedir el parcial.
Principio BDerechosigualdad, explicación, privacidad, poder impugnar
Se decidecaso por caso: ponderando quién gana, quién pierde, quién decide y quién paga el costo del error.
Esta balanza es la firma de la página. Aparece cada vez que un caso enfrenta dos principios.
Los platos muestran lo que choca; la viga se inclina hacia lo que prevaleció (en el fallo real
o en la respuesta modelo) y abajo va el fundamento. Es exactamente la estructura de una buena
respuesta de parcial.
6Clases
4Teorías éticas
3Marcos: UNESCO · OCDE · UE
4Niveles del AI Act
25+Casos reales
Basado en tus exámenes rendidos
Tu dominio por tema
Se actualiza con cada "Rendir examen" que finalizás — la práctica libre no suma acá, para que esto refleje sólo lo que ya probaste bajo presión.
Cargando…
Panorama
El hilo que conecta las seis clases
La materia avanza en una sola dirección: de la pregunta filosófica al caso judicial. Cada
clase agrega una capa que después se usa para analizar casos.
Leé de arriba hacia abajo. La clase 1 da los criterios para juzgar; la 2 los vuelve principios y
requisitos técnicos; la 3 los vuelve obligaciones jurídicas; las clases 4, 5 y 6 los aplican a
decisiones sobre personas, trabajo y datos.
Cómo usar esta página
Arrancá por Cómo resolver un caso: es la estructura de respuesta que conviene usar en el parcial.
Cada clase abre con su idea fuerza y cierra con los casos que la ilustran.
Las balanzas muestran principios en conflicto; los bloques rojos, el error típico.
El buscador encuentra conceptos, casos, artículos de ley y glosario.
Qué dijo el profesor sobre el primer parcial
Es práctico: aplicar conceptos a situaciones concretas.
Hay que identificar problemas éticos, reconocer los principios en conflicto y fundamentar la posición.
Entra todo el material visto hasta ahora (clases 1 a 6).
Recomendación: repasar conceptos y practicar resolviendo casos.
Para el parcial
Cómo resolver un caso
Un método de ocho pasos armado con las preguntas que la cátedra repite en todas las clases.
No hace falta escribir los ocho como títulos, pero si tu respuesta toca cada uno, cubre todo lo
que el enunciado del profesor pide.
Hechos y actores¿Qué sistema es, qué decide o recomienda y sobre quién? ¿Quién lo desarrolló (provider), quién lo usa (deployer), quién queda afectado y quién es vulnerable?
Ubicar el problema en el ciclo de vidaDatos → preparación → modelo → evaluación → despliegue → decisión. Decí en qué etapa nace el problema: no es lo mismo un dato ilegítimo que un threshold mal elegido.
Nombrar el problema ético con el concepto precisoNo "es injusto": variable proxy, threshold, drift, automation bias, caja negra, reliable ≠ trustworthy, finalidad incompatible, responsabilidad diluida.
Principios en conflictoSiempre son dos o más: eficiencia vs. no discriminación, transparencia vs. secreto comercial, privacidad vs. libertad de expresión, precisión vs. neutralidad. Si sólo nombrás uno, no hay conflicto.
Mirarlo con al menos dos teorías éticasUtilitarismo (¿más bienestar neto?), deontología (¿trata a alguien sólo como medio?), contractualismo (¿lo aceptaría el peor ubicado bajo el velo?), virtud (¿qué haría un profesional íntegro?).
Marco normativo aplicableUNESCO/OCDE (soft law), AI Act (¿qué nivel de riesgo?), GDPR (arts. 5, 9, 17, 22, 25), Ley 25.326 (arts. 4, 5, 20), transparencia en el sector público.
Un precedente análogoBOSCO, Loomis, SCHUFA, Dun & Bradstreet, SyRI, Bridges, Ewert, iTutorGroup, Uber, Glovo, GEMA c/ SUNO, Costeja, Denegri. Usalo para mostrar que tu criterio no es arbitrario.
Posición + medidas + responsableTomá partido. Traducí cada principio a una medida concreta (métrica por subgrupo, logs, revisión humana real, explicación contrafactual, DPIA) y decí quién responde si falla.
La pregunta que ordena todo
¿Quién gana, quién pierde, quién decide y quién soporta los costos? Si tu respuesta contesta
esas cuatro, identificaste el problema ético aunque el caso no use ningún término técnico.
Las 7 preguntas que la cátedra le hace a toda IA
Clase 2 · checklist de auditoría ética
#
Pregunta
Qué mirar en el caso
Concepto que se activa
1
¿Puede causar daño?
A quién, de qué tipo y con qué probabilidad
Proporcionalidad y no daño
2
¿A quién puede discriminar?
Diferencias de impacto entre grupos
Fairness, proxies
3
¿Qué datos utiliza?
Procedencia, calidad, representatividad, base legal
Data governance, finalidad
4
¿Podemos entender sus decisiones?
A qué nivel y para qué destinatario
Transparencia, explicabilidad
5
¿Puede intervenir un humano?
De forma efectiva o sólo formal
Supervisión humana, automation bias
6
¿Es técnicamente robusta?
Condiciones reales, ataques, cambios en el tiempo
Robustez, drift
7
¿Quién responde si falla?
Asignación explícita y anticipada
Accountability
Plantilla de respuesta (para escribir en el parcial)
El problema ético principal es concepto, que aparece en la etapa de etapa del ciclo porque hecho del caso.
Entran en conflicto principio A y principio B: por un lado argumento A; por el otro argumento B.
Desde el utilitarismo se diría …; desde la deontología / el contractualismo, ….
El marco aplicable es norma o principio; el caso se parece a precedente porque similitud.
Mi posición: prevalece principio, porque fundamento. Propongo medida técnica y medida institucional; responde actor.
Un ejemplo resuelto en cinco líneas
Situación (caso 4 del repaso de la clase 2): una empresa está por lanzar una IA de
selección laboral. Un ingeniero descubre que perjudica sistemáticamente a ciertos grupos. Ninguna
norma obliga a frenar y demorar cuesta mucho dinero. Él insiste en detener el lanzamiento.
Principio ABeneficio económico / eficiencialanzar a tiempo, evitar pérdidas, "no hay norma que lo impida"
⇄
Principio BNo discriminación y responsabilidad profesionalel empleo es un área de alto riesgo; el daño recae sobre grupos concretos
Prevalecela no discriminación: que algo sea legal no lo vuelve ético, y lanzar sabiendo del sesgo convierte a la empresa en responsable de un daño previsible.
Ver la respuesta modelo completa
1. Problema: sesgo discriminatorio detectado antes del despliegue (etapa de evaluación). Probablemente por datos históricos y variables proxy.
2. Conflicto: beneficio económico y velocidad vs. no discriminación (UNESCO principio 10, UE requisito 5).
3. Teorías: la decisión del ingeniero es típica de la ética de la virtud («¿qué haría un científico de datos íntegro?»: notificar, documentar, corregir). Un utilitarista ingenuo podría sumar ganancias; pero el daño concentrado en una minoría es justamente la crítica central al utilitarismo.
4. Marco: el AI Act clasifica la selección de personal como alto riesgo (gestión de riesgos, calidad de datos, supervisión humana). Precedentes: Amazon (2018) y iTutorGroup.
5. Posición: suspender el lanzamiento, evaluar fairness desagregada por grupo, revisar proxies, documentar, y definir quién aprueba el relanzamiento. Responde la empresa (deployer/provider), no «el algoritmo».
Lo que baja la nota
«El sistema es injusto porque discrimina.»
«Hay un humano que revisa, así que hay supervisión.»
«El usuario aceptó los términos, entonces es válido.»
Afirma sin fundamentar ni nombrar el concepto.
Lo que la sube
«Con accuracy global del 91 %, el grupo C tiene TPR de 67 %: no cumple equal opportunity.»
«El revisor confirma el 96 %, sin capacitación ni tiempo: es supervisión formal, no material.»
«El consentimiento no es la única base y no suple la finalidad ni la minimización.»
Clase 01 · Bloque 1 · 7 de agosto
Ética, teorías éticas y límites de la IA
La IA amplía enormemente nuestra capacidad de actuar y decidir. Más capacidad implica más
responsabilidad. Esta clase da las herramientas para juzgar esas decisiones.
Pregunta técnica¿Cómo podemos hacerlo?se responde con datos, herramientas y capacidades
Idea fuerzaque algo sea técnicamente posible no significa que sea éticamente aceptable. La excelencia técnica no garantiza corrección ética.
1.1 · Moral, ética y derecho
Tres marcos que orientan la acción
Moral
Ética
Derecho
Qué es
Valores, normas, costumbres y creencias que una persona o sociedad considera correctos
Rama de la filosofía que reflexiona críticamente sobre la moral y busca sus fundamentos
Normas jurídicas obligatorias dictadas por autoridad competente
Pregunta
¿Qué considera correcto esta sociedad?
¿Por qué algo está bien o mal?
¿Qué está permitido, prohibido u ordenado?
Nivel
Práctico / descriptivo: las reglas del juego
Teórico / filosófico: el análisis de las reglas
Coercible, con sanción
Fútbol
No usar la mano, respetar al árbitro
¿Por qué existen esas reglas? ¿Son justas? ¿Podrían ser otras?
—
Para citar
Lo legal, lo moralmente aceptado y lo éticamente correcto pueden coincidir, pero no son lo mismo.
En casi todos los casos de la materia algo es legal y aun así éticamente cuestionable (el chatbot
manipulador «legal», el threshold «configuración técnica»).
La ética no consiste en conocer reglas: obliga a preguntarse qué quiero, qué me conviene, qué les
debo a los demás, si soy libre de elegir y qué consecuencias tienen mis decisiones. Busca
analizar, fundamentar y justificar decisiones. Las distintas aspiraciones de una «buena vida»
(felicidad, libertad, bienestar, ayudar a otros) son valiosas pero no siempre compatibles: de ahí
nacen los dilemas.
1.2 · Las cuatro teorías: qué vuelve correcta una acción
Utilitarismo
Una acción es correcta si produce el mayor bienestar posible para la mayor cantidad de personas. Es consecuencialista: intenciones y reglas previas son secundarias.
Autores
Jeremy Bentham y John Stuart Mill · Inglaterra, siglos XVIII–XIX
Cómo decide
1) Evalúa consecuencias directas e indirectas. 2) Calcula utilidad neta (beneficios − perjuicios). 3) Elige la alternativa que maximiza el saldo global.
Ejemplo de clase
Robar un medicamento para salvar a un niño: si salvar la vida genera mucho más bienestar que el daño patrimonial, es correcto.
Aplicado a IA
Una IA que detecta cáncer con más precisión que los médicos es correcta aunque cometa algún error, si en el cómputo salva sustancialmente más vidas.
Ventaja
Pragmático, cuantificable, flexible; útil para políticas públicas.
Crítica centralPuede justificar injusticias: si perjudicar a una minoría beneficia mucho a una mayoría, el utilitarismo estricto lo avala. Es la objeción que se usa contra «91 % de accuracy global».
Deontología
Hay acciones intrínsecamente correctas o incorrectas, con independencia de sus consecuencias. Existen límites que nunca deben cruzarse.
Autor
Immanuel Kant · del griego deon (deber) + logos
Imperativo categórico
Obrá sólo según una máxima que puedas querer como ley universal. Prueba: ¿qué pasaría si todos actuaran así? Si no se puede universalizar, no es admisible para nadie.
Fórmula de la humanidad
Tratar a las personas siempre como fines en sí mismas, nunca únicamente como medios.
Aplicado a IA
Reconocimiento facial masivo: aunque baje el delito, si instrumentaliza a los ciudadanos sin consentimiento es inaceptable («veto deontológico»).
Ventaja
Protege dignidad y derechos fundamentales frente al bienestar de las mayorías.
Crítica centralRigidez: Kant sostenía que mentir siempre viola un deber, aun si fuera la única forma de salvar una vida.
Contractualismo
Las normas son correctas cuando serían aceptadas por personas libres e iguales en condiciones justas. Se enfoca en la legitimidad de reglas e instituciones.
Autor
John Rawls · filosofía moral contemporánea
Velo de ignorancia
Diseñamos las reglas sin saber qué lugar vamos a ocupar (rico o pobre, sano o enfermo). Criterio: ¿aceptaría esta norma si me tocara el peor lugar?
Aplicado a IA
Crédito algorítmico: 1) criterios auditables y explicables; 2) apelación con revisión humana; 3) cero sesgos que el diseñador no aceptaría bajo el velo.
Ventaja
Sesgo protector hacia los vulnerables; instituciones transparentes y razonables.
Crítica centralEs difícil definir qué reglas aceptarían efectivamente todos en sociedades plurales.
Ética de la virtud
La pregunta no es «¿qué debo hacer?» sino «¿qué clase de persona debo ser?». Una virtud es una disposición estable y adquirida para actuar bien.
La virtud está entre un vicio por defecto y uno por exceso (tabla abajo).
Aplicado a IA
Si un profesional descubre sesgos en su modelo: ¿qué haría un científico de datos íntegro? Notificar el riesgo, documentar vulnerabilidades, corregir variables y actuar con honestidad.
Ventaja
Forma hábitos morales duraderos en los equipos.
Error típicoConfundirla con deontología. Deontología mira el deber (la regla); virtud mira el carácter del agente (qué haría alguien íntegro, aunque no haya regla).
Doctrina del justo medio
Vicio por defecto
Virtud (justo medio)
Vicio por exceso
Cobardía
Valentía
Temeridad
Desconfianza permanente
Confianza prudente
Credulidad ciega
Indecisión / inacción
Prudencia (phronesis)
Exceso de cautela / parálisis
Negligencia
Responsabilidad
Perfeccionismo obsesivo
Rechazar todo modelo por desconfianza
Usarlo auditando críticamente sus límites
Aceptar ciegamente el resultado algorítmico
Parálisis por no usar ningún dato público
Usar lo necesario respetando la privacidad
Explotar masivamente datos privados
Matriz comparativa · la tabla para memorizar
Corriente
Lo importante es…
Pregunta fundamental
Autor
Utilitarismo
Las consecuencias globales
¿Producirá más bienestar neto que daño?
Bentham, Mill
Deontología
Deberes y derechos
¿Respeta la dignidad intrínseca de las personas?
Kant
Contractualismo
Reglas justas
¿Aceptaríamos esta regla bajo el velo de ignorancia?
Rawls
Virtud
El carácter del agente
¿Qué decisión tomaría un profesional virtuoso?
Aristóteles
Práctica del repaso de teorías (clase 2): ¿qué teoría justifica cada decisión?
Los cinco casos del documento de repaso no traen respuesta. Esta es la lectura más defendible; en el parcial conviene nombrar la teoría y el rasgo del caso que la delata.
Caso
Decisión
Teoría
Rasgo que la delata
1 · Respiradores
Asignar a quienes permiten salvar más vidas
Utilitarismo
«Maximizar el número total de sobrevivientes»
2 · Reconocimiento facial
No escanear teléfonos de inocentes aunque cueste encontrar al sospechoso
Deontología
Un límite que no se cruza «por un resultado conveniente»
3 · IA que califica
Reglas acordadas con todos los sectores: explicación, cuestionamiento, revisión humana
Contractualismo
«Reglas razonablemente aceptables por todos los afectados»
4 · Ingeniero y sesgo
Frenar el lanzamiento sin norma que obligue
Virtud
«Actuar responsablemente» como rasgo del profesional
5 · Chatbot manipulador
Prohibir engañar aunque sea legal y rentable
Deontología
Manipular es incorrecto en sí; usa al consumidor sólo como medio
1.3 · El ciclo de vida: la ética está en cada etapa
Evaluación¿Podemos explicar y auditar? ¿Impactos analizados?
Despliegue¿Seguro y robusto? ¿Supervisión humana adecuada?
Decisión¿Quién responde por los daños? ¿Qué derechos tienen los afectados?
En cada etapa hay decisiones humanas y, por lo tanto, responsabilidades éticas y jurídicas. La tecnología no es neutral: incorpora objetivos, elecciones y valores humanos.
Los 8 grandes dilemas éticos de la IA
Justicia y no discriminación: no reproducir ni amplificar desigualdades.
Transparencia y explicabilidad: comprender y justificar decisiones automatizadas.
Privacidad y protección de datos.
Autonomía humana: que la tecnología no manipule ni sustituya indebidamente la decisión.
Trabajo y desigualdad: efectos de la automatización.
Vigilancia y control: seguridad vs. libertades.
Propiedad intelectual: autoría y uso de contenidos.
Sostenibilidad: energía e impacto ambiental.
¿Quién es responsable? No sólo el algoritmo
Desarrolladores: diseñan y entrenan.
Organizaciones: definen objetivos, recursos, políticas y usos.
Reguladores: normas, controles y garantías.
Usuarios: deciden apoyándose en el sistema.
Sociedad: recibe beneficios, riesgos e impactos.
No alcanza con preguntar si funciona, si es preciso o eficiente: hay que preguntar si es justo, si respeta derechos, quién se beneficia, quién asume los riesgos y quién responde si se equivoca.
1.4 · Limitaciones: sesgos en la IA generativa
Un sesgo es una inclinación hacia respuestas, imágenes o decisiones no neutras que reflejan prejuicios sociales. La IA generativa puede reproducir desigualdades con una falsa apariencia de objetividad.
Taxonomía de sesgos de la clase 1
Familia
Sesgo
Qué es / ejemplo
Cognitivos replicados
Confirmación
Privilegia información que confirma creencias previas del usuario o del corpus.
Efecto halo
Atribuye cualidades por un solo rasgo (atractivo → inteligente).
Algorítmicos o de modelado
Inductivo del modelo
Prefiere soluciones que generalizan: finales «estándar» aunque el contexto diga otra cosa.
Por función objetivo
Optimiza verosimilitud o utilidad, no verdad ni equidad: suena bien aunque esté mal.
Por refuerzo humano
El entrenamiento con humanos (alineación) incorpora juicios subjetivos.
Contextuales o de interacción
Formulación del prompt
«¿Por qué son peligrosas las vacunas?» ≠ «¿Qué dicen los estudios sobre su seguridad?»
Adaptativo al usuario
Personaliza según historial o perfil.
Geográfico o regional
Varía por idioma, país o normativa.
Normativos incorporados
Censura
Evita temas (política, religión) por precaución.
Omisión
No da consejo médico o financiero específico para no asumir riesgos.
Psicológico del usuario
Autoridad tecnológica
Asumir que lo que sale de un sistema automatizado «debe ser correcto»: respuesta limpia, inmediata, sin dudas, que encubre datos incompletos, validaciones mal hechas o reglas sin excepciones.
1.5 · Alucinaciones: el caso Mark Walters c/ OpenAI
En mayo de 2023 un periodista le pidió a ChatGPT un resumen de una demanda (SAF contra el fiscal
Ferguson). ChatGPT inventó que Mark Walters, locutor y activista pro-armas, había cometido un fraude
financiero en esa organización. El periodista no lo publicó, pero Walters se enteró y demandó a OpenAI
por difamación.
Por qué se rechazó la demanda · y la crítica de la cátedra
Argumento defensivo (lo que se aceptó)
Crítica
Solo una persona vio el texto: no hubo difusión a terceros
Subestima el daño potencial y desconoce daños reputacionales no públicos
No hubo intención maliciosa ni temeridad
Desconoce la responsabilidad por diseño o negligencia: omitir controles suficientes puede generar responsabilidad aun sin dolo
El sistema no promete exactitud («tal cual»)
El lenguaje de la IA induce confianza indebida; los disclaimers no bastan, no es un error evidente
Las condiciones advertían al usuario
Presumen un consentimiento informado que rara vez es real
Implicancia
Uno de los primeros fallos sobre alucinaciones: plataformas con advertencias claras y medidas
razonables podrían quedar protegidas, y el deber de verificar recae sobre el usuario. La cátedra lo
resume así: no existe una responsabilidad «compartida» real.
1.6 · Privacidad: el precio informacional de un buen prompt
Lógica del promptingMaximizar contextomás datos, ejemplos y antecedentes → mejor respuesta
⇄
Principio legalMinimización y finalidaddatos adecuados, pertinentes y limitados a lo necesario
Salidaprincipio de necesidad contextual: identificar la tarea, las variables que realmente influyen y el mínimo detalle suficiente. La calidad no depende siempre de conservar la identidad.
Anatomía informacional del prompt
Un prompt revela mucho más que su contenido visible.
Profesión, cargo, fecha, vínculo. Seudonimizar no es anonimizar.
3 · Inferencias
Situación económica, salud, ideología, intención, hábitos.
4 · Contexto técnico
IP, dispositivo, ubicación, metadatos, propiedades ocultas de archivos.
Calificación jurídica y comunicación privada
Un mismo prompt puede contener datos personales, datos sensibles e información confidencial (secreto profesional, comercial, judicial), y de varios titulares.
Regla
El consentimiento del usuario no sustituye la base jurídica para tratar datos de terceros.
Principio rector
Entregar información a un proveedor no es renunciar a toda protección. Se evalúa por integridad contextual: finalidad, lo que prometió el proveedor, sensibilidad y salvaguardas.
Consentimiento digital
Límites: condiciones extensas, pocas alternativas y «presión funcional» (no dar datos degrada la utilidad).
In re OpenAI (13/05/2025)
En el juicio de derechos de autor NYT y otros c/ OpenAI y Microsoft, la magistrada Ona T. Wang ordenó preservar registros que se habrían borrado.
Efecto
Alcanzó a usuarios ajenos al litigio, sin voz ni vía para objetar. La obligación amplia terminó el 26/09/2025, pero datos históricos segregados siguieron conservados.
Enseñanzas
1) El control es relacional, no absoluto. 2) Afectación incidental de terceros. 3) «Borrar» tiene capas: ocultar ≠ eliminar de sistemas activos ≠ destruir todo registro.
Error típicoCreer que el derecho de supresión es absoluto: está condicionado por obligaciones legales concurrentes.
Datos inferidos · Meta c/ Bundeskartellamt (TJUE 2023)
Visitar una app o cargar información no es haberla hecho manifiestamente pública. Preguntas ordinarias pueden permitir inferir salud, ideología, sexualidad o situación económica.
El salto crítico
Comprensión transitoria para responder ≠ perfil estable de la cuenta.
Salvaguardas
Antes: advertencia y versión desidentificada. Durante: configuración protectora, conversaciones temporales, no entrenar. Después: trazabilidad, revocación, supresión verificable.
Cierre de la clase
El prompt perfecto puede ser el más invasivo. La calidad no debería medirse por la intimidad
entregada sino por obtener una respuesta útil con la mínima información necesaria.
Clase 02 · Bloque 2 · 14 de agosto
Principios éticos y conceptos técnicos
Cambia la pregunta: ya no «qué dice Kant» sino cómo se traduce un principio ético en una
decisión de ingeniería. El objetivo no es memorizar listas: es poder formular las preguntas
correctas ante cualquier sistema.
Primer dilema de la clase93 % de precisiónel modelo de selección laboral acierta casi siempre
⇄
PeroRechaza el doble de mujeresel dataset refleja contrataciones históricas sesgadas
Idea fuerzala performance técnica no agota la evaluación ética. Reproducir patrones históricos no es neutralidad: es perpetuación.
Una tecnología puede funcionar, ser legal y aun así ser éticamente inaceptable. Por eso la UE pide IA simultáneamente lawful + ethical + robust. En el ciclo de vida hay decisiones humanas en todo: quién define el «éxito» (problema), de quién son los datos, quién decide qué etiqueta es correcta, qué arquitectura, si 70 % basta para rechazar (umbral), quién accede (uso). ¿En qué momento entra la ética? En todos.
2.2 · Cinco conceptos que no son sinónimos
El ejemplo del banco con scoring crediticio
Concepto
Qué designa
En el banco
Transparencia
Saber que el sistema existe y cómo se usa. La capa más básica.
Informa al cliente que usa IA en la decisión
Explicabilidad
Comprender por qué produjo este resultado en este caso
Le dice qué factores incidieron en su scoring
Trazabilidad
Reconstruir datos, procesos y decisiones después de que ocurren
Conserva logs, versión del modelo y datos usados
Auditabilidad
Que terceros con acceso suficiente puedan evaluar el funcionamiento
Permite que un regulador inspeccione el sistema
Accountability
Que alguien responda institucionalmente por las consecuencias
Hay una persona o área que responde
2.3 · Tres marcos internacionales, un núcleo común
UNESCO · Recomendación 2021
IA centrada en derechos humanos y dignidad. Adoptada por 193 Estados (23/11/2021). Primer instrumento global sobre ética de la IA.
Estructura
4 valores (hacia dónde) + 10 principios (cómo actuar) + áreas de acción pública.
4 valores
1) Dignidad humana y DD.HH. 2) Sociedades justas, pacíficas e interconectadas. 3) Diversidad e inclusión. 4) Protección del ambiente y los ecosistemas.
Naturaleza
No es tratado: no vinculante. Valor político, ético e interpretativo → soft law.
OCDE · Principios 2019 (act. 2024)
IA confiable compatible con innovación y desarrollo económico. La actualización 2024 incorpora IA generativa, privacidad, seguridad e integridad de la información.
5 principios
1) Crecimiento inclusivo, desarrollo sostenible y bienestar. 2) Derechos humanos y valores democráticos. 3) Transparencia y explicabilidad. 4) Robustez, seguridad y protección. 5) Responsabilidad.
Recomendación del Consejo: no vinculante, pero con fuerte peso político. La OCDE no pertenece a la ONU.
Unión Europea · Trustworthy AI
Ética operacionalizable: requisitos concretos y evaluación de riesgo. IA confiable = legal + ética + robusta, las tres a la vez.
Origen
Grupo de Expertos de Alto Nivel (HLEG), Ethics Guidelines 2019 + ALTAI. Base conceptual del AI Act.
7 requisitos
1) Agencia y supervisión humana. 2) Robustez técnica y seguridad. 3) Privacidad y gobernanza de datos. 4) Transparencia (3 niveles). 5) Diversidad, no discriminación y equidad. 6) Bienestar social y ambiental. 7) Accountability.
Diferencia clave
La UE convirtió los principios en obligaciones vinculantes con el AI Act (2024).
Los 10 principios de UNESCO convertidos en preguntas de ingeniero
#
Principio
La pregunta / el punto clave
1
Proporcionalidad y no causar daño
¿Necesitamos realmente IA? Finalidad legítima, adecuada, que no exceda lo necesario, daños evaluados antes. Escuela y abandono: ¿reconocimiento facial permanente? Probablemente no.
2
Seguridad
Safety: no causa daño accidental (errores, fallos, usos indebidos previsibles). Security: terceros no pueden comprometerlo.
3
Privacidad
Durante todo el ciclo. Un modelo excelente puede ser inaceptable si usó datos desproporcionados (¿fecha de nacimiento y ubicación exacta para predecir abandono de un servicio?).
4
Gobernanza multiactor y adaptativa
La decisión no es sólo de quien programa: desarrolladores, organismo, sociedad civil, afectados, especialistas, reguladores.
5
Responsabilidad y rendición de cuentas
La IA no es responsable: las personas y organizaciones sí. Trazabilidad, auditorías de impacto, canales para impugnar y reparar. Asignar la responsabilidad por diseño, no cuando algo sale mal.
6
Transparencia y explicabilidad
Qué sistema, para qué, con qué datos, quién controla / por qué este resultado, qué factores, qué habría que cambiar. Explicar ≠ publicar todo el código: se adecua al destinatario.
7
Supervisión y determinación humana
Human-in-the-loop, on-the-loop, in-command. ¿Sirve un humano que acepta el 99,8 %? → automation bias.
8
Sostenibilidad
Energía, huella de carbono, empleo. GPT-3 consumió ≈1.300 MWh en entrenamiento: el costo ambiental es costo ético.
Fairness ≠ tratar a todos igual. ¿Quién está en los datos? ¿Hay proxies? ¿Los errores afectan igual? ¿Quién decide qué desigualdad es aceptable? (decisión política, ética y jurídica).
Tres modos de supervisión humana
Human-in-the-loop
Human-on-the-loop
Human-in-command
Interviene activamente: ninguna decisión se ejecuta sin aprobación explícita
Supervisa las decisiones automatizadas y puede intervenir cuando lo considera necesario
Mantiene el control del sistema en su conjunto, aunque no intervenga en cada decisión
Control humano real (requisito 1 UE)
No basta con un botón rojo que nadie sabe cuándo presionar. La supervisión formal no garantiza supervisión material.
Requiere
Información comprensible · autoridad real para intervenir · tiempo para deliberar · competencia técnica · posibilidad efectiva de anular.
Pregunta clave
¿Existe una persona con capacidad real de decir que no?
Error típicoDar por cumplida la supervisión porque «un humano firma al final». Si confirma casi todo, sin tiempo ni formación, es un sello (ver SCHUFA e IMPULSO).
Transparencia en 3 niveles (requisito 4 UE)
Condición necesaria (no suficiente) para verificar los demás requisitos.
1 · Del sistema
Cómo fue construido: datos, arquitectura, objetivo de optimización.
2 · De la decisión
Por qué decidió esto en un caso concreto.
3 · Institucional
Quién decidió usarlo, con qué finalidad, bajo qué supervisión.
Gobernanza de datos (requisito 3 UE)
No alcanza con proteger la base: hay que gobernar los datos todo el ciclo.
Mirar
Calidad e integridad · legitimidad del acceso (consentimiento, base legal) · representatividad.
Doble problema
De privacidad (datos sin base) + epistemológico (biased data in → biased decision out).
De principio ético a decisión de ingeniería · «una de las tablas más importantes de la asignatura»
Principio
Requisito técnico o procedimental
Fairness
Métricas de equidad por subgrupo (equalized odds, demographic parity…)
Transparencia
Documentación + model cards + datasheets for datasets + logs
Privacidad
Minimización + control de acceso + privacy by design
Seguridad
Testing exhaustivo + red teaming + validación adversarial
Supervisión humana
Override documentado + escalation paths + auditorías de automation bias
Accountability
Versionado + trazabilidad + auditoría + gestión de incidentes
Sostenibilidad
Medir consumo energético y huella de carbono del entrenamiento
Un principio que no puede traducirse a diseño, procedimiento, métrica o evidencia corre el riesgo de convertirse en marketing ético. Los tres marcos coinciden en derechos humanos, supervisión humana, transparencia, equidad, privacidad, robustez, accountability y sostenibilidad.
2.4 · Los siete conceptos técnicos clave
1 · Data governance
Reglas, roles, procesos y controles sobre cómo se gestiona la información. Gobernar datos es garantizar que son adecuados para la decisión que se pretende tomar.
Preguntas
¿Qué datos tenemos? ¿De dónde provienen (licencias, condiciones)? ¿Quién puede usarlos? ¿Son representativos?
Caso
10 años de contrataciones con 85 % hombres: aunque el código sea impecable, el sistema replica el patrón.
Proxy
Quitar «sexo» no alcanza: interrupciones laborales, universidad, código postal o actividades lo reproducen encubierto.
Error típico«No usamos la variable sensible, entonces es ciego.» El algoritmo puede discriminar sin conocer explícitamente la característica.
2 · Threshold (umbral)
El modelo da un score; alguien decide a partir de qué valor se actúa. Elegir el threshold es elegir qué error estamos más dispuestos a tolerar.
Fraude, ops. A 92 %, B 71 %, C 48 %, D 15 %
Umbral 70 %: bloquea A y B. Umbral 90 %: menos legítimas bloqueadas, más fraude pasa. Umbral 40 %: más fraude detectado, más inocentes bloqueados.
Cáncer
Umbral alto: menos falsos positivos, pero enfermos sin diagnóstico. Umbral bajo: más detectados, pero sanos con estudios innecesarios.
Error típicoTratarlo como «configuración técnica». Es una decisión ética sobre qué errores son aceptables y para quién.
3 · Trustworthy ≠ reliable
Reliable: funciona consistente y previsible (¿funciona bien?). Trustworthy: además es legal, ético y robusto (¿podemos confiar legítimamente?).
Caso 1
Reconocimiento facial 99 % entrenado con fotos obtenidas ilegalmente: reliable, no trustworthy.
Caso 2
Modelo que respeta privacidad y no discrimina pero cae ante un ataque adversario: tampoco trustworthy (falla robustez).
Relación
La reliability es condición de la trustworthiness, pero no la agota.
4 · Data drift, concept drift, model drift
El mundo cambia; el modelo puede no cambiar. Un modelo éticamente aceptable hoy puede dejar de serlo mañana.
Data drift
Cambian los datos de entrada respecto del entrenamiento (billeteras virtuales, móviles a toda hora).
Concept drift
Cambia la relación variable → objetivo: operar a las 3 AM ya no indica fraude.
Model drift
Se deteriora la capacidad predictiva aunque nadie tocó el código.
Poder reconstruir toda decisión: quién decidió diseño y despliegue, cómo funcionó, por qué ese resultado, quién responde.
Falla típica
«Lo rechazó el algoritmo. No sabemos por qué.»
Hay que conservar
Versión del modelo, datos usados, score, threshold vigente, reglas aplicadas, fecha, intervención humana y responsable del despliegue.
Frase para citarNo podemos delegar una decisión en una IA y después delegar también la responsabilidad.
6 · ALTAI
Assessment List for Trustworthy AI, herramienta de autoevaluación de la Comisión Europea. Su valor: convertir principios en preguntas, controles y evidencia.
Cadena
Principio → pregunta → control → evidencia.
Ejemplo
«Respetamos la supervisión humana» es declaración. ALTAI pregunta: ¿hay persona que pueda intervenir? ¿con autoridad real? ¿entiende el sistema? ¿puede revertir?
Riesgo de abandono
¿Quién revisa antes de actuar? ¿Datos representativos? ¿Perjudica a grupos? ¿El alumno sabe que lo clasifican? ¿Quién responde?
Profecía autocumplidaSi el «alto riesgo» lleva a darle menos recursos al alumno, que se desmotiva y abandona, el algoritmo no predijo la realidad: contribuyó a producirla.
7 · Fairness
Evitar ventajas o perjuicios injustificados. Una IA justa no es la que trata a todos exactamente igual: la igualdad formal puede ocultar desigualdad real.
Accuracy vs fairness
Accuracy: cuánto acierta en total. Fairness: cómo se distribuyen los errores entre grupos.
Caso
Selección con 92 % global: hombres 96 %, mujeres 74 %. El promedio ocultaba 22 puntos.
Tipo de error
Mismo 90 % en ambos, pero en hombres errores falsos positivos y en mujeres falsos negativos: impacto social distinto.
Las tres métricas de fairness (con el ejemplo de las becas)
Qué iguala cada una · grupos A y B
Métrica
Pregunta
Qué iguala
Ejemplo / problema
Demographic parity
¿Damos resultados positivos en proporciones similares?
Tasa de positivos
40 % de becas en A y en B. No mira si cumplían requisitos: con 60 % aptos en A y 30 % en B, obliga a rechazar aptos de A o aceptar menos aptos de B.
Equal opportunity
¿Reconocemos igual a quienes realmente merecen el positivo?
True positive rate (recall)
Hoy detecta 90 % de aptos en A y 70 % en B → problema. Cumple si ambos llegan al 90 %, aunque el total de becas difiera.
Equalized odds
¿Además de acertar igual, nos equivocamos igual?
TPR y FPR
90/90 aptos y 10/10 no aptos seleccionados: cumple. 90/90 y 5/20: cumple equal opportunity pero no equalized odds (perjudica a B con falsos positivos).
La enseñanza que se evalúa
Con tasas de base distintas, puede ser matemáticamente imposible cumplir las tres a la vez
(teorema de incompatibilidad de Chouldechova, 2017). La matemática mide cada definición pero no
decide qué es «justo»: elegir la métrica es un acto político y normativo que debe involucrar a juristas,
afectados y decisores, no sólo a ingenieros.
Todo se conecta: los 5 pasos de cierre
01 Identificá los datos: ¿adecuados para la decisión?
02 Definí el threshold conscientemente: ¿qué error es más aceptable aquí?
03 Evaluá fairness desagregada: ¿errores equitativos entre grupos?
04 Monitoreá el drift: ¿sigue siendo válido?
05 Asigná accountability: ¿quién responde?
Conclusión de la cátedra
Una IA responsable no es solamente un buen modelo. Es un sistema en el que datos, decisiones, riesgos, errores, cambios y responsabilidades pueden controlarse, explicarse y responderse a lo largo de todo su ciclo de vida. Cuando la IA se equivoca, ¿sabemos quién paga el costo del error?
2.5 · Caso BOSCO (España): el algoritmo que condicionó el bono social
BOSCO verificaba automáticamente si una persona cumplía los requisitos del Bono Social Eléctrico,
una tarifa reducida para hogares vulnerables. No es IA sofisticada: muestra que los problemas de ética algorítmica
no empiezan con ChatGPT. Cuando el código participa materialmente en una decisión sobre derechos, aparecen
problemas de transparencia, explicabilidad, impugnación y accountability.
17/09/2018Civio pide accesoEspecificación técnica, pruebas, código fuente y cualquier entregable. La Fundación Civio es una organización periodística sin fines de lucro.
18/02/2019Consejo de Transparencia: parcialDa especificaciones y pruebas; niega el código por propiedad intelectual. Descarta la seguridad porque la Administración no la argumentó.
2021 · 30/04/2024Juzgado Central n.º 8 y Audiencia Nacional: nieganSuman seguridad pública: revelar el código aumentaría vulnerabilidades («día cero») con acceso a bases de la AEAT y la Seguridad Social; el control debe recaer sobre el acto final, no la herramienta.
11/09/2025Tribunal Supremo: reconoce el acceso al códigoSTS 1119/2025. Revierte la lógica de las instancias inferiores.
Principio ATransparencia y control democráticoacceso a la información pública (art. 105.b CE); decisión sobre derechos de colectivos vulnerables
⇄
Principio BPropiedad intelectual y seguridadel software es obra protegida; publicar el código crearía riesgos de ataque
Prevalecela transparencia. La PI está «notoriamente atenuada» (software pagado con fondos públicos, sin fin de mercado) y la seguridad invocada en abstracto no alcanza: hay que acreditar un riesgo concreto y que no hay alternativas menos restrictivas.
Doctrina del Supremo (según Banchio)
Transparencia algorítmica
Cuando un algoritmo decide sobre derechos sociales, la transparencia no se limita al resultado: alcanza la lógica de la herramienta.
Seguridad por escrutinio
Rechaza la «seguridad por oscuridad»: el escrutinio externo puede mejorar la seguridad. Aceptar el riesgo abstracto como veto vaciaría el derecho de acceso en todo lo digital.
Código = motivación
En actuaciones automatizadas, el código fuente forma parte de la motivación del acto administrativo («motivación parametrizada»). Opacidad del código = ausencia de motivación material.
Proyección
Transparencia por diseño, licencias abiertas (EUPL, Reglamento UE 2024/903), herramienta probatoria para pasar de sospecha de sesgo a prueba.
BOSCO y los cinco conceptos
Transparencia
Parcial: ¿sabían que un algoritmo decidía?
Explicabilidad
Limitada: ¿podían saber por qué los rechazaron?
Trazabilidad
Desconocida: ¿había logs?
Auditabilidad
No, hasta el Supremo.
Accountability
Sin definir.
AI Act
Sería alto riesgo: autoridad pública, prestaciones sociales, personas vulnerables, impacto jurídico.
Diseño alternativo propuesto
Transparencia por defecto
Documentación pública, criterios, tasas de error, model card previa.
Revisión humana garantizada
Toda denegación abre expediente de revisión sin recurso formal.
Trazabilidad completa
Logs con versión, datos, resultado y timestamp; conservación mínima 5 años.
Auditoría externa periódica
Acceso controlado a auditores sin publicación universal; informes públicos.
Casos comparados en el sector público · el patrón común
Caso
Qué pasó
Resultado
SyRI · Países Bajos 2020
Detección de fraude social cruzando 17 fuentes de datos
Incompatible con el CEDH (art. 8) por falta de transparencia y riesgo de discriminación. Suspendido.
COMPAS · EE.UU.
Riesgo de reincidencia en decisiones penales; ProPublica mostró más errores para afroamericanos
Debate sobre la imposibilidad de satisfacer varios criterios de fairness a la vez
Ofqual · Reino Unido 2020
Calificaciones de exámenes cancelados por COVID; perjudicó a escuelas públicas
Revertido tras protestas masivas: opacidad y falta de revisión humana
Patrón común de BOSCO, SyRI, COMPAS y Ofqual: alto riesgo social + datos históricos sesgados + opacidad del diseño + supervisión inexistente + déficit de accountability. No son accidentes: son consecuencias predecibles de no incorporar principios desde el diseño.
2.6 · ¿Puede una sola persona ser el «centro moral» de una empresa de IA?
En julio de 2026 Chloé Bakalar, responsable de ética de IA en OpenAI, dejó la empresa a menos de un año de entrar. Según el Financial Times era la única persona dedicada específicamente a ética. Había sostenido que la ética debe ser responsabilidad de toda la organización.
Responsabilidad compartida
Distintos actores participan, pero cada uno tiene obligaciones concretas y se puede determinar quién tomó cada decisión.
Responsabilidad diluida
Ingenieros: «sólo desarrollamos». RRHH: «usamos lo que nos dieron». Directivos: «confiamos en especialistas». Ética: «sólo recomendamos».
Todos participaron; nadie parece responsable.
Lectura contractualista: las reglas que gobiernan una tecnología deben poder justificarse ante quienes la desarrollan y, sobre todo, ante quienes soportan sus consecuencias. No alcanza con «todos dentro de la empresa participan». La salida a la paradoja: muchas personas participan, hay reglas previas, las decisiones se pueden reconstruir, los afectados pueden cuestionarlas y siempre hay alguien que responde.
Clase 03 · Bloque 2 · 21 de agosto
Regulación: del principio a la obligación
Aparece el problema de la exigibilidad. No es lo mismo decir «una IA debería ser
transparente» que «el proveedor debe documentar, conservar registros e informar». Esa distancia entre el
deber ser ético y el deber jurídico es el corazón de la clase.
Soft lawPrincipios, guías, estándaresorientan; sin coercibilidad directa. Aparecen antes que la ley e interpretan la diligencia ante un juez
→
Hard lawLeyes, reglamentos, sancionesobligaciones y prohibiciones exigibles ante tribunales
Camino típicoprincipios éticos → estándares técnicos → regulación jurídica. UNESCO y OCDE son soft law; la UE empezó con soft law (Guidelines + ALTAI 2019) y lo volvió hard law con el AI Act.
Cuando un principio se convierte en regla
Principio
Posible obligación jurídica
Transparencia
Informar que se utiliza IA
Explicabilidad
Explicar decisiones automatizadas
Fairness
Evaluar y reducir sesgos
Accountability
Logs + documentación técnica
Supervisión humana
Human oversight obligatorio
Robustez
Testing + ciberseguridad
Gobernanza de datos
Calidad y trazabilidad del dataset
Privacidad
Minimización y protección de datos
3.1 · AI Act · Reglamento (UE) 2024/1689
Primer reglamento horizontal de IA del mundo. Entró en vigor en agosto de 2024, aplicación escalonada, aplicable de manera general desde el 2 de agosto de 2026. No regula toda IA igual: enfoque basado en riesgo, cuanto mayor el riesgo, mayores las obligaciones.
🔴
Riesgo inaceptable → prohibidomanipulación subliminal perjudicial · explotación de vulnerabilidades · social scoring por autoridades · scraping facial indiscriminado e identificación remota en tiempo real (salvo excepciones) · reconocimiento de emociones en trabajo y educación · predicción individual de criminalidad sólo por perfilado. Prohibiciones desde febrero 2025.
Riesgo de transparencia → informarchatbot (saber que es máquina, salvo que sea obvio) · contenido generado por IA identificable · deepfakes etiquetados. Reglas aplicables desde agosto 2026.
🟢
Riesgo mínimo o nulo → sin obligaciones específicas del AI Actfiltro de spam, IA en videojuegos. Siguen aplicando privacidad, consumo, PI, contratos y responsabilidad civil.
La decisión ética detrás de cada prohibición
Práctica prohibida
Principio que protege
Por qué
Manipulación
Autonomía humana
La persona debe decidir sin interferencia subliminal
Explotación de vulnerabilidades
Dignidad
La tecnología no puede aprovecharse de quien está en desventaja
Social scoring
Igualdad + proporcionalidad
La puntuación social generalizada contradice la igualdad ante la ley
Biometría masiva
Privacidad
El cuerpo no puede volverse dato de vigilancia masiva
Qué exige el alto riesgo
Obligaciones no optativas; incumplirlas genera sanciones y responsabilidad civil.
Seis obligaciones
1) Gestión de riesgos continua. 2) Calidad de datos (relevantes, representativos, sin errores). 3) Logs y trazabilidad automáticos. 4) Documentación técnica antes del mercado. 5) Supervisión humana efectiva, no formal. 6) Robustez y ciberseguridad.
Ejemplo del reclutamiento
Procesa 20.000 CV, descarta 80 %, presenta 200 a RR.HH. Si ya eliminó 16.000, la decisión material ocurrió antes de que aparezca el humano.
Provider y deployer
Distribuye responsabilidades en la cadena: no todo recae sobre el programador original.
Provider
Desarrolla el sistema (o lo hace desarrollar) y lo coloca en el mercado bajo su nombre.
Deployer
Lo utiliza bajo su propia autoridad para un propósito concreto.
Ejemplo
Empresa A hace software de selección → provider. Banco B lo compra y contrata con él → deployer. Ambos con obligaciones diferenciadas.
GPAI, AI literacy y gobernanza
GPAI (desde agosto 2025)
Modelos de propósito general: documentación técnica, información al deployer, política de copyright (art. 53: respetar reservas de derechos y publicar resumen del contenido de entrenamiento), obligaciones extra si hay riesgo sistémico.
AI literacy (art. 4)
Providers y deployers deben procurar conocimientos suficientes en su personal. Ya no es «sería bueno capacitar»: es obligación.
Quién controla
AI Office (GPAI y riesgo sistémico) · autoridades nacionales · Scientific Panel · AI Board.
Sanciones y calendario
Multas (arts. 99 y 101)
Prácticas prohibidas: €35M o 7 % de la facturación anual mundial. Otras infracciones: €15M o 3 %. GPAI: €15M o 3 %.
Timeline
01/08/2024 vigor · 02/02/2025 prohibiciones + AI literacy · 02/08/2025 gobernanza + GPAI · 27/07/2026 AI Omnibus · 02/08/2026 aplicación general + enforcement · 02/12/2027 alto riesgo Anexo III · 02/08/2028 alto riesgo en productos regulados.
AI Omnibus (27/07/2026)
Simplifica obligaciones, extiende plazos de alto riesgo, agrega una práctica prohibida, ajusta la implementación. Lección: el compliance es dinámico.
Error típicoPensar que riesgo mínimo = sin regulación. Sólo no hay obligaciones específicas del AI Act.
Compliance by design · las 5 preguntas del ingeniero en Europa
1) ¿Es un sistema de IA cubierto? 2) ¿Qué función cumple y qué riesgo tiene? 3) ¿Soy provider o deployer? 4) ¿Qué datos uso y qué documentación conservo? 5) ¿Qué supervisión humana hay y cómo monitoreo después del despliegue?
Actividad «¿Qué haría el AI Act?» con las claves de corrección de la cátedra
Caso
Nivel
Principios
Medida
A · Universidad decide becas automáticamente analizando exámenes
🟠 Alto riesgo (educación)
Fairness, transparencia, supervisión humana
Revisión humana, trazabilidad, calidad de datos, control de sesgos
B · Chatbot con nombre humano que no dice que es IA
🟡 Transparencia
Transparencia
Informar claramente que es un sistema de IA. El problema no es el chatbot sino ocultarlo.
C · Análisis de expresiones faciales de empleados
🔴 Prohibido (salvo excepciones)
Dignidad, privacidad, autonomía
No usarlo: inferencia emocional en trabajo y educación prohibida como regla
D · Recomendador de canciones
🟢 Mínimo
—
Siguen aplicando datos personales, consumo, copyright
E · Clasificar CV y descartar antes de RR.HH.
🟠 Alto riesgo (empleo)
Fairness, no discriminación, accountability, supervisión
Evaluar sesgos, documentar, registrar decisiones, intervención humana efectiva
F · Video hiperrealista de un político diciendo lo que no dijo
🟡 Transparencia
Transparencia, autonomía, integridad informativa
Identificación y etiquetado del contenido manipulado
3.2 · Estados Unidos: regulación policéntrica
Evitar la simplificación «Europa regula y EE.UU. no». EE.UU. regula distinto: política ejecutiva federal + agencias + normas sectoriales + estándares voluntarios + leyes estatales.
Nivel federal
Executive Order 14179 (2025)
Prioriza el liderazgo estadounidense y revoca orientaciones de la era Biden.
America's AI Action Plan
3 pilares: acelerar la innovación (reducir fricción regulatoria), infraestructura (cómputo, energía, chips, talento), diplomacia y seguridad (estándares, alianzas, competencia con China). No niega riesgos: ciberseguridad, deepfakes, infraestructura crítica.
OMB M-25-21
Regula cómo las agencias federales usan IA (innovación, gobernanza, confianza pública). No es un AI Act para privados.
NIST AI RMF
Marco voluntario de gestión de riesgos: Govern, Map, Measure, Manage. Perfil específico para IA generativa.
Decisiones automatizadas en educación, empleo, vivienda, crédito, seguros, salud y servicios esenciales. Documentación, información al consumidor, registros, corrección de datos y revisión humana significativa. Aplica desde 01/01/2027.
Texas · Responsible AI Governance Act
Vigente desde 01/01/2026: protecciones, transparencia, obligaciones para el sector público, Attorney General como autoridad, sandbox regulatorio y AI Council.
Lección
Cambia el ordenamiento, vuelven los principios: documentación → accountability, información → transparencia, corrección → data governance, revisión → human oversight.
América Latina: no hay un único modelo
Brasil · PL 2338/2023
Aprobado por el Senado, en la Cámara de Diputados desde 2025, sigue en comisión especial en 2026. Centralidad de la persona.
Chile
Proyecto que refunde los boletines 16.821-19 y 15.869-19; basado en riesgos, inspirado explícitamente en el AI Act. En trámite.
Perú
Ley 31814 (2023) + reglamento DS 115-2025-PCM (septiembre 2025): único con ley y reglamento vigentes.
Argentina
Sin marco horizontal: proyectos legislativos, legislación preexistente (datos, consumo, discriminación, PI, responsabilidad civil) y el Decreto 269/2026 (políticas de IA y gobernanza de datos en la APN).
Tres formas de regular · ¿qué riesgo teme cada uno y qué costo acepta?
Dimensión
Unión Europea
Estados Unidos
América Latina
Modelo
Horizontal y uniforme
Policéntrico
Heterogéneo
Riesgo
Central en la arquitectura
Según contexto y sector
Influencia creciente
Derechos
Muy estructural
Sectorial + estatal
Fuerte presencia
Innovación
Regulada
Prioridad política
Desarrollo + protección
Enforcement
Institucional (UE/Estados)
Agencias + estados
Depende del país
3.3 · GEMA c/ SUNO (Alemania): IA generativa y copyright
GEMA gestiona derechos de compositores, letristas y editores alemanes. SUNO genera canciones completas desde prompts. Se discutieron seis obras conocidas; el tribunal confirmó que estaban en el dataset y que SUNO usó stream-ripping de YouTube. Los prompts daban letra, título y estilo, pero no melodía, armonía, ritmo ni arreglo.
Training¿Copiar para entrenar es reproducir?
Memorization¿La obra queda recuperable dentro del modelo?
Output¿El resultado reproduce la obra? ¿Quién responde?
GEMA
Uso sin autorización, reproducción al entrenar, memorization, outputs reconocibles.
Tesis ética: la innovación no puede apropiarse gratis del trabajo creativo; los autores son insumo esencial y no cobran.
SUNO
Los modelos aprenden patrones, no guardan archivos de audio.
Las similitudes vienen del prompt del usuario.
Entrenó en EE.UU.: fair use. En Alemania: excepción de Text and Data Mining (§ 44b UrhG).
Principio ADerechos de autor y distribución justa del valorlos creadores son insumo esencial y no participan de los ingresos
⇄
Principio BInnovación y aprendizaje estadísticoajustar parámetros no es copiar; licenciar todo sería inviable
PrevaleceGEMA (LG München I, 31/07/2026, primera instancia, apelable). Memorization = reproducción: las obras podían reproducirse desde los modelos v3.5 y v4, no por azar. No la cubre el TDM (§ 44b permite opt-out del titular en formato machine-readable). SUNO responde por los outputs: prompts simples, SUNO controlaba datos y arquitectura, el modelo determinaba el resultado. Fair use no aplica porque las obras reaparecían sustancialmente.
Lección para evitar simplificaciones
Ni «entrenar IA siempre es fair use» ni «nunca lo es». El grado de memorization no es sólo una propiedad técnica: es un dato jurídicamente determinante. Es un caso de copyright, no decidido por el AI Act, pero las capas se superponen (§ 44b UrhG, art. 53 AI Act, Directiva 2019/790). Medidas de ingeniería: data provenance + opt-out, filtros y tests de memorization, detección de similitud en outputs + logging, resumen público del dataset + notice & takedown.
3.4 · Caso Uber: ¿quién responde por un vehículo autónomo?
Un Uber con sistema Volvo autónomo, con conductora de seguridad, atropella y mata a una mujer de 49 años que cruzaba
empujando su bicicleta. El sistema detectó un objeto 6 segundos antes pero lo clasificó mal (bicicleta,
luego objeto estático); reconoció la necesidad de frenar 1,3 segundos antes, pero no frenó porque
Uber había deshabilitado el frenado automático para evitar falsas alarmas. La conductora miraba un video en el celular.
Principio de responsabilidad
Regla
Toda decisión derivada del uso de IA debe tener un responsable humano o jurídico identificado. La automatización no elimina la responsabilidad.
Dos momentos
Prevención (diseño y desarrollo) · reparación y rendición de cuentas.
Problema
Decisiones que afectan derechos, errores no previsibles de procesos autónomos → «zona gris» de impunidad tecnológica.
Criterios de atribución
Responsabilidad objetiva de la empresa · trazabilidad (transparencia) · supervisión humana obligatoria.
Obligación incumplida → posible responsable
No se evaluó un riesgo evidente
Proveedor del sistema
No se puede reconstruir cómo actuó la IA
Fabricante o proveedor
No hubo control humano y hubo daño
Usuario o empresa
Usuario engañado o no informado
Distribuidor o desarrollador
Qué pasó con cada actor
Conductora
Imputada por homicidio culposo; en 2023 se declaró culpable en acuerdo: 3 años de libertad condicional supervisada.
Uber
La Fiscalía no encontró base penal. Acuerdo privado confidencial con la familia; suspendió pruebas. Sólo costos civiles y reputacionales.
Volvo
Posible responsabilidad civil objetiva.
Desarrolladores
Responsabilidad de diseño si hubo falla previsible no corregida (¿por qué se permitía desactivar el freno?).
Regulador
Indirecta: falta de exigencias de prueba.
Lo que decidió el sistema penalCulpa individual del humano supervisordebía mirar el camino y pudo intervenir
⇄
La pregunta de la cátedraFallas sistémicas y decisión corporativaclasificación errónea + freno desactivado deliberadamente
¿Es justo?la única condenada fue la supervisora humana. Es el ejemplo de manual de responsabilidad desplazada hacia el eslabón más débil (conectalo con la «ironía de la autonomía» de Banchio).
3.5 · Meta en juicio: ¿diseño adictivo para menores?
29 estados de EE.UU. demandan a Meta (juicio principal en Oakland, California) por diseñar Instagram y Facebook para maximizar el uso de menores conociendo riesgos para su salud mental. El punto no es sólo el contenido: es el diseño (scroll infinito, recomendaciones, likes, notificaciones). Parte del caso: datos de menores de 13 sin consentimiento parental (COPPA). El exingeniero Arturo Béjar declaró una política de «don't ask, don't tell» sobre menores de 13. Meta responde que la salud mental adolescente es multicausal, que tiene herramientas de seguridad y que más engagement no es querer dañar.
Principio ARentabilidad (engagement, datos, publicidad)la función aumenta uso e ingresos
⇄
Principio BPrevención del daño y protección de vulnerablesmenores con menos autonomía y autocontrol frente a sistemas optimizados
Lectura de claseel problema no está sólo en el algoritmo sino en el objetivo que se le fija. Una tecnología puede funcionar perfecto técnicamente y estar mal orientada éticamente. Principios: prevención del daño, grupos vulnerables, transparencia, rendición de cuentas, autonomía, seguridad por diseño. (Caso en curso: no hay fallo en el material.)
3.6 · Casos prácticos para fijar conceptos
El sistema de becas que eliminó el nivel socioeconómico
Caso: quitan el nivel socioeconómico, pero usan código postal, colegio, si trabajó y materias por cuatrimestre. Un año después, ciertos barrios reciben muchas menos becas con resultados similares.
Respuesta: data governance y fairness. Los proxies (código postal ↔ situación socioeconómica) reproducen el sesgo. No es neutral. Revisar representatividad y calidad, y desagregar resultados por grupo: accuracy global alta no prueba justicia. El algoritmo puede discriminar sin conocer la característica.
El detector de fraude: threshold 80 % o 50 %
Caso: con 80 % detecta 65 % de fraudes y bloquea pocas compras legítimas; con 50 % detectaría 94 % pero bloquearía a miles de clientes. «¿Cuál es mejor?»
Respuesta: no hay respuesta puramente matemática. Bajar el threshold tolera más falsos positivos para reducir falsos negativos. El banco decide qué error es más grave y sobre quién recae su costo: daño del fraude vs. perjuicio a clientes legítimos.
El modelo que empezó a equivocarse solo (aseguradora 2023 → 2026)
Caso: «denuncia de madrugada» era señal de fraude. En 2026 todos usan apps a cualquier hora y esa señal ya no predice. Sin tocar el código, la accuracy cae de 91 % a 76 %.
Respuesta: cambio de hábitos = data drift; que las 3 AM ya no se relacionen con fraude = concept drift; la caída de desempeño = model drift. No vale «nadie cambió el algoritmo»: monitoreo → revalidación → reentrenamiento o retiro.
El sistema «justo» que aprueba el 50 % de cada grupo
Grupo A
Grupo B
Recomendados
50 %
50 %
Idóneos bien recomendados (TPR)
90 %
65 %
No idóneos recomendados (FPR)
8 %
22 %
Respuesta: cumple demographic parity (50/50); no cumple equal opportunity (90 vs 65) ni equalized odds (además FPR 8 vs 22). «Es justo» es demasiado fuerte: es justo según una métrica e injusto según otras.
Clase 04 · Bloque 3 · 28 de agosto
Transparencia, explicabilidad, justicia y sesgos
Una IA puede acertar y ser injusta. Un sistema con 94 % de accuracy global puede cometer el triple de
falsos negativos en un grupo. La pregunta ya no es sólo cuánto se equivoca sino con quién se
equivoca y qué consecuencia tiene ese error.
Cinco preguntas independientes que se confunden
Dimensión
Pregunta
Transparencia
¿Qué sistema se usa y quién lo opera?
Explicabilidad
¿Por qué produjo este resultado concreto?
Fairness
¿Distribuye beneficios y errores de manera justa entre grupos?
Accountability
¿Quién responde cuando falla?
Contestabilidad
¿Puedo impugnar la decisión y obtener una revisión real? Sin esto, las demás garantías no tienen valor práctico.
4.1 · Transparencia en capas
Un sistema transparente permite conocer, según el contexto y el riesgo, que existe, para qué se usa, qué datos emplea y quién responde.
Institucional¿Por qué decidimos usar IA para este proceso?
De datos¿De dónde vienen? ¿Cómo se recopilaron y trataron?
Del modelo¿Cómo funciona internamente? ¿Qué arquitectura y lógica?
De la decisión¿Por qué decidió esto para esta persona?
De responsabilidad¿Quién responde si el resultado es incorrecto o injusto?
Transparencia ≠ publicar todo el código
Usuario: explicación comprensible de la decisión que lo afecta (quien pide un crédito no necesita miles de líneas: necesita saber por qué se lo rechazaron).
Auditor / regulador: documentación técnica, métricas, evaluaciones de sesgo.
Juez / experto: acceso a información protegida en procedimiento reservado.
El nivel exigible es proporcional al riesgo e impacto sobre derechos.
Interpretabilidad ≠ explicabilidad
Interpretabilidad: se entiende directamente cómo funciona el modelo (árbol de decisión simple: seguís cada rama).
Explicabilidad: se puede explicar razonablemente un resultado aunque el interior sea opaco, con herramientas externas (red profunda + LIME o SHAP, que indican qué variables pesaron).
4.2 · Qué debe contestar una buena explicación
1 · ¿Qué datos míos usó?La información personal que entró como input
2 · ¿Qué factores pesaron?Cuáles incidieron más en el resultado
3 · ¿Qué lo habría cambiado?Qué tendría que haber sido distinto
4 · ¿Cómo lo cuestiono?Qué mecanismo hay y ante quién
Sin explicación contrafactual
«Score insuficiente: 618.»
No permite entender ni actuar.
Con explicación contrafactual
«Con el resto igual, un ingreso mensual superior a X habría cambiado la clasificación.»
La forma más accionable de explicar una decisión negativa.
Dun & Bradstreet Austria · TJUE 2025
Una telefónica no contrató con una mujer por una evaluación automatizada de solvencia de una agencia crediticia.
Qué dijo
La explicación debe permitir comprender y cuestionar. No basta informar el resultado ni entregar una fórmula compleja o el algoritmo: la persona debe entender qué datos se usaron, cómo incidieron y cómo se obtuvo el resultado.
Secreto comercial
No extingue el derecho a explicación: un tribunal o autoridad puede recibir la información protegida en procedimiento reservado y ponderar.
Error típicoCreer que transparencia técnica (dar el código) equivale a explicación humana comprensible.
SCHUFA · TJUE 2023
Una agencia calcula un credit score; el banco lo usa para dar crédito. Defensa: «sólo generamos un score, decide el banco».
Qué dijo
No necesariamente. Si el score tiene papel determinante (el banco lo traslada sin evaluación propia real), calcularlo puede ser en sí mismo una decisión automatizada sujeta al art. 22 del RGPD.
Pregunta
¿Hay un humano decidiendo o un humano obedeciendo al algoritmo?
La ficción del humano en el loopUna firma humana al final no convierte en humana una decisión automatizada. Supervisión efectiva = comprensión real + capacidad de cuestionar + autoridad para modificar.
4.3 · Justicia algorítmica
Concepto operativo (no categoría jurídica universal) para evaluar si un sistema distribuye de forma justa beneficios y cargas, evita discriminación, respeta derechos y permite revisión.
Igualdad ≠ equidad
Igualdad: aplicar la misma regla a todos (mismo umbral de admisión). Mira el input.
Equidad: evaluar si esa regla produce resultados injustificadamente desiguales. Mira el output.
Tres dimensiones
Del procedimiento: ¿cómo se llegó? ¿transparente, consistente?
Del resultado: ¿quién recibe beneficios y quién soporta perjuicios?
De la revisión: ¿puede cuestionarse y corregirse?
El mismo error no tiene el mismo costo
Sistema
Error crítico
Costo para la persona
Médico
Falso negativo: enfermo diagnosticado sano
Sin tratamiento a tiempo; puede ser irreversible
Fraude bancario
Falso positivo: cliente legítimo marcado como fraude
Cuenta u operación bloqueada injustamente
Justicia penal
Falso positivo: bajo riesgo clasificado alto riesgo
Privación de libertad o supervisión más severa
Selección laboral
False negative rate: A 8 % vs B 27 % con 90 % global
B pierde candidatos calificados a más del triple de tasa
Recordatorio de métricas: demographic parity iguala tasa de positivos (70 % vs 42 % de créditos aprobados sería una violación; ¿está justificada?); equal opportunity iguala TPR; equalized odds iguala TPR y FPR. No existe un botón make_fair = True.
4.4 · Sesgo algorítmico: un fenómeno sociotécnico
Un bias es una desviación sistemática que puede afectar datos, mediciones, modelos, decisiones y resultados. El NIST advierte que no es sólo un problema de datos o algoritmos: también está en la institución, la definición del problema, las etiquetas y métricas, el threshold y el usuario.
1 · Sesgo sistémico
Viene de estructuras sociales, prácticas institucionales y procesos históricos previos al sistema.
Ejemplo
Contratación histórica 85 % hombres: el algoritmo aprende que «así luce un candidato exitoso».
Paradoja
Un sistema técnicamente impecable reproduce con alta precisión una desigualdad. ¿Queremos que la IA reproduzca el mundo como ha sido o que ayude a construirlo como debería ser?
2 · Sesgo computacional o estadístico
Errores sistemáticos en el pipeline técnico.
Muestras no representativas
Reconocimiento facial con 70 % grupo A, 20 % B, 10 % C: 96 % global, pero B y C con mucho más error.
Medición
«Buen empleado» = ¿horas conectado, ventas, evaluación del jefe, ascensos? El bias aparece al operacionalizar.
Labels
Queremos «riesgo de delinquir» pero usamos «arrestos previos», que reflejan patrullaje y desigualdad. El modelo aprende el label, no la realidad.
Selección de variables y proxies
Código postal → raza y nivel socioeconómico; colegio → clase; historial laboral → género; consumo → varias.
Threshold
0,70 vs 0,60 distribuye distinto los errores. ¿Quién lo eligió, con qué criterio, se evaluó por grupo?
3 · Sesgo humano y cognitivo
El humano forma parte del sistema: diseño, desarrollo, interpretación, uso, supervisión.
Automation bias
«Si lo dijo la máquina, debe ser correcto.» Cuestionar requiere esfuerzo, autoridad y tiempo que no se tienen: la supervisión se vuelve sello de aprobación.
El loop del sesgo
Más patrullaje en zona A → más delitos registrados → datos con sesgo geográfico → el algoritmo predice más riesgo en A → más patrullaje. ¿Descubrió el riesgo o produjo el dato que lo confirma?
4.5 · Bias no es lo mismo que discriminación
Bias
Problema estadístico, cognitivo, institucional o computacional. Puede existir sin discriminación jurídicamente relevante.
Discriminación
Trato o impacto desfavorable injustificado sobre personas o grupos protegidos. Puede existir con o sin intención: importa el efecto.
Discriminación directa · EEOC v. iTutorGroup
El software rechazaba automáticamente a mujeres de 55 años o más y hombres de 60 o más. Más de 200 postulantes afectados. Acuerdo por USD 365.000 más medidas correctoras.
LecciónNo hace falta una red neuronal: puede ser discriminación humana convertida en código y ejecutada a escala con apariencia de objetividad.
Discriminación indirecta
«No usamos sexo ni raza.» La regla parece neutral, pero el resultado perjudica sistemáticamente a un grupo.
Pregunta decisiva¿Importa sólo qué variables entran o también qué resultados produce? En el derecho antidiscriminatorio moderno el impacto desproporcionado puede bastar, sin intención.
4.6 · Casos comparados
Los casos de la clase 4 y su función
Caso
Hechos
Qué se resolvió
Lección
Ewert v. CanadaCorte Suprema de Canadá · 2018
Jeffrey Ewert, indígena métis preso, cuestionó 5 herramientas actuariales validadas sobre población no indígena
El Servicio Correccional incumplió su deber de asegurar que la información fuera lo más exacta posible: conocía el posible sesgo cultural y siguió
Validar por subgrupo puede ser obligación legal
R (Bridges) v. South Wales PoliceCourt of Appeal RU · 2020
Reconocimiento facial en vivo contra watchlist; ~50 despliegues, ~500.000 rostros
La policía incumplió el Public Sector Equality Duty: no investigó si había bias por raza o sexo. No se probó que el software discriminara
Ética anticipatoria: el riesgo se evalúa antes del daño
SyRITribunal de La Haya · 2020
Perfiles de riesgo de fraude cruzando bases administrativas sin conocimiento de los afectados
«Insuficientemente transparente y verificable»; no equilibraba el art. 8 CEDH. Normativa sin efecto
El Estado tiene los mismos problemas que el sector privado
RobodebtRoyal Commission Australia · 2023
Sistema que reclamaba supuestas deudas de prestaciones cruzando ingresos y empleo
Recomendaciones: informar que hay automatización, explicar en lenguaje sencillo, permitir revisión y auditoría independiente
Automatización y derecho a revisión
4.7 · State v. Loomis (Wisconsin, 2016): el caso integrador
Eric Loomis fue acusado por hechos vinculados a un tiroteo desde un auto (2013). Negó el tiroteo; se declaró
culpable de intentar huir de un agente de tránsito y conducir un vehículo sin consentimiento
del dueño. El informe presentencia (PSI) incluyó COMPAS, que lo clasificó de alto riesgo
en las tres escalas (reincidencia general, violenta y previa al juicio; escala 1–10). Recibió 6 años de
prisión efectiva y 5 de supervisión extendida, sin probation.
Qué es COMPAS
Correctional Offender Management Profiling for Alternative Sanctions. Desarrollado por una empresa privada; encuesta de 137 preguntas.
Tipo
Sistema algorítmico actuarial de evaluación de riesgo (reglas, ponderaciones, comparación estadística), no IA generativa ni necesariamente ML moderno.
Qué no hace
No dice «Loomis tiene X % de reincidir»: identifica grupos de alto riesgo, no individuos.
Familia
PSA (libertad previa al juicio: no comparecer, nuevo delito, delito violento), LSI-R y CAS (resocialización, libertad condicional), HART.
Los tres planteos de Loomis
1 · Falta de transparencia
Trade secret: conocía input y output, no qué variables fueron decisivas ni sus pesos.
2 · Falta de individualización
Estadística de grupos para juzgar a un individuo.
3 · Uso del género
El Estado: mejora la precisión porque las tasas de reincidencia difieren; quitarlo aumenta errores para todos.
ProPublica (2016) · Broward County
Más de 7.000 personas, comparando la predicción con lo ocurrido en 2 años.
Alto riesgo que no reincidió
Negros 44,9 % · blancos 23,5 %
Bajo riesgo que sí reincidió
Negros 28,0 % · blancos 47,7 %
Controlando variables
Acusados negros con 45 % más probabilidad de puntajes más altos.
Cómo leerloErrores asimétricos: falsos positivos concentrados en un grupo, falsos negativos en el otro. Es un problema de equalized odds.
EstadoPrecisión y utilidadinformación adicional para el juez; el género mejora la accuracy
⇄
LoomisDebido proceso y no discriminacióncaja negra, estadística grupal, categoría protegida decidiendo sobre la libertad
ResolvióCOMPAS puede considerarse sin violar el debido proceso, pero con límites: no puede decidir si hay cárcel, ni la severidad de la pena, ni ser determinante para la supervisión en la comunidad; es fuente complementaria y el juez debe fundar con otros factores. Advertencias obligatorias: opacidad, datos grupales, cuestionamientos de fairness racial, falta de validación para Wisconsin y necesidad de monitoreo.
La paradoja de Loomis (la pregunta para el parcial)
La Corte reconoce opacidad, generalización estadística, posibles sesgos, uso no previsto (no se diseñó para
penas) y necesidad de advertencias… y aun así dice que puede usarse. Si necesitamos tantas advertencias,
¿cuánto peso debería tener? ¿Qué significa realmente «no ser determinante»? Y el dilema: ¿una variable puede
ser estadísticamente útil y éticamente inadmisible a la vez?
Requisitos que pedirían auditores e ingenieros
Validación independiente y evaluación desagregada por subgrupo.
Análisis de FPR y FNR por grupo; monitoreo de drift.
Documentación técnica completa y auditada.
Explicación individual comprensible, auditoría externa periódica, override humano efectivo y derecho de impugnación.
Cierre: una IA responsable debe ser
Transparente, explicable, auditable, justa, impugnable y responsable.
Un algoritmo no es justo por ser matemático: contiene datos históricos, decisiones humanas, elecciones de diseño y una distribución del riesgo.
Clase 05 · Bloque 3 · 4 de septiembre
Impacto social de la IA
De la ética interna y la regulación pasamos a los efectos reales sobre la estructura social: acceso a
oportunidades, trabajo, riqueza, recursos y poder. El impacto de una tecnología también es un problema
distributivo.
La IA comoAmplificador de capacidadesproductividad, conocimiento, salud y educación personalizadas, tareas peligrosas automatizadas
⇄
La IA comoAmplificador de desigualdadessi datos, conectividad, skills, cómputo y capital están mal distribuidos
Dependede elecciones humanas e institucionales (PNUD, Human Development Report 2025): instituciones, educación, infraestructura, mercado y política. Evitar el determinismo tecnológico: ni desempleo masivo ni prosperidad universal «inevitables».
La pregunta distributiva: ¿quién gana, quién pierde, quién decide, quién soporta los costos? Dos tecnologías igual de eficientes pueden tener consecuencias opuestas según quién accede, quién posee la infraestructura y cómo se reparten las ganancias.
5.1 · Brecha digital y AI divide
La digital divide es desigualdad en las posibilidades reales de acceder, utilizar, comprender y aprovechar la tecnología. Ya no es binaria («¿tiene internet?»): importan velocidad, precio, dispositivo, habilidades y para qué se usa.
Cifras UIT 2025 que conviene tener a mano
Dimensión
Dato
Global
6.000 M online · 2.200 M todavía offline (más de un cuarto de la humanidad)
Ingresos
94 % online en países de ingresos altos vs 23 % en bajos. El 96 % de los offline vive en países de ingresos bajos o medios
Calidad
Cobertura 5G 84 % vs 4 %; un usuario de país rico consume casi 8 veces más datos móviles
Asequibilidad
En ≈60 % de los países de ingresos bajos y medios la banda ancha móvil es inasequible
Urbano / rural
85 % vs 58 %
Género
Hombres 77 % vs mujeres 71 %
Habilidades
Habilidades digitales básicas entre 16 % y 74 % según país: conectividad ≠ capacidad
AI divide
Desigualdad en la capacidad efectiva de desarrollar, acceder y beneficiarse de la IA: skills, idioma y contenido local, capacidad institucional.
Persona A vs B
Laptop + fibra + cuenta premium + universidad + inglés + capacitación vs smartphone viejo + datos limitados + sin capacitación. Formalmente ambos «tienen acceso a IA»; no tienen la misma oportunidad.
Riesgo
Círculo vicioso que refuerza ventajas previas, salvo decisiones políticas deliberadas.
América Latina (Banco Mundial 2025)
Exposición
30–40 % de los empleos con algún grado de exposición a IA generativa.
Paradoja
8–12 % podrían ganar productividad, pero 17 M de esos empleos no podrían aprovecharla por déficit de infraestructura.
Clave
Exposición ≠ adopción efectiva (OIT): electricidad, banda ancha, habilidades y costo condicionan. Sin eso, exposición puede ser desplazamiento sin compensación.
IA socialmente inclusiva exige
Condiciones
Conectividad universal asequible · educación y AI literacy · infraestructura pública que no dependa sólo del mercado · diversidad lingüística.
Pregunta ética
¿La IA amplía las capacidades de todos o sólo de quienes ya estaban mejor?
5.2 · IA y trabajo: tareas, no empleos
La pregunta «¿nos va a quitar el trabajo?» está mal planteada. La IA actúa sobre tareas (un abogado investiga, redacta, entrevista, negocia, argumenta, decide estrategia, genera confianza). Enfoque por tareas de la OIT.
Tres conceptos que no hay que confundir
Exposure
Automation
Augmentation
La IA puede afectar tareas; es técnicamente capaz pero no necesariamente lo hace
La máquina sustituye una tarea humana completa
La IA ayuda a hacer la tarea con más rapidez, calidad o alcance; la persona sigue siendo central
Qué dice la OIT (2025)
1 de cada 4 empleos del mundo con alguna exposición a GenAI; 3,3 % en la categoría más alta.
Lo más probable es la transformación, no la desaparición.
Exposición: 11 % en países de bajos ingresos vs 34 % en altos (más trabajo cognitivo, pero también más capacidad de adaptación).
Mujeres más expuestas: 4,7 % vs 2,4 % global; 9,6 % vs 3,5 % en países ricos. Causa: composición ocupacional (tareas administrativas), no sesgo del modelo.
ALC: 2–5 % del empleo en riesgo de automatización; mujeres con el doble de riesgo.
Cuatro efectos
Sustitución: transcripción, clasificación, atención básica. Automatizar tareas no elimina automáticamente la profesión.
Complementariedad: radiología, la IA marca zonas, el médico interpreta y decide.
Rediseño: el abogado deja de escribir desde cero y pasa a revisar y verificar. Cambian tareas, skills, estándares y responsabilidad.
Nuevas tareas: ingeniería de IA, auditoría de modelos, AI safety, compliance, data governance.
Deskilling
Pérdida progresiva de capacidades porque la tarea se delega siempre en la IA. El junior practica menos, aprende menos, depende más… ¿quién detectará el error de la IA?
Upskilling
La IA libera tiempo para tareas complejas, pero no ocurre sola: requiere formación, rediseño de puestos y voluntad de compartir la productividad.
Otras cifras del material de impacto global: WEF 2025 proyecta a 2030 170 M de empleos creados y 92 M desplazados (neto +78 M; transformación del 22 % de los empleos). McKinsey: técnicamente podría automatizarse más de la mitad de las horas en EE.UU., pero con adopción realista 25–33 % hacia 2030. La renta básica universal aparece como respuesta propuesta ante desplazamiento masivo (Musk, Zuckerberg y Altman la mencionaron o financiaron pruebas).
5.3 · Gestión algorítmica: el jefe puede ser software
El trabajador no es reemplazado, pero el software decide qué tarea recibe, cuánto cobra, cómo es evaluado, cuándo puede trabajar y cuándo es sancionado: score → ranking → asignación → penalización.
Lo que dice la plataformaFlexibilidad y autonomía«el trabajador elige cuándo conectarse»; «somos una empresa de tecnología»
⇄
La realidad del algoritmoSubordinación y dependenciarechazar baja el score, el score define tareas y continuidad
Prevalecela realidad de la relación sobre la etiqueta contractual (Uber v. Aslam y Glovo). ¿Cuánta libertad real hay cuando no aceptar tiene consecuencias negativas suficientes?
Uber BV v. Aslam · [2021] UKSC 5
Supreme Court del Reino Unido, 19/02/2021, por unanimidad. Los conductores eran workers (salario mínimo, vacaciones pagas, tiempo de trabajo).
Control real
Uber fijaba tarifa e imponía términos, monitoreaba aceptación y cancelación, usaba ratings como control e impedía relación directa con clientes.
Gestión algorítmica
Desconexión automática por rechazos; advertencias y desactivación automáticas por ratings, sin gerente humano.
Tiempo de trabajo
Conectado a la app, en territorio autorizado y disponible, aunque no esté en un viaje.
Glovo · STS 805/2020
Tribunal Supremo de España, Sala Social, 25/09/2020 (Rec. 4746/2019). El repartidor (autónomo, luego TRADE) tenía relación laboral; las instancias inferiores habían dicho que no.
Por qué
Glovo fijaba precios, controlaba la plataforma (activo esencial) y la relación con clientes. El algoritmo asignaba según valoración: mejores horarios por score, rechazar deterioraba la valoración, control en tiempo real.
Autonomía formal vs real
Elegía vehículo y ruta; la empresa controlaba mercado, precios, asignación y reglas.
N.D. California, 3:25-cr-00349-RFL. No hay sentencia: son hechos alegados; rige la presunción de inocencia.
Contexto
Hudson, CEO de Invenia (Canadá), ofrecía una «Machine Learning Platform» para predecir demanda eléctrica y operar en mercados eléctricos.
Según la acusación
Engañó a inversores (2020–2022) con estados financieros falsos, identidades falsas y cifras infladas: más de USD 100 M. Cash informado CAD 218 M vs 6 M real; revenue 295 M vs 26 M. SEC (civil, 24/09/2025): ≈USD 120 M de seis inversores.
Por qué está en la clase
El discurso sobre el potencial de la IA genera valor económico y expectativas que necesitan controles institucionales (gobernanza corporativa).
Error típicoCitarlo como jurisprudencia o como caso de sesgo de COMPAS. La lectura de Banchio menciona un «EE.UU. v. Hudson (2016)» sobre COMPAS que no coincide con este caso: usá la versión de la clase.
La productividad no determina sola a quién va la ganancia (empresa, trabajador, consumidor, sociedad): entran derecho laboral, negociación colectiva, política fiscal y educación. Y el futuro del empleo no es sólo cuántos: también qué calidad (salario, autonomía, vigilancia, participación).
5.4 · Impacto ambiental: la nube es infraestructura física
Extracciónminerales
Fabricaciónchips y hardware
Entrenamientointensivo, concentrado
Inferenciamillones de usos
Refrigeraciónagua y energía
Residuose-waste
Datos y conceptos del bloque ambiental
Tema
Qué decir
Fuente
Ciclo de vida
Evaluar todo: materias primas, energía, agua, emisiones, residuos. Mirar sólo el entrenamiento es incompleto
UNEP 2024
Training vs inference
A gran escala la inferencia acumulada puede superar el costo del entrenamiento
—
Data centers
Consumo eléctrico podría duplicarse hacia 2030; el de centros de IA, triplicarse. Cuellos de botella en redes y transformadores
Menos energía por tarea → más uso → el consumo total puede aumentar
IEA
Agua
Directa (refrigeración) e indirecta (generación eléctrica): ≈800.000 M de litros de huella indirecta en EE.UU. (2023). Importa la ubicación y el estrés hídrico
LBNL 2024 · UNEP
Emisiones
Depende de la matriz eléctrica: el mismo workload con carbón o renovables tiene huellas muy distintas
LBNL
La ecuación real
Impacto neto = huella de la IA − impactos que ayuda a evitar (optimizar redes, predicción climática, monitoreo de deforestación, eficiencia industrial). Pregunta ética: ¿el beneficio es proporcional? ¿Hay un modelo menor suficientemente preciso?
Green AI
Modelo adecuado al problema (no siempre el más grande).
Eficiencia energética y vida útil del hardware.
Ubicación y matriz eléctrica limpias, agua disponible.
Medir y reportar el consumo real.
Error típico
Repetir frases virales como «cada pregunta consume una botella de agua». El impacto depende del tamaño del modelo, el tipo de tarea, el hardware y la ubicación.
Cierre de la clase
Una decisión de ingeniería puede ser una decisión social: el tamaño del modelo define consumo y quién puede usarlo; el dataset, qué idiomas y grupos están; el nivel de automatización, qué trabajadores quedan desplazados; la ubicación del data center, qué comunidades soportan la huella. ¿Qué tipo de progreso queremos?
Clase 06 · Bloque 4 · 11 de septiembre
Protección de datos personales y derecho al olvido
La pregunta cambia de «¿qué debería hacer una IA responsable?» a «¿qué puede hacer legalmente con
nuestros datos?». Principio ético → obligación jurídica → derecho del titular → responsabilidad.
Lógica técnicaEl dato es útilmejora el modelo, está disponible, incluso es público
⇄
Lógica jurídica¿Puede usarse?base jurídica, finalidad, minimización, derechos del titular
Idea fuerzaque un dato sea técnicamente útil no significa que jurídicamente pueda utilizarse. Y un dato público sigue siendo dato personal.
6.1 · Conceptos base
Privacidad ≠ protección de datos
Privacidad: esfera de autonomía e intimidad frente a intromisiones. Protección de datos: regula todo el ciclo del dato (recolección, almacenamiento, uso, combinación, transferencia, eliminación). No es «guardar secretos».
Dato personal (GDPR)
Información sobre persona física identificada o identificable: nombre, DNI, email, imagen, IP, cookie ID, ubicación, datos médicos o biométricos.
Ejemplo de claseLa universidad recoge notas, las almacena, las combina con asistencia, crea un score de abandono y se lo pasa al director: cinco tratamientos, y cada uno necesita base jurídica.
Seudonimizar ≠ anonimizar
Seudonimización: se reemplaza la identidad por un identificador; se puede reidentificar combinando datos. Sigue siendo dato personal.Anonimización real: identificar deja de ser razonablemente posible, de forma irreversible; recién ahí sale del GDPR.
Reidentificación
Sin nombre ni DNI, pero con edad + código postal + profesión + sexo, puede identificarse a alguien.
Responsable y encargado
Controller / responsable
Decide para qué y cómo se tratan los datos (finalidades y medios). Carga con la mayor parte de las obligaciones.
Processor / encargado
Trata por cuenta del responsable siguiendo instrucciones (la nube que guarda datos de un hospital).
6.2 · GDPR / RGPD · Reglamento (UE) 2016/679
Adoptado en 2016, aplicable desde el 25 de mayo de 2018, directamente aplicable en toda la UE. Protege los datos como derecho fundamental (art. 8 de la Carta). Alcance extraterritorial: alcanza a organizaciones fuera de la UE que ofrecen bienes o servicios (aunque sean gratis) a personas en la UE o monitorean su comportamiento allí. Una empresa argentina que apunta a usuarios europeos puede quedar sujeta.
Los 7 principios del art. 5
Principio
Qué exige
Pregunta para un sistema de IA
Licitud, lealtad y transparencia
Base jurídica, finalidad definida, informar, no ser abusivo
Lo recogido para un fin no se usa libremente para otro
Domicilio para enviar documentación → ¿usarlo para inferir nivel socioeconómico para becas?
Minimización
Sólo datos necesarios, adecuados y pertinentes
¿Para predecir abandono necesito religión, orientación sexual, ubicación 24/7? «Mejora el modelo» no alcanza
Exactitud
Exactos y actualizados
Garbage in → garbage out, y dato incorrecto → decisión ilegítima
Limitación de conservación
No más tiempo del necesario
¿Tenemos política de eliminación o guardamos todo porque es barato?
Integridad y confidencialidad
Protección contra acceso, pérdida o divulgación
Cifrado, control de acceso, backups, logging, segregación
Accountability
Poder demostrar el cumplimiento
Documentación, logs, responsables, evaluaciones de impacto, auditorías
Idea clave 1 · El consentimiento no es la única base
Seis bases jurídicas: consentimiento, contrato, obligación legal, intereses vitales, interés público / poder público, interés legítimo (ponderado con los derechos del titular).
Consentimiento válido
Libre (sin presión), específico (fin concreto), informado, inequívoco (no silencio ni casilla premarcada).
Error típico«Si no hay consentimiento es ilegal» o «puse un checkbox, entonces es legal». ¿«Acepto los términos» de 67 páginas es consentimiento informado?
Datos especialmente protegidos (art. 9)
Tratamiento prohibido como regla, salvo excepciones: origen racial o étnico, opiniones políticas, creencias religiosas o filosóficas, afiliación sindical, genéticos, biométricos para identificar, salud, vida u orientación sexual.
Por qué la biometría
Una contraseña se cambia; tu cara, no. Una filtración biométrica es irreparable.
Derechos del titular
Acceso
¿Tienen datos míos? ¿Cuáles, para qué, con quién los comparten?
Rectificación
Corregir inexactos (la deuda ya pagada que sigue en el sistema), clave si alimentan scores.
Supresión (art. 17)
Derecho al olvido en ciertos casos.
Portabilidad (art. 20)
Recibir los datos en formato estructurado y legible por máquina y llevarlos a otro.
Decisiones automatizadas (art. 22)
No quedar sometido a decisiones basadas únicamente en tratamiento automatizado con efectos jurídicos o similares. Si se admiten: intervención humana, expresar el punto de vista e impugnar.
ConexiónHuman-in-the-loop pasa de principio ético (clase 2) a garantía jurídica exigible.
Diseño, impacto y brechas
By design (art. 25)
Privacidad desde el diseño: minimización, seudonimización, cifrado, control de acceso en la arquitectura.
By default (art. 25)
Por defecto, mínimo de datos, menor tiempo y acceso más limitado (perfil privado por defecto).
DPIA
Evaluación de impacto obligatoria ante alto riesgo: profiling sistemático, decisiones automatizadas, datos sensibles a gran escala, monitoreo. Es la ética anticipatoria vuelta obligación legal.
Data breach (arts. 33–34)
Afecta confidencialidad, integridad o disponibilidad. Notificar a la autoridad sin demora y, si es factible, en 72 h.
Sanciones
Hasta €20 M o 4 % de la facturación anual mundial, lo que sea mayor; más advertencias, prohibiciones y órdenes.
6.3 · Argentina: Ley 25.326
Marco
Base constitucional
Art. 43 CN (1994), hábeas data: conocer los datos, su finalidad y exigir supresión, rectificación, confidencialidad o actualización.
Ley 25.326
Sancionada el 4/10/2000, reglamentada por Decreto 1558/2001. Protege honor, intimidad y acceso (art. 1). AAIP es la autoridad de aplicación (denuncias, fiscalización, sanciones). Se discute su modernización.
Diferencia con GDPR
Contempla también a personas jurídicas en lo pertinente; el GDPR sólo a personas físicas.
Principios y derechos
Calidad (art. 4)
Ciertos, adecuados, pertinentes y no excesivos. Art. 4.7: destruir cuando dejan de ser necesarios (storage limitation en el año 2000).
Consentimiento (art. 5)
Libre, expreso, informado y documentable, con excepciones legales.
Información (art. 6)
Finalidad y destinatarios, responsable, obligatoriedad, consecuencias de negarse, derechos.
Sensibles
Origen racial y étnico, opiniones políticas, convicciones religiosas, filosóficas o morales, afiliación sindical, salud, vida sexual. Nadie puede ser obligado a darlos.
Seguridad y confidencialidad (arts. 9–10)
Medidas técnicas y organizativas; secreto profesional que sigue después de terminar la relación.
Plazos
Acceso: responder en 10 días corridos, ejercible cada 6 meses (salvo interés legítimo). Rectificar o suprimir: 5 días hábiles (art. 16). Gratuito y en lenguaje claro.
Idea clave 3 · Art. 20 Ley 25.326
Las decisiones judiciales o actos administrativos que valoren conductas humanas no pueden tener como único fundamento el resultado de un tratamiento informatizado que defina el perfil o la personalidad del interesado.
Consecuencia
Nulidad insanable (art. 20.2).
Por qué importa
Una ley del año 2000 ya anticipaba scoring, profiling y decisiones estatales automáticas. Puente directo con art. 22 GDPR, SCHUFA, Loomis y la supervisión humana. «De los artículos más relevantes de nuestra materia.»
Ojo con el alcanceEl art. 20 habla de decisiones judiciales o actos administrativos. Para un banco privado el argumento va por art. 22 GDPR (si aplica) o por principios, no directamente por el art. 20.
GDPR vs Ley 25.326
Tema
GDPR
Ley 25.326
Año
2016
2000
Personas
Sólo físicas
Físicas + jurídicas en ciertos casos
Minimización
Principio expreso
Adecuados, pertinentes, no excesivos
Decisión automatizada
Art. 22
Art. 20 (nulidad insanable)
Privacy by design
Art. 25, expreso
No con igual estructura
DPIA
Régimen detallado
No con el mismo régimen
Accountability
Principio central
Menos desarrollado
6.4 · Derecho al olvido
Antes de internet el tiempo producía olvido natural; hoy nombre + Google = resultado en milisegundos. ¿Debe una persona quedar definida para siempre por información verdadera sobre su pasado? La pregunta precisa: ¿en qué circunstancias la privacidad justifica limitar el acceso a información? No es un derecho absoluto: exige ponderar con libertad de expresión y acceso a la información.
Idea clave 2 · cuatro remedios distintos
Remedio
Qué pasa
Eliminar la fuente
Se borra el contenido original del sitio
Desindexar
La noticia sigue existiendo, pero el buscador no la muestra al buscar el nombre
Rectificar
Se corrige información incorrecta o desactualizada
Bloquear
Se impide cierto acceso sin eliminar
Art. 17 GDPR: procede si los datos ya no son necesarios, se retira el consentimiento sin otra base, hay oposición fundada o tratamiento ilícito. Excepciones: libertad de expresión e información, obligación legal, interés público, salud pública, archivo o investigación, reclamaciones judiciales. Preguntas de la ponderación: ¿es verdadera? ¿sigue siendo actual? ¿tiene proyección pública? ¿hay interés público? ¿qué antigüedad y qué daño hoy? ¿se pide borrar o desindexar?
Google Spain c/ AEPD y Costeja · TJUE 2014
C-131/12, Gran Sala, 13/05/2014. Aplicó la Directiva 95/46/CE (el GDPR no existía): antecedente del art. 17.
Hechos
1998: La Vanguardia publica anuncios de subasta por embargo de deudas de Costeja con la Seguridad Social. Años después la deuda está resuelta, pero en 2010 Google seguía mostrándolos.
AEPD
Rechazó contra el diario (publicación lícita); admitió contra Google.
TJUE
Google trata datos (recoge, extrae, registra, organiza, almacena) y es responsable (define fines y medios). El buscador crea un perfil estructurado y multiplica el impacto.
Regla
Un tratamiento inicialmente lícito puede volverse incompatible con el tiempo si la información es inadecuada, no pertinente o excesiva. Desindexación, no eliminación: el diario conserva la nota.
Denegri c/ Google · CSJN 2022
Fallos: 345:482, 28/06/2022, unánime.
Hechos
Natalia Denegri pidió desindexar videos y notas de más de 20 años sobre el «caso Cóppola» (años '90), invocando Costeja. Primera instancia y Cámara (Sala H, 2020) le dieron una desindexación parcial.
CSJN
Revocó. Sin fundamento legal o constitucional para limitar información veraz, de interés público, sobre una figura pública. La libertad de expresión comprende internet y buscadores; desindexar también restringe; fuerte presunción de inconstitucionalidad.
Excepción abierta
Tutela preventiva si hay contenido ilícito, daño concreto y verificable y vinculación claramente lesiva.
Algoritmos
La Corte pidió que los algoritmos de buscadores sean más entendibles y transparentes: el ranking jerarquiza, y visibilidad es poder.
Costeja · se inclinó haciaPrivacidad y datos personalesparticular + deuda superada + pérdida de relevancia actual
⇄
Denegri · se inclinó haciaLibertad de expresión e informaciónfigura pública + información veraz + interés público persistente
Idea clave 4no son sentencias contradictorias («Europa olvida, Argentina recuerda» es falso). Ambos tribunales ponderan con el mismo método; cambian las circunstancias. Costeja: verdadero no es eternamente relevante. Denegri: antiguo no es automáticamente irrelevante.
6.5 · Datos personales e IA (parte II)
La arquitectura digital importa
Cuatro capas con efectos jurídicos distintos: archivo (la información existe) → buscador (es encontrable) → ranking y algoritmo (visibilidad y priorización).
Consecuencia
Una norma que sólo regula la existencia del dato, sin su encontrabilidad y priorización, es insuficiente.
Datos inferidos
Nadie declaró su preferencia política, pero un modelo la infiere de likes, geolocalización, contactos, consumo y navegación.
Respuesta
La inferencia no deja de ser dato personal porque nadie la escribió: si identifica y tiene efectos, aplica la protección. La licitud del dato de origen no legitima todos sus usos derivados.
Tres garantías distintas
Protección de datos
«¿Qué datos usaron?» Base, finalidad.
Explicabilidad
«¿Por qué esos datos llevaron a esta decisión?»
Contestabilidad
«¿Puedo impugnarla?» Revisión humana efectiva.
Error típicoCreer que cumplir protección de datos garantiza fairness. Dataset legal + modelo preciso puede dar resultado discriminatorio.
Síntesis de la clase
1) Un dato no puede usarse porque sí. 2) Menos datos puede ser mejor. 3) La persona conserva derechos. 4) La automatización no elimina las garantías: las vuelve más importantes. 5) Derecho al olvido ≠ borrar la historia. Internet no olvida, pero el derecho debe decidir qué se conserva, para qué, cuánto tiempo, quién lo encuentra y cuándo el interés colectivo justifica que siga accesible.
Clase 07 · Bloque 5 · 28 de septiembre
Responsabilidad civil y penal en decisiones automatizadas
La pregunta ya no es «¿es lícito usar estos datos?» sino «¿quién responde cuando la decisión
que produjo el sistema causa un daño?». La IA no rompe el derecho de responsabilidad, pero
hace mucho más difícil contestar sus preguntas de siempre: quién causó el daño, por qué ocurrió,
quién podía evitarlo y quién debe responder.
La trampa a evitar
«Lo decidió el algoritmo» no es una respuesta jurídica: es un intento de diluir la responsabilidad
entre tantos actores que, al final, nadie responde. Todo el análisis de esta clase sirve para
reconstruir esa cadena y asignarla con criterio, no para repartir culpas al azar.
Mapa mental de lo trabajado en clase (a partir de la grabación del 28 de septiembre). Cada rama se desarrolla en las secciones siguientes.
7.1 · La cadena de actores y el control efectivo
Un sistema de IA suele involucrar a varios actores: quien provee los datos, quien desarrolla el
modelo, quien lo implementa, quien lo opera y quien lo sufre. La pregunta central es a cuál de ellos
se le atribuye jurídicamente el daño — y no puede responderse «todos» sin justificar por qué.
Qué mira el análisis
Qué ocurrió
Tipo de decisión, contexto de despliegue y características técnicas del sistema.
Quién controlaba
Quién eligió el modelo, fijó el umbral (threshold) de decisión, monitoreó errores y podía detenerlo.
Quién sabía
El conocimiento del riesgo y las obligaciones asumidas por cada parte determinan cuánto responde.
Error típicoCreer que «estar en la cadena tecnológica» alcanza para ser responsable. Comprar el software a un tercero, o «solo seguir el score», no borra la responsabilidad si hubo control, conocimiento o provecho.
Control → responsabilidad (no automático)
El control efectivo —quién eligió el modelo y los datos, quién fijó el umbral, quién monitoreó y podía frenarlo— es un dato jurídico central, aunque no determina la respuesta por sí solo.
7.2 · Tres regímenes que pueden coexistir
Responsabilidad civil, penal y administrativa
Régimen
Busca
Estándar
Civil
Reparar el daño de la víctima
Compensatorio; alcanza con culpa u objetiva según el caso
Penal
Sancionar un delito
Requiere conducta humana que encaje en un tipo penal; estándar mucho más estricto
Administrativa
Sancionar incumplimientos regulatorios
Puede existir sin daño probado ni delito
Ilegal ≠ necesariamente delito. Una empresa que discrimina con un algoritmo puede recibir sanción administrativa (protección de datos, no discriminación), responder civilmente ante las personas afectadas, y sólo responder penalmente si una conducta humana concreta encaja en un tipo penal. Los tres regímenes pueden activarse a la vez por el mismo hecho.
7.3 · Responsabilidad civil, paso a paso (CCyC)
1 · El daño (art. 1737)
Hay daño cuando se lesiona un derecho o interés jurídicamente protegido: patrimonial, personalísimo (honor, privacidad, identidad), físico, o pérdida de chance (una oportunidad laboral o contractual real y razonablemente probable).
Ejemplo de cátedraUn algoritmo descarta a una candidata: no puede afirmarse «habría obtenido el empleo» (exigiría una certeza causal que no existe), pero sí puede discutirse que perdió una chance real de ser seleccionada.
2 · Antijuridicidad por omisión (art. 1717)
Una acción u omisión que causa daño es antijurídica si no está justificada. En IA, la omisión pesa especialmente:
No testear el modelo antes del despliegue.
No evaluar sesgos (bias testing).
No monitorear el drift (degradación con el tiempo).
No corregir errores ya conocidos.
3 · Prevención (arts. 1710–1711)
Toda persona debe evitar causar daño y adoptar medidas razonables para disminuirlo. Testing, red teaming, bias testing, evaluación de impacto, supervisión humana, logs y monitoreo no son solo buenas prácticas técnicas: pueden ser jurídicamente relevantes para juzgar la diligencia. El Derecho no espera a que el daño ocurra: la acción preventiva procede si es previsible.
4 · Factor de atribución: culpa o dolo (arts. 1721, 1724–1725)
Negligencia
No hacer lo que debía hacerse. Ej.: saber que el modelo tiene diferencias de error por género, no investigar y seguir usándolo.
Imprudencia
Asumir un riesgo injustificado. Ej.: desplegar un modelo médico sin validación externa porque «funcionaba bien en el laboratorio».
Impericia
Falta de capacidad técnica exigible. Ej.: concluir «93 % de accuracy = sistema seguro» sin mirar subgrupos.
Dolo
Daño intencional o manifiesta indiferencia — distinto de la culpa y con consecuencias más graves.
OjoCuanto mayor el deber de obrar con conocimiento pleno, mayor la diligencia exigible (art. 1725): no se le exige lo mismo al usuario final que al desarrollador profesional.
5 · ¿Objetiva por cosa/actividad riesgosa? (art. 1757)
No existe en Argentina una norma que diga «toda IA es cosa riesgosa»: aplicar el art. 1757 exige analizar el caso concreto (naturaleza, medios o circunstancias de la actividad). Responde quien realiza la actividad, quien se sirve de ella o quien obtiene provecho (art. 1758).
6 · Causalidad: el gran problema (art. 1726)
Son reparables las consecuencias con nexo adecuado de causalidad. «No sabemos por qué lo hizo el modelo, nadie responde» convertiría la opacidad en ventaja jurídica de quien la creó — por eso los logs son evidencia: input, output, timestamp, versión del modelo, intervención humana, overrides y errores.
7 · Reparación plena (art. 1740)
Restituir a la víctima a la situación anterior no siempre es sólo indemnizar: puede ser repetir la decisión en condiciones no sesgadas, corregir datos y clasificaciones, o detener o modificar el modelo que causó el daño.
7.4 · ¿Quién responde civilmente?
Candidatos en la cadena — ninguno responde «por defecto»
Actor
Conducta relevante
Desarrollador / proveedor
Diseñó y entregó el modelo; depende de qué conocía, qué advirtió y cómo documentó sus límites.
Empresa que lo implementa
Decidió desplegarlo y cómo se usaría — rol central en la cadena.
Operador / empleador
Responde objetivamente por sus dependientes en ejercicio de sus funciones (art. 1753).
7.5 · Supervisión real vs. supervisión formal
Tres escenarios jurídicamente distintos, no equivalentes: la IA recomienda y el humano decide; la IA decide con posibilidad de revisión (override); la IA decide y ejecuta sin intervención previa.
Escenario A IA recomienda rechazar → el empleado revisa de forma independiente y decide → supervisión real
Escenario B IA decide rechazar → el empleado hace clic en «confirmar» sin analizar → supervisión formal, no real
Escenario C IA decide y ejecuta → se cierra automáticamente → sin intervención humana
Automation bias
«Si lo dijo la máquina, debe estar bien.» Este sesgo hace que las personas validen acríticamente la salida del sistema, reduciendo a cero la supervisión real aunque exista formalmente. Un humano puede figurar como responsable en el organigrama sin haber participado efectivamente en la decisión que causó el daño — y en el caso de FinPay/ARGOS visto en clase, una revisión de 38 segundos fue el ejemplo de supervisión meramente formal.
7.6 · Caso Amazon: el algoritmo sexista de reclutamiento
No es una sentencia judicial: es un caso empresarial documentado, conocido por la
investigación de Jeffrey Dastin en Reuters (2018) sobre un proyecto de Amazon entre 2014 y 2017.
Qué pasó
Amazon entrenó un modelo con los CV recibidos durante los diez años anteriores. Como la industria tecnológica había sido dominada por varones, el modelo aprendió que el perfil masculino era el patrón del «candidato exitoso»: penalizaba la palabra «women's» (ej. «women's chess club captain»), instituciones femeninas y favorecía verbos frecuentes en CV de varones.
La máquina no inventó la desigualdadLa aprendió de datos históricos. El modelo no discriminaba «conscientemente»: identificó correlaciones estadísticas y las usó como predictor.
Variables proxy: quitar «sexo» no alcanza
Amazon eliminó la palabra «woman», pero universidad, asociaciones estudiantiles, vocabulario y patrones de carrera pueden reconstruir el género indirectamente. Corregir una feature ≠ corregir el sistema. Un algoritmo puede aprender sesgo sin usar explícitamente la variable protegida — por eso la auditoría debe mirar resultados, no solo revisar código.
Accuracy no responde la pregunta
Un 93 % de accuracy global puede esconder tasas de error muy distintas por subgrupo. Las preguntas correctas: ¿a quién excluye?, ¿con qué FPR/FNR por grupo?, ¿hay diferencias sistemáticas entre grupos protegidos?
Feedback loop y amplificación
Más hombres contratados → el modelo aprende «masculino = éxito» → selecciona más hombres → el próximo dataset tiene más hombres → el sesgo se refuerza. La automatización no crea el sesgo individual: lo aplica a escala, sin fricción, con apariencia de objetividad — lo que lo hace más difícil de cuestionar que el sesgo humano.
En 2017 Amazon abandonó el proyecto sin desplegarlo como sistema definitivo — aunque, según Reuters, algunos reclutadores sí habían visto sus recomendaciones. La diferencia entre «herramienta experimental nunca usada» y «usada con supervisión imperfecta» cambia por completo el análisis jurídico.
7.7 · Si esto pasara en Argentina: cuatro niveles de daño
Ejercicio de la cátedra: el mismo sistema descarta candidatas, la empresa conoce las diferencias por género y sigue usándolo. El perjuicio no se agota en «una mujer no consiguió el empleo».
A · Perjuicio individual directoUna candidata concreta pierde una oportunidad puntual — pero debe probar el nexo causal con la decisión, difícil en sistemas opacos.
B · Pérdida de chanceNo hace falta afirmar «la habrían contratado»: alcanza con que perdió una oportunidad real de competir en igualdad (ej.: de 1.000 candidatos, la IA cribó 50; una mujer eliminada en esa criba fue privada de seguir compitiendo).
C · Daño colectivo o estructuralAunque ninguna candidata individual pruebe que habría sido contratada, el patrón sistemático de puntuación reducida perpetúa una fuerza laboral desigual: discriminación sistémica, visible sólo mirando el conjunto.
D · Daño a la autonomía informativaLa persona puede ignorar que fue perfilada, qué variables se usaron y no poder impugnar la inferencia — discriminación, protección de datos y explicabilidad quedan inseparables.
Marco comprometido, más allá de lo civil: Ley 23.592 (no discriminación — el acto discriminatorio puede fundar daños por sí solo, sin intención probada), Ley 25.326 art. 20 (decisiones basadas en perfiles), derecho al trabajo, y régimen administrativo sancionatorio en paralelo.
Culpa o dolo: importa el momento del conocimiento
Desconocimiento inicial del sesgo → puede exonerar o atenuar. Detectarlo y suspender de inmediato → diligencia ex post que limita la responsabilidad. Detectarlo y seguir usándolo dos años → negligencia grave, posible dolo civil por manifiesta indiferencia (art. 1724).
7.8 · Responsabilidad penal: la IA no es sujeto penal
Cambia la lógica por completo: lo civil pregunta quién repara; lo penal pregunta quién cometió un
delito, con estándar probatorio mucho más estricto. En Argentina la IA no puede ser imputada,
condenada ni tener culpabilidad penal — siempre hay que buscar una conducta humana que encaje
en un tipo penal ya existente: no se pueden crear delitos por analogía porque la tecnología sea nueva.
Tres escenarios de responsabilidad penal con IA
Escenario
Quién responde
1 · IA como instrumento del delito
Una persona la usa deliberadamente para estafar, falsificar o acceder ilícitamente. La tecnología es el medio; el autor sigue siendo humano.
2 · IA lícita usada ilícitamente por terceros
Responde quien la usó con fines maliciosos, no quien la desarrolló para fines lícitos.
3 · IA lícita que se extralimita (agencia emergente)
El sistema muta tras el despliegue y produce un resultado no buscado: la atribución entre desarrollador y comportamiento emergente es el punto más complejo — se evalúa si las medidas preventivas adoptadas eran razonables.
La previsibilidad importa
Caso A
Fallo imprevisible, sin antecedentes ni advertencias.
Caso B
El fabricante advirtió expresamente y el usuario lo usó igual: riesgo conocido.
Caso C
Cien incidentes previos documentados y la organización siguió operando el sistema.
Tentativa y prueba
Hay que distinguir intención, actos preparatorios y comienzo de ejecución: sólo estos últimos son punibles como tentativa. Ideas aisladas suelen ser preparatorios; planificación detectada en chats junto con actos materiales concretos puede constituir tentativa.
Empresas: Ley 27.401
Sí existe responsabilidad penal de personas jurídicas en Argentina, pero no es general: se aplica a un conjunto acotado de delitos (corrupción, balances o informes falsos). No puede afirmarse «si la IA de una empresa comete un delito, la empresa responde penalmente» como regla general.
7.9 · Mitigación, regulación y el dilema geopolítico
Medidas de mitigación
Flagging de casos sospechosos, controles de acceso a funcionalidades avanzadas y pruebas en entornos controlados. Toda medida tiene límites: falsos positivos y negativos, costo de la seguridad, y el riesgo de ataques que alteren registros o evidencia.
AI Act (UE) vs. derecho de daños
El AI Act regula riesgos ex ante (antes del daño), clasificando sistemas por nivel de riesgo — por ejemplo, reclutamiento y decisiones laborales son high-risk. El derecho de daños opera ex post. Son planos distintos y complementarios: cumplir el AI Act puede influir en si se cumplió el estándar de diligencia exigible en un litigio civil posterior.
Directiva (UE) 2024/2853 — productos digitales
Extiende el régimen de «producto defectuoso» a software, IA y servicios digitales. Empieza a responder preguntas nuevas: ¿qué es un software defectuoso?, ¿una actualización defectuosa?, ¿un modelo de IA que decide mal?
El dilema del prisionero regulatorio
Frenar el desarrollo por seguridad puede dejar a un país o empresa en desventaja frente a quienes no lo hacen. Tensión entre pausas coordinadas y presión geoestratégica por liderazgo tecnológico: la coordinación internacional es necesaria pero difícil de lograr.
7.10 · Caso de aplicación: FinPay / ARGOS
El caso práctico asignado para resolver en grupos (cuatro roles: víctima, fiscalía, defensa y
tribunal). No está resuelto acá — es el ejercicio de la cátedra — pero deja los hechos ordenados
para aplicar todo lo anterior.
Los hechos
FinPay (billetera virtual) usa ARGOS, un sistema de IA que asigna un índice de
riesgo y puede bloquear preventivamente una cuenta por 72 h, con revisión posterior de un
empleado. Martín, comerciante, recibe transferencias por $18M (una de ellas, sin saberlo,
proveniente de un caso de phishing) y ARGOS bloquea su cuenta con $27M. Un empleado confirma el
bloqueo tras 38 segundos de revisión. El bloqueo dura 17 días;
Martín pierde un proveedor y dos operaciones, unos $12M. Una auditoría posterior revela que ARGOS
penalizaba con más frecuencia a comercios con teléfonos de gama baja, múltiples redes Wi-Fi y
zonas geográficas determinadas — y que un informe interno ya había advertido el problema tres
meses antes; el Director de Prevención de Fraude decidió mantenerlo porque «los falsos positivos
están dentro de los parámetros tolerables» (las pérdidas por fraude habían bajado 41 % desde ARGOS).
Qué debe argumentar cada rol
Rol
Preguntas centrales
Víctima (Martín)
Daño y nexo causal, legitimidad y proporcionalidad del bloqueo total por 17 días, si la revisión de 38 s fue supervisión real, y qué pesa que FinPay ya conocía el problema.
Fiscalía
Si hay conducta humana penalmente relevante, quién la protagonizó (empresa, directivos, técnicos, empleado revisor), tipicidad y elemento subjetivo — no alcanza con «fue injusto».
Defensa (FinPay)
Finalidad legítima y eficacia de ARGOS (−41 % fraude), que hubo una operación efectivamente vinculada a phishing, que la supervisión humana existió, y que los falsos positivos son inherentes a un sistema probabilístico.
Tribunal
Legitimidad y proporcionalidad del bloqueo, si hubo supervisión real, discriminación indirecta por las variables detectadas, y cómo pesa el conocimiento previo del informe interno en la atribución final.
Remedios y negociación: la cátedra insistió en gradar la responsabilidad según la legitimidad y proporcionalidad de la medida (un bloqueo puede ser legítimo en su origen y desproporcionado en su duración), y en priorizar acuerdos conciliatorios frente al litigio cuando sea razonable — menor costo y menor riesgo reputacional para ambas partes.
Clase 08 · Bloque 6 · 17 de octubre
Inteligencia artificial y propiedad intelectual
Dos preguntas cruzan la clase: ¿con qué obras se entrena la IA y estaba permitido
usarlas?, y ¿de quién es lo que la IA produce? Detrás de las dos hay un
equilibrio de derechos: el de los creadores a controlar y explotar su obra, y el de todas las
personas a acceder a la cultura, al conocimiento y a la información. Ningún derecho es absoluto:
siempre hay que mirar cuál está del otro lado y armonizarlos.
una obra está publicada en internet
no por eso es de dominio público ni puede usarse para cualquier fin (ni para entrenar)
Cómo arrancó la clase
Con los casos que el curso ya conocía: una imagen generada con IA que ganó un concurso de arte; imágenes generadas que salían con la firma de un artista real, señal de que se habían entrenado con su obra; y las demandas de medios contra empresas de IA por usar sus notas sin autorización, como la del New York Times contra OpenAI. En clase se mencionó además un reclamo de un diario argentino que incluía notas de su versión paga.
Pregunta guía de la cátedra
¿Cómo proteger la creatividad humana en un mundo donde las máquinas también pueden producir contenido? La propiedad intelectual ampara a seres humanos, no al producto de la IA en sí.
8.1 · Los tres grandes dilemas
1 · El entrenamiento¿Es legítimo usar millones de obras protegidas para desarrollar modelos de IA, sin autorización de sus creadores?
2 · Los resultados¿Qué pasa cuando la IA produce un contenido parecido o idéntico a una obra protegida?
3 · La autoría¿Puede considerarse autor quien usa una IA para generar una novela, una canción o una imagen?
Se analizan por separado
Un entrenamiento podría ser legítimo y, aun así, producir un resultado infractor. Y una persona
podría hacer aportes creativos protegibles sin ser autora de todo el contenido generado. Mezclar los
tres dilemas es el error más común al razonar estos casos.
8.2 · Qué protege el derecho de autor
En Argentina, la Ley 11.723 protege las creaciones intelectuales originales
expresadas de alguna forma: obras literarias (novelas, cuentos, artículos, ensayos), artísticas
(ilustraciones, fotografías, pinturas), musicales y audiovisuales, y también el software. Su
finalidad es incentivar la creación y la innovación: si cualquiera pudiera apropiarse
de una obra y explotarla —sobre todo quien ya tiene una posición dominante—, nadie tendría motivos
para crear.
el derecho de autor protege la expresión original de una idea
no protege la idea en sí misma
Qué está protegido y qué no (ejemplo de la cátedra)
Nivel
Ejemplo
¿Protegido?
Idea general
Escribir una historia sobre una sociedad donde los recuerdos humanos se compran y se venden.
No
Estilo literario
Atmósfera oscura, diálogos breves, elementos característicos de la ciencia ficción.
No
Expresión concreta
Los párrafos originales que describen esa sociedad con las palabras propias del autor.
Sí
Reproducción literal
Copiar diálogos, descripciones o pasajes de una obra preexistente.
Es una infracción
Copiar una parte también cuenta
La semejanza de estilo o de temática no es automáticamente una infracción. La reproducción de expresiones originales sí puede serlo, aunque se copie sólo una parte de la obra.
Error típicoCreer que parafrasear siempre salva. Una paráfrasis muy cercana al original y sin referencia a la fuente también puede ser infracción, según se remarcó en clase.
8.3 · Qué derechos tiene un autor
Derechos patrimoniales
Permiten controlar la explotación económica de la obra: reproducción, distribución, publicación, adaptación y otros usos previstos por la ley.
Característica
Son transmisibles: pueden cederse por contrato.
Derechos morales
Protegen la relación personal del creador con su obra: el reconocimiento de su autoría y la integridad de la creación.
Característica
Son inalienables e irrenunciables.
Dónde aparece el conflicto con la IA
Cuando una empresa usa obras ajenas para obtener beneficios propios sin que sus autores lo sepan, lo autoricen o reciban una contraprestación. Y sin reconocimiento: en general no sabemos de qué fuentes se nutrió el modelo.
8.4 · Cómo se entrena una IA generativa (y por qué importa)
Datos de entrenamientoLibros, fotos, artículos y otras obras.
Entrenamiento del modeloProcesar los datos y ajustar parámetros.
Generación de contenidoProducir respuestas según instrucciones.
El modelo no funciona necesariamente como una biblioteca que guarda copias completas de cada obra.
Pero el entrenamiento puede involucrar reproducciones de material protegido y, en ciertas
circunstancias, el sistema puede reproducir fragmentos memorizados.
Podemos infringir sin saberlo
Si la IA nos devuelve un fragmento literal de una obra protegida —sin citarla, así que no nos enteramos— y lo reproducimos tal cual, somos nosotros quienes estamos vulnerando el derecho de autor.
8.5 · Primer dilema: entrenar con obras protegidas
Argumentos a favor
Las personas también aprenden leyendo, observando y estudiando obras ajenas, y vuelcan ese conocimiento en lo que crean: sería «formación», no copia.
La IA democratiza herramientas creativas y acelera el desarrollo tecnológico. Ejemplo de clase: quien quiere dedicarse al arte pero necesita otro trabajo para vivir puede avanzar con menos tiempo disponible.
Pedir licencia individual para millones de obras haría inviable el desarrollo, o lo dejaría sólo en manos de las grandes empresas. Un modelo entrenado sólo con datos autorizados rendiría mucho menos.
Argumentos en contra
Los autores tienen derecho a controlar ciertos usos de sus creaciones, no sólo la copia literal: también a saber qué se hace con ellas.
Las empresas obtienen beneficios económicos con trabajo intelectual ajeno.
Los sistemas entrenados con esas obras pueden competir con sus propios creadores.
Sin consentimiento ni transparencia, la distribución de beneficios es injusta: todo va a la empresa.
Dónde falla la analogía con el estudiante
Una persona no puede leer a la velocidad, con la profundidad ni con la capacidad de reproducción de una IA. La comparación «aprende como nosotros» ignora esa diferencia de escala.
8.6 · Segundo dilema: los resultados
Aunque el entrenamiento fuera legítimo, el resultado igual puede vulnerar derechos de terceros. Un modelo puede producir tres tipos de contenido:
Resultados originales
No reproducen expresiones protegidas de obras preexistentes. No generan infracción por sí mismos.
Debate en clase¿Original en qué sentido? Para hablar de una obra original habría que suponer que la IA tiene intelecto, y la propiedad intelectual protege creaciones del intelecto. Pero tampoco los humanos crean de la nada: el rock barrial se inspiró en los Rolling Stones, que a su vez venían de otros. Todo depende del alcance que se le dé a «original».
Resultados semejantes
Obras con ideas, estructuras o estilos parecidos a los de otros autores. La semejanza de estilo o de temática no es automáticamente una infracción.
Ejemplo de clase
Las primeras versiones de ChatGPT se negaban a hacer una imagen «de estilo cubista» invocando derechos de autor; si se le pedía una imagen con las características del cubismo, la hacía. El estilo, en sí, no está protegido.
Resultados potencialmente infractores
Textos, imágenes o composiciones que reproducen partes protegidas de obras ajenas sin autorización del autor.
La cuestión fundamental
Qué se reprodujo, cuánto se reprodujo y si el material está protegido.
quien reproduce la obra es un sistema automatizado
la obra no deja de estar protegida por eso
8.7 · ¿Quién responde por una reproducción hecha con IA?
Las responsabilidades no son idénticas ni automáticas: hay que analizar la conducta de cada interviniente, sus obligaciones, lo que sabía y la relación entre su actuación y el perjuicio.
Tres actores, tres fundamentos distintos
Actor
Por qué podría responder
Empresa desarrolladora
Diseñó y entrenó el sistema, decidió qué materiales usar y qué mecanismos preventivos implementar.
Usuario
Introdujo las instrucciones, eligió los resultados y decidió cómo usarlos. Su responsabilidad depende del conocimiento y la intención: en clase se señaló que habría que demostrar dolo, es decir, intención de reproducir una obra ajena.
Editorial o distribuidor
Publicó, comercializó o difundió el contenido: se analiza si conocía el origen del material y qué controles hizo antes de publicar.
Intención y consecuencias
La falta de intención no siempre borra las consecuencias jurídicas —en música hubo juicios por temas parecidos «sin querer»—, pero el conocimiento, el dolo y el aprovechamiento pesan en la responsabilidad.
Conecta con
La cadena de actores y el control efectivo de la clase 7.
8.8 · Tercer dilema: ¿la IA puede ser autora?
El concepto tradicional de autoría está ligado a la creatividad humana. Que una IA
genere novelas, imágenes o canciones no significa que tenga personalidad jurídica ni que adquiera
derechos de autor. Quedan tres preguntas abiertas:
¿Puede protegerse una obra generada íntegramente por IA?Sin un autor humano identificable, hay serias dudas de que acceda a la tutela del derecho de autor.
¿Quién tendría derechos sobre ella?¿El usuario que escribió las instrucciones, el desarrollador del sistema, o nadie respecto de las partes puramente automáticas?
¿Usar IA impide reconocer la creatividad humana?No necesariamente: hay que separar la generación automática de las contribuciones expresivas originales de una persona.
Los tres escenarios de la cátedra. En clase se coincidió en que el C es hoy «el escenario de mínima»: casi cualquier texto pasa al menos por una corrección con IA.
Aportaciones expresivas originales
Lo que define la autoría no es la cantidad de instrucciones, el tiempo invertido ni el porcentaje de texto generado, sino las aportaciones expresivas originales de la persona.
Error típico«Estuve ocho horas iterando con la IA, entonces es mío.» El tiempo no resuelve la autoría: ¿y si hubieran sido diez minutos? ¿Y si la herramienta mejora y alcanzan dos horas? Por eso el criterio no puede ser cuantitativo.
No toda obra deja el mismo margen
En una novela hay mucho espacio para aportes propios; en un artículo técnico de tres carillas, mucho menos. Cuanto más acotada es la tarea, más difícil es distinguir qué aportó la persona.
Pagar no es ser autor
En clase se discutió si pagar una suscripción hace propio lo que se genera. La conclusión: contratar un servicio no transfiere automáticamente la titularidad ni elimina las obligaciones legales.
Analogía de los estudiantes
Comprar un juego en una plataforma digital da una licencia de uso, no la propiedad del juego.
8.9 · Un criterio internacional: la Oficina de Derechos de Autor de EE. UU. (enero de 2025)
Sin autoría humana, sin protecciónLas creaciones generadas puramente por IA, sin suficiente autoría humana, no se protegen.
La IA como herramienta no excluye protecciónUsar IA no impide proteger los aportes genuinamente humanos presentes en la obra final.
Selección y organización creativa son protegiblesSeleccionar, ordenar y modificar creativamente resultados de IA puede ser una contribución original (por ejemplo, reorganizar los capítulos de una novela).
El prompt solo no alcanzaIntroducir instrucciones, por sí solo, no acredita autoría suficiente sobre la obra generada.
Por qué sirve aunque no sea ley argentina
Es un criterio comparado, no una regla vinculante en Argentina. Pero el derecho comparado es una fuente a la que se recurre cuando no hay ley ni jurisprudencia local para un caso, y cada rama tiene sus referentes (en derecho penal, Alemania y España). Su uso tiene un límite: en materia penal rige el principio de legalidad.
8.10 · El marco argentino: Ley 11.723
Artículos clave en el contexto de la IA
Artículo
Contenido relevante
Art. 1
Protege la expresión de las ideas, no las ideas en sí mismas.
Art. 2
Reconoce al autor la facultad de publicar, adaptar y reproducir su obra, o de autorizar esos actos a terceros.
Art. 71
Figura general de defraudación de los derechos de propiedad intelectual: la ley la castiga con la pena de la estafa (art. 172 del Código Penal).
Art. 72 a)
Edición, venta o reproducción de obras sin autorización del autor o sus derechohabientes.
Art. 72 c)
Edición, venta o reproducción que suprime o cambia el nombre del autor o el título, o altera dolosamente el texto.
se usó inteligencia artificial
no configura automáticamente un delito
Hay que identificar una conducta prevista en la ley y acreditar todos los elementos para atribuir responsabilidad penal. Los problemas abiertos que se marcaron en clase:
«Por cualquier medio»
La ley habla de reproducir o difundir por cualquier medio, lo que parecería incluir a la IA. Pero el legislador no pudo pensar en una tecnología que no existía, y en materia penal la ley no se extiende por analogía.
Deepfakes
No hay una norma argentina específica: persisten dudas sobre cómo aplicarles las figuras tradicionales.
Coherencia entre leyes
La propiedad intelectual, la ley de marcas y el Código Penal se remiten entre sí. Cuando un código se reforma y cambia la numeración, esas remisiones pueden quedar apuntando a artículos que ya no corresponden.
8.11 · Innovación, sesgos y la «copia de la copia»
La IA se nutre de datos preexistentes y devuelve el resultado más coherente con ellos. Pero los
cambios de paradigma ocurren justamente cuando alguien hace algo contra esos datos.
Si cada vez más contenido sale de la IA y la IA se entrena con ese contenido, se cierra un círculo: la
copia de la copia, menos diversidad creativa y estilos que se vuelven todos iguales.
La IA como formadora de opinión
Si un modelo se entrenó con literatura de una sola postura —en economía, en derecho—, sus respuestas reflejan esa postura sin que el usuario sepa que hay otras. Puede terminar orientando la opinión pública desde un origen invisible.
Quién rompe el círculo
La innovación necesita intervención humana capaz de cuestionar los datos y los criterios existentes. En clase se recordó a un profesor de derecho y tecnología que asociaba las soluciones creativas con subir la «temperatura» de un modelo: más margen para salirse de lo esperable.
La analogía con la jurisprudencia: tenencia de estupefacientes para consumo personal
La pregunta de fondo en todos estos fallos: ¿se puede castigar a alguien por tener una cantidad mínima de droga para consumo propio, sin afectar a terceros?
1978ColaviniAntes del regreso de la democracia: la Corte convalida el castigo y describe la droga como un flagelo que destruye la familia y las bases morales de la sociedad. En clase este fallo se nombró como «Montalvo»: es el mismo razonamiento, pero Montalvo es el de 1990.
1986BazterricaEl caso de un músico. La Corte declara inconstitucional castigar la tenencia para consumo personal: protege la autonomía de la persona mientras no afecte a terceros.
1990MontalvoCon otra integración, la Corte vuelve a la postura anterior y convalida el castigo. Es la «vuelta a Montalvo» que se mencionó en clase.
2009ArriolaRetoma la doctrina de Bazterrica: castigar la tenencia para consumo personal que no afecta a terceros es inconstitucional.
Qué tiene que ver con la IA
Una IA entrenada con la jurisprudencia de 1978 nunca habría propuesto Bazterrica: sólo tenía los
datos de la postura anterior. Peor aún, cada nuevo fallo resuelto «como siempre» habría reforzado esa
postura —«hay treinta años de jurisprudencia que dicen esto»— y hecho cada vez más difícil el cambio.
Lo mismo vale para otros cambios de paradigma que se mencionaron en clase, como dejar de considerar
que dentro del matrimonio no podía haber abuso sexual.
8.12 · Tres teorías éticas para analizar el conflicto
Una misma conducta puede valorarse distinto según la teoría que se aplique (ver la clase 1).
La pregunta que haría cada teoría
Teoría
Criterio
Pregunta aplicada a la IA
Utilitarismo
Evaluar consecuencias y buscar el mayor bienestar general.
¿Los beneficios sociales del entrenamiento justifican los perjuicios a los autores?
Deontología
Respetar deberes, principios y derechos, más allá de las consecuencias.
¿Es correcto usar una creación ajena sin autorización, aunque produzca beneficios colectivos?
Contractualismo
Buscar reglas que puedan justificarse ante los afectados mediante acuerdos razonables.
¿Qué sistema de consentimiento, compensación y transparencia aceptarían desarrolladores y creadores?
El análisis riguroso exige decir qué teoría se está aplicando, reconocer sus límites y considerar todos los intereses afectados antes de tomar posición. Una salida práctica que se propuso: priorizar datos cuyo uso esté autorizado siempre que sea posible.
8.13 · Caso de aplicación: «El autor invisible»
El caso práctico asignado para resolver en grupos, con cuatro roles: juez, fiscal, defensa y víctima.
Primero los hechos y las herramientas de la clase que sirven para cada dilema; al final, una solución
modelo en desplegables. Intentá resolverlo antes de abrirlos.
Los hechos
En 2026, la empresa argentina NOVA AI lanza CREA, una plataforma que
genera novelas, cuentos e ilustraciones. La entrenó con millones de obras disponibles en internet,
muchas protegidas y sin autorización de sus autores; entre ellas, seis novelas de la escritora de
ciencia ficción Valentina Ríos, autora de la saga Los guardianes del silencio.
Tomás Medina, estudiante de 23 años, usa CREA durante tres meses:
escribe instrucciones, modifica personajes, selecciona capítulos y corrige partes del texto. Una de sus
instrucciones pide «una atmósfera narrativa semejante a las novelas de Valentina Ríos, especialmente
Los guardianes del silencio». El resultado: una novela de 320 páginas, La memoria de los
ausentes, con cerca del 70 % del texto proveniente de borradores de la IA. Gana un
concurso con premio de veinte millones de pesos (las bases exigían obras originales pero no prohibían
la IA), la publica una editorial y es un éxito comercial. Tomás figura como único autor y nunca
informó que usó IA.
Lo que encontró Valentina
Semejanzas generales —sociedades donde los recuerdos se compran y venden, organizaciones clandestinas que conservan memorias, personajes que descubren recuerdos manipulados—, con personajes y desenlace distintos. Y un peritaje que detecta un fragmento de unas 180 palabras casi idéntico a una de sus novelas.
Qué reclama
Demanda civil contra NOVA AI, Tomás y la editorial (indemnización, eliminación de los fragmentos, que CREA deje de usar sus obras) y denuncia penal por delitos contra la propiedad intelectual.
Lo que responden
NOVA AI
La IA aprende como un escritor que lee mucho; las coincidencias son excepcionales; pedir autorización individual haría imposible la innovación.
Tomás
Diseñó la historia, orientó a la IA, seleccionó el contenido y decidió la versión final: CREA fue una herramienta.
Editorial
Actuó de buena fe y las bases no prohibían usar IA.
Las normas que trae el caso
Ley 11.723, art. 72 a) (editar, vender o reproducir «por cualquier medio o instrumento» una obra sin autorización) y art. 72 c) (hacerlo suprimiendo o cambiando el nombre del autor o el título, o alterando dolosamente el texto).
Ojo con el 72 c)Habla de suprimir el nombre del autor de la obra reproducida. Si la atribución de autoría de Tomás encaja ahí, o si es una controversia de otra naturaleza, es justamente lo que el caso le pide analizar a la fiscalía.
Qué debe argumentar cada rol, dilema por dilema
Rol
Entrenamiento
Resultados
Autoría
Juez
Si usar obras protegidas sin autorización es jurídicamente admisible y éticamente justificable.
Si las semejanzas y la reproducción detectada vulneran los derechos de Valentina.
Si Tomás puede ser reconocido como autor y qué peso tienen sus aportes. Además: proponer una resolución que pondere derechos individuales, innovación e interés social.
Fiscal
Si el uso de obras protegidas puede ser una conducta relevante para la ley de propiedad intelectual.
La reproducción de las 180 palabras y quién podría ser responsable de esa conducta concreta.
Si la atribución de autoría tiene relevancia penal o es otra clase de controversia. Además: si corresponde impulsar la investigación, con conductas y elementos del delito identificados.
Defensa (NOVA AI y Tomás)
El entrenamiento como parte del desarrollo tecnológico y del aprendizaje automatizado.
Que las semejanzas generales no son infracción, y analizar la reproducción puntual.
Que las decisiones, instrucciones y modificaciones de Tomás muestran intervención creativa. Con principios de innovación y acceso a la cultura.
Víctima (Valentina)
Por qué el uso comercial sin consentimiento afecta sus derechos e intereses como creadora.
Por qué las coincidencias son una apropiación ilegítima de su trabajo.
Por qué Tomás no puede atribuirse una novela hecha mayoritariamente con IA. Además: qué reparación pide y cómo proteger a los creadores.
Dónde está cada herramienta en esta clase
Hecho del caso
Concepto que activa
Ver
Entrenamiento sin autorización
Argumentos a favor y en contra; la analogía del escritor que lee y dónde falla; internet ≠ dominio público.
8.4 y 8.5
Mismo tipo de sociedad y de trama
La idea general y el estilo no están protegidos (el ejemplo de la cátedra es casi el mismo que el del caso).
8.2 y 8.6
Las 180 palabras casi literales
Reproducción de expresión protegida, aunque sea una parte; qué, cuánto y si está protegido; fragmentos memorizados.
8.2, 8.4 y 8.6
El prompt «como Valentina Ríos»
Conocimiento e intención del usuario; el estilo como tal no es infracción.
8.6 y 8.7
Tres meses, 70 % generado
Escenario B (dirección y selección); el criterio es cualitativo, no las horas ni el porcentaje; el informe de EE. UU. de 2025.
8.8 y 8.9
Demanda civil y denuncia penal a la vez
Usar IA no es delito automáticamente; legalidad penal; responsabilidad de desarrolladora, usuario y editorial.
8.7 y 8.10
Interés social vs. derechos del autor
Utilitarismo, deontología y contractualismo.
8.12
Una solución posible
Antes de leerla
Es una solución modelo armada para el apunte con los conceptos de la clase, no la respuesta oficial de la cátedra. Hay otras soluciones defendibles: lo que se evalúa es que cada afirmación esté fundada en un concepto, una norma o un criterio.
Dilema 1 · Entrenamiento: ¿podía NOVA AI usar las novelas de Valentina?
Jurídicamente. No hay en Argentina una norma específica sobre entrenamiento de IA. La Ley 11.723 (art. 2) le reserva al autor la facultad de reproducir su obra o autorizar a otros a hacerlo, y el entrenamiento puede involucrar reproducciones (8.4). Tampoco tiene una excepción general como el fair use estadounidense o las excepciones de minería de textos y datos de la Unión Europea (ver clase 3). Conclusión razonable: el uso comercial sin autorización es, al menos, cuestionable en el plano civil. Que las novelas estuvieran en internet no cambia nada: publicado no es dominio público.
El argumento de NOVA AI («aprende como un escritor») tiene un punto: la idea y el estilo no están protegidos. Pero falla por la escala (8.5) y porque el propio caso muestra que el modelo memorizó y reprodujo expresión literal: si sólo aprendiera patrones, no habrían aparecido las 180 palabras.
Éticamente. El utilitarismo podría justificar el entrenamiento por sus beneficios sociales, pero el costo lo pagan autores concretos que no eligieron financiarlo. La deontología lo rechaza: se usa la obra ajena como medio, sin consentimiento. El contractualismo da la salida más útil: un sistema que desarrolladores y creadores podrían aceptar, con licencias o compensación, transparencia sobre los datos de entrenamiento y la posibilidad de excluir obras.
Penalmente. Es la parte más débil del caso. El art. 72 a) dice «por cualquier medio», pero en materia penal no se extiende la ley por analogía a una tecnología que el legislador no previó (8.10). Además, la responsabilidad penal de las empresas en Argentina se limita a ciertos delitos (Ley 27.401, clase 7): no alcanza a la propiedad intelectual. La vía adecuada para el entrenamiento es la civil.
Dilema 2 · Resultados: ¿la novela de Tomás vulnera los derechos de Valentina?
Las semejanzas generales no son infracción. Una sociedad donde los recuerdos se compran y venden, organizaciones que conservan memorias, personajes que descubren recuerdos manipulados: son ideas y temas, y con personajes y desenlace distintos. Es literalmente el ejemplo de la cátedra de «idea general, no protegida» (8.2). Pedir una «atmósfera semejante» a la de una autora es pedir un estilo, y el estilo tampoco está protegido.
Las 180 palabras casi literales sí lo son. Es reproducción de expresión original protegida, y no importa que sea sólo una parte de la obra ni que la haya producido un sistema automatizado (8.6). Aplicando el criterio de la clase: qué se reprodujo (texto de la novela), cuánto (un fragmento acotado y casi idéntico) y si está protegido (sí).
Quién responde por ese fragmento (8.7):
NOVA AI, en primer lugar: decidió entrenar con la obra sin autorización y no implementó filtros que impidieran reproducir texto memorizado. Es la que tenía el control técnico.
Tomás: reprodujo y publicó el fragmento, pero no hay prueba de que supiera que era copia. Su instrucción pedía un estilo, no un texto. Su responsabilidad depende de lo que sabía; sin conocimiento, es limitada.
La editorial: actuó de buena fe antes del peritaje. Desde que conoce la coincidencia, tiene el deber de corregir las ediciones siguientes.
Penalmente. El tipo objetivo del art. 72 a) podría darse (se reprodujo y se vendió texto ajeno sin autorización), pero falta el dolo: ninguno de los intervinientes humanos sabía del fragmento. Salvo que aparezca prueba de que Tomás reconoció el pasaje y lo dejó igual, no corresponde avanzar penalmente; el reclamo va por la vía civil.
Dilema 3 · Autoría: ¿Tomás es el autor de la novela?
No es el escenario A ni el C: es el B, dirección y selección (8.8). Tomás no se limitó a un prompt: durante tres meses diseñó la historia, modificó personajes, seleccionó capítulos y corrigió partes. Pero cerca del 70 % del texto viene de borradores de la IA.
Ni el tiempo ni el porcentaje resuelven la pregunta. El criterio es cualitativo: cuáles son sus aportaciones expresivas originales. Siguiendo el criterio estadounidense de 2025 (8.9), que sirve de referencia comparada: la selección, el orden y las modificaciones creativas de Tomás pueden protegerse; el texto generado tal cual por la IA, no.
Respuesta: Tomás es autor de sus aportes —la estructura, la selección, la edición, lo que escribió o reescribió—, pero no de toda la novela como si la hubiera escrito él solo.
La atribución «íntegra» y el ocultamiento. Presentarse como único autor sin informar el uso de IA no encaja claramente en el art. 72 c), que apunta a suprimir o cambiar el nombre del autor de la obra que se reproduce. Es una controversia de otra naturaleza: ética (transparencia) y contractual frente al concurso, cuyas bases exigían obras originales. Qué pasa con el premio lo deciden los organizadores según esas bases, no un juez penal.
Éticamente, aunque las bases no prohibieran la IA, ocultarla le impidió al jurado evaluar qué estaba premiando: el problema no es haber usado la herramienta, sino no haberlo dicho.
Resolución integradora (rol de juez) y posición de la fiscalía
Principio AInnovación y acceso a la culturadesarrollo tecnológico, democratizar la creación, interés social en herramientas como CREA
⇄
Principio BDerechos de la autoracontrol de su obra, reconocimiento y compensación por la explotación económica
Prevalecela protección de Valentina donde hay expresión copiada (las 180 palabras) y uso comercial sin consentimiento. En todo lo demás —ideas, temas, atmósfera, estilo— prevalecen la libertad de crear y el acceso a la cultura. Para el entrenamiento, la salida no es prohibir la tecnología sino licenciar y compensar.
Lo que resolvería el juez:
El fragmentoSuprimir o reescribir las 180 palabras en las ediciones siguientes, e indemnizar a Valentina en proporción a ese uso (no por toda la novela, que en lo demás no la infringe).
NOVA AIResponsabilidad principal: cesar el uso de las obras de Valentina o acordar una licencia con compensación, e implementar filtros contra la reproducción de texto memorizado y transparencia sobre sus datos de entrenamiento.
La editorialSin responsabilidad por lo vendido de buena fe; obligación de corregir desde que conoce el peritaje.
TomásReconocido como autor de sus aportes creativos, no de la totalidad. En adelante, la obra debe informar que fue hecha con asistencia de IA.
El premioSe remite a los organizadores del concurso, según sus propias bases.
La fiscalía concluiría que no corresponde impulsar la acción penal. Para el entrenamiento, porque estirar el art. 72 a) a la IA choca con la legalidad penal y la empresa no puede ser penalmente responsable de este delito. Para el fragmento, porque falta el dolo. Para la autoría, porque no es una conducta del art. 72 c). Todas son controversias civiles, contractuales o éticas. Distinguir lo ilícito civil de lo delictivo es exactamente lo que el caso le pide a este rol.
Lo que baja la nota
«Es plagio porque la historia se parece.»
«Tomás trabajó tres meses, entonces es el autor.»
«Usó IA, así que cometió un delito.»
Confunde idea con expresión, cantidad con calidad y lo ilícito con lo delictivo.
Lo que la sube
«La trama compartida es una idea no protegida (art. 1); las 180 palabras son expresión reproducida sin autorización.»
«Es el escenario B: su selección y edición son protegibles; el texto generado tal cual, no.»
«El tipo del art. 72 a) exige dolo y no hay prueba de que conociera el fragmento.»
Para la próxima clase
Se trabaja en grupos sobre el caso «El autor invisible» (8.13), con la misma dinámica de roles que el caso FinPay/ARGOS de la clase 7.
Leer el caso y llevar las dudas preparadas.
Quienes ya fueron tribunal no repiten ese rol.
Notas sobre las fuentes de esta clase
En la grabación, el orden y los nombres de los fallos sobre tenencia quedaron mezclados; en 8.11 están en su orden cronológico real, con una aclaración sobre cómo se los nombró en clase.
La solución modelo del caso «El autor invisible» (8.13) es una propuesta armada para el apunte, no la respuesta oficial de la cátedra.
El reclamo del diario argentino y otros casos mencionados al pasar (una demanda por libros usados en el entrenamiento) se citaron de memoria en clase y no se pudieron identificar con precisión.
Un tramo largo de la grabación corresponde al recreo y no tiene contenido de la materia: no se usó.
La fecha (17 de octubre) sale de los datos de la grabación.
Caso integrador de la cátedra · trabajado el 28 de agosto
Caso IMPULSO, resuelto consigna por consigna
Es el caso más parecido a lo que puede tomar un parcial práctico: un sistema estatal que toca todos los
conceptos. Primero el resumen de hechos; después cada consigna del Comité de Evaluación Ética con una
respuesta modelo. Intentá responder antes de abrir cada desplegable.
Los hechos en 10 líneas
Ciudad de Nueva Esperanza, 2027: 180.000 solicitudes de ayudas, presupuesto para ≈70.000.
NEXUS desarrolla IMPULSO: Índice de Vulnerabilidad y Potencial de Recuperación (0–100). Resolución baja de 127 a 11 días; coincide 91 % con trabajadores sociales.
Datos: 10 años de solicitantes, ≈130 variables (código postal, empleo formal, historial crediticio, dispositivos…). Sin nombre, sexo ni nacionalidad → «ciego». Proponen sumar consumo de empresas privadas.
Threshold: ≥70 prioridad; 50–69 revisión humana; <50 rechazo. Por crisis lo suben a 78: 18.000 pierden prioridad. «Configuración técnica.»
Fairness: accuracy 91 %, pero vulnerables con prioridad: A 89 %, B 86 %, C 67 %.
Laura Mendoza: 48 puntos, rechazo automático; NEXUS no puede explicar la combinación e invoca secreto comercial.
Revisores: 170 casos por día, confirman el 96 %, sin capacitación; apartarse exige justificar.
Drift: crecen plataformas y billeteras; accuracy 91 → 89 → 85; auditoría contractual cada 3 años.
Incidente: datos privados cedidos para evaluación comercial, no para beneficios públicos. «Sistema muy reliable.»
¿Quién responde? Todos se desligan y NEXUS no conservó la versión del modelo que dio los 48 puntos.
Las cuatro alternativas
A. Suspender y volver a evaluación humana (meses de demora).
B. Mantener sin cambios (rápido y globalmente preciso).
C. Mantener sin rechazos automáticos: la IA sólo recomienda.
D. Rediseñar integralmente (4 meses sin decisiones nuevas).
Hay 25.000 solicitudes esperando. Se puede proponer una quinta opción.
Eficiencia agregadaRapidez, uniformidad, 91 %127 → 11 días; menos arbitrariedad entre oficinas
⇄
Derechos de una minoríaIgualdad, explicación, revisión realel grupo C, trabajadores de plataformas, Laura sin explicación ni trazabilidad
Respuesta modelouna quinta opción C+D: seguir usando IMPULSO sólo para priorizar positivamente (sin rechazos automáticos) mientras se rediseña por etapas. Se conserva velocidad para los casos claros y se corta el daño donde es irreversible.
Data governance: ¿datos legítimos, representativos, adecuados? ¿Qué proxies aparecen?
Legitimidad: la base privada cedida «para evaluación comercial» viola la limitación de finalidad; y sumar datos de consumo choca con la minimización. «Mejora la precisión» no es base jurídica.
Representatividad: 10 años de datos donde ciertos barrios tuvieron menos acceso a empleo formal y sistema financiero: sesgo sistémico. «El algoritmo aprendió la realidad» es justo el problema: reproducir no es neutral.
Proxies: código postal, interrupciones laborales, tipo de escuela y empleo informal permiten inferir sexo y nacionalidad. Quitar las variables no hace «ciego» al sistema. También dudosa pertinencia: «cantidad de dispositivos», «cambios de domicilio».
Threshold: ¿quién debería decidirlo? ¿Técnica, política o ética?
Pasar de 70 a 78 no es «configuración técnica»: redistribuye errores y deja a 18.000 personas sin prioridad. Es una decisión política y ética que debe tomarse con información de impacto por grupo, justificarse públicamente y documentarse (accountability).
Errores: en asistencia a vulnerables, el falso negativo (vulnerable rechazado) es más grave que el falso positivo (ayuda a quien no la necesitaba tanto), porque su costo recae sobre quien menos puede soportarlo. Eso justifica no bajar la sensibilidad sólo por presupuesto.
La frase del ministro («ayudar adecuadamente a menos») es una elección utilitarista legítima de discutir, pero debió ser explícita, no escondida en un parámetro.
Fairness: ¿qué métrica elegir y por qué?
Lo que muestra la tabla es una violación de equal opportunity: entre personas realmente vulnerables, el grupo C recibe prioridad en 67 % contra 89 %. La accuracy global del 91 % lo ocultaba.
Elección defendible: equal opportunity. La finalidad del programa es ayudar a quien realmente lo necesita; lo que no se puede tolerar es que un vulnerable tenga menos chance por su grupo. Se acepta el aumento de falsos positivos en C como costo (asistir a alguien de más es menos grave que abandonar a un vulnerable).
Por qué no demographic parity: el Ministerio tiene razón en que igualar cuotas ignora necesidad real. Por qué no equalized odds: es la más exigente y baja la precisión a 84 %; puede ser una meta, no el punto de partida. Y cualquier elección es normativa (Chouldechova): debe explicitarse y discutirse con afectados.
Trustworthy AI: ¿IMPULSO es reliable? ¿Es trustworthy?
Reliable, sí: estable, alta disponibilidad, pocos errores informáticos, sin brechas. Trustworthy, no: falla lo legal (datos sin base para esa finalidad), lo ético (discrimina al grupo C, sin explicación ni revisión real) y hasta la robustez en sentido amplio (no resiste el cambio del mundo: drift). El director de tecnología confunde las dos cosas.
Data / model drift: ¿qué cambió y cuándo debió revalidarse?
Data drift: más trabajo por plataformas, menos empleo formal, billeteras virtuales. Concept drift: «empleo formal estable» ya no indica menor vulnerabilidad del mismo modo. Model drift: 91 → 89 → 85 %, y rechazos crecientes a jóvenes de plataformas (drift con efecto discriminatorio).
Debió revalidarse cuando se detectó la primera caída, no por calendario contractual. Propuesta: monitoreo continuo con umbrales de alerta (métricas globales y por grupo) que disparen revalidación, reentrenamiento o retiro.
Transparencia, explicabilidad, trazabilidad y auditabilidad: ¿cuáles fallaron?
Transparencia: parcial; se sabe que existe IMPULSO, pero no sus variables ni su threshold real. Explicabilidad: falló; «no alcanzó el puntaje» no es explicación (Dun & Bradstreet). Laura necesita qué datos, qué factores, qué la habría cambiado (contrafactual) y cómo impugnar. Trazabilidad: falló; no se conservó la versión del modelo. Auditabilidad: débil; auditoría cada 3 años y secreto comercial.
El secreto comercial no extingue el derecho a explicación: puede darse acceso reservado a un tribunal o auditor. Y el argumento de «engañar al algoritmo» es seguridad por oscuridad (BOSCO lo desarma). Para un sistema estatal que decide sobre derechos, el código forma parte de la motivación.
Supervisión humana: ¿existe realmente?
No: es supervisión formal, no material. 170 decisiones diarias (minutos por caso), 96 % de confirmación, sin capacitación, y apartarse cuesta justificar mientras confirmar es gratis: los incentivos producen automation bias. Es la «ficción del humano en el loop» (SCHUFA). Además, con el art. 20 de la Ley 25.326, un acto administrativo con único fundamento en el perfil informatizado sería nulo.
Medidas: tiempo y formación, información comprensible del score, autoridad real, simetría de justificación (también justificar cuando se confirma) y auditoría de la tasa de override.
Accountability: ¿quién responde por Laura?
Es un caso de manual de responsabilidad diluida: Ministerio, NEXUS, revisores, ingenieros y ministro señalan a otro. La respuesta: responsabilidad compartida pero asignada. El Estado, como deployer que decide sobre derechos, responde frente a Laura (no puede delegar la decisión y la responsabilidad). NEXUS, como provider, responde por no conservar versiones (trazabilidad) y por datos sin base. La autoridad política responde por el threshold. Los revisores, en menor grado, dentro de condiciones que no eligieron.
ALTAI: ¿qué preguntas, controles y evidencia debió exigir el gobierno?
Principio
Pregunta
Control
Evidencia
Fairness
¿Perjudica a algún grupo?
Métrica elegida + test por grupo antes y durante
Informe desagregado periódico
Datos
¿Base legal y representatividad?
Inventario, licencias, DPIA
Datasheet y DPIA firmada
Supervisión
¿Alguien puede decir que no?
Revisión con tiempo, formación y autoridad
Tasa de override y logs
Accountability
¿Se reconstruye una decisión?
Versionado, logs de score y threshold
Registro auditable por caso
Robustez
¿Sigue válido?
Monitoreo de drift con alertas
Tablero de métricas en el tiempo
Además, por AI Act sería alto riesgo (acceso a servicios esenciales, autoridad pública).
La pregunta final: ¿funciona mal el algoritmo o delegamos decisiones normativas?
Las dos cosas, pero la segunda es la de fondo. IMPULSO hace bien lo que se le pidió; el problema es que decisiones normativas (qué es vulnerabilidad, qué error tolerar, qué métrica de justicia, qué datos son legítimos) se tomaron como técnicas y quedaron escondidas en variables, thresholds y contratos. Desde el utilitarismo el 91 % y los 11 días pesan mucho; pero la crítica central al utilitarismo es exactamente esta: no puede justificar un perjuicio sistemático e injustificado a una minoría. Desde el contractualismo, ninguna persona bajo el velo de ignorancia aceptaría una regla que la rechace sin explicación ni revisión si le toca estar en el grupo C.
Para citar precedentes
Casoteca: todos los casos en una tabla
En el parcial conviene citar un precedente para mostrar que tu posición no es arbitraria. Cada fila dice qué
principios chocaron y qué se resolvió. Usá el buscador del riel para saltar a su desarrollo.
Casos del material, ordenados por tema
Caso
Tema
Principios en tensión
Qué pasó
Clase
State v. LoomisCorte Suprema Wisconsin · 2016
explicabilidadfairness
Precisión vs debido proceso y no discriminación
COMPAS puede usarse, pero nunca como determinante; con advertencias
Tres textos del mismo autor (Doctrina Jurídica). Aportan vocabulario propio que suma si lo usás bien en una respuesta.
Ética anticipatoria, Algorética e IA (2026)
Tesis: el desfase entre innovación y regulación no es un retraso temporal sino una crisis conceptual de la Teoría General del Derecho. Discriminación, automatización, responsabilidad, trabajo y democracia son manifestaciones de un mismo problema: poder algorítmico sin correlato normativo.
IA como categoría jurídica autónoma / cibersujeto
Ni mero instrumento neutral ni persona: un estatuto funcional para imputar responsabilidades, sin atribuirle conciencia.
Ética convergente
(Maliandi) Método pluralista de ponderación dinámica de valores en tensión (eficiencia, innovación, privacidad, igualdad, dignidad).
Ética anticipatoria
Pasar del análisis ex post al ex ante: prever riesgos e impactos antes de que se materialicen.
Algorética «eficaz»
Disciplina aplicada que traduce principios en prácticas verificables en todo el ciclo: evaluaciones de impacto, auditorías, trazabilidad, participación interdisciplinaria.
Tetraedro del Derecho
Cuatro dimensiones: dikelógica (valores), sociológica (hechos e impactos), normativa y témporo-espacial (el porvenir). El sesgo algorítmico es una fractura entre ellas.
Ironía de la autonomía
Cuanto más sofisticado el sistema, más supervisión y responsabilidad humana necesita. Autonomía algorítmica ≠ autonomía jurídica.
Transparencia algorítmica: el caso BOSCO (2026)
Dos textos (análisis y comentario) sobre la STS 1119/2025. Ya integrados en la clase 2.
Choque de modelos
Administración: software instrumental, se controla el acto final. Civio: el código es la regulación aplicada al ciudadano.
Cuatro fundamentos del TS
1) Acceso a la información como derecho constitucional. 2) PI funcional, atenuada en software público. 3) Seguridad: riesgo concreto, no abstracto; seguridad por escrutinio. 4) El código fuente integra la motivación del acto.
Proyección
Transparencia por diseño, licencias abiertas (EUPL), acceso parcial obligatorio (art. 16 LTAIBG), fin de las «cajas negras» en lo público.
Ocho casos jurisprudenciales (2024)
Recorre Loomis, «Hudson», Google Spain, Amazon, Bridges, NFHA v. Facebook, Carpenter y Dubois v. Zuckerberg, con temas recurrentes: transparencia, no discriminación, privacidad, supervisión humana y regulación.
Carpenter (2018)
Datos de ubicación del celular (127 días) sin orden: son «búsqueda» protegida por la Cuarta Enmienda.
NFHA v. Facebook
Anuncios de vivienda segmentables por raza, género, religión; acuerdo en 2019 con cambios y transparencia.
Dubois v. Zuckerberg
Según el artículo, se reconoció que Facebook podía responder por daños de su algoritmo de noticias al amplificar información falsa.
Cuidado con dos datosEl artículo ubica Bridges en la «Policía Metropolitana de Londres» y presenta un «EE.UU. v. Hudson (2016)» como fallo que declaró discriminatorio a COMPAS. Las clases dicen otra cosa: Bridges es South Wales Police (el problema fue no evaluar el bias) y Hudson es un caso de 2025 de presunto fraude a inversores, sin sentencia. En el parcial, usá la versión de las clases.
Herramienta transversal
Confusiones típicas
Los pares que se mezclan. En un parcial práctico, usar el término equivocado desarma todo el argumento aunque la intuición sea correcta.
Legal≠Ético
El derecho dice qué está permitido u ordenado; la ética pregunta si está bien. El chatbot que oculta desventajas y manipula emociones es legal y aun así incorrecto.
Cómo distinguirlos¿Hay sanción exigible? Derecho. ¿Hay fundamento de por qué es correcto? Ética.
Deontología≠Ética de la virtud
Deontología: hay deberes y límites que no se cruzan (no instrumentalizar). Virtud: qué haría un profesional íntegro; el foco es el carácter, no la regla.
Cómo distinguirlos«No se debe porque viola la dignidad» → deontología. «Actuar responsablemente exige…» → virtud.
Reliable≠Trustworthy
Reliable: funciona consistente. Trustworthy: funciona y es legal, ético y robusto. IMPULSO es reliable y no trustworthy.
Accuracy es global; fairness mira cómo se reparten aciertos y errores entre grupos. 92 % global puede ser 96 % hombres y 74 % mujeres.
Cómo distinguirlosSi el dato no está desagregado por grupo, no dice nada sobre fairness.
Equal opportunity≠Equalized odds
Equal opportunity iguala sólo la tasa de verdaderos positivos. Equalized odds iguala TPR y FPR.
Cómo distinguirlos¿Mira también a los que no merecían el positivo? Equalized odds.
Transparencia≠Explicabilidad
Transparencia: saber que el sistema existe, para qué, con qué datos y quién responde. Explicabilidad: por qué dio este resultado a esta persona.
Cómo distinguirlos¿Es sobre el sistema en general o sobre un caso concreto?
Interpretabilidad≠Explicabilidad
Interpretable: el modelo se entiende por dentro (árbol). Explicable: se puede dar una explicación razonable aunque sea opaco (red + SHAP/LIME).
Cómo distinguirlos¿Hace falta una herramienta externa para explicar? Explicabilidad.
Data drift≠Concept drift≠Model drift
Cambian los inputs / cambia la relación input → objetivo / cae el desempeño.
Cómo distinguirlos«La gente usa apps a toda hora» (data) · «las 3 AM ya no indican fraude» (concept) · «accuracy 91 → 76» (model).
Bias≠Discriminación
Bias es una desviación sistemática (estadística, cognitiva, institucional). Discriminación es un impacto desfavorable injustificado sobre grupos protegidos, con o sin intención.
Cómo distinguirlos¿Hay afectación injustificada de un grupo protegido? Recién ahí hay discriminación.
Discriminación directa≠indirecta
Directa: la regla usa la característica («mujer y ≥55 → rechazar», iTutorGroup). Indirecta: regla neutral con impacto desproporcionado (proxies).
Cómo distinguirlos¿La variable protegida está escrita en la regla? Directa.
Responsabilidad compartida≠diluida
Compartida: varios participan pero cada uno tiene obligaciones concretas y trazables. Diluida: cada uno dice «sólo hice mi parte» y nadie responde.
Cómo distinguirlos¿Se puede reconstruir quién tomó cada decisión?
Supervisión formal≠material
Formal: un humano firma al final. Material: comprende, tiene tiempo, autoridad y puede anular. 96 % de confirmación sin formación es formal.
Cómo distinguirlos¿Existe una persona con capacidad real de decir que no?
Soft law≠Hard law
UNESCO y OCDE: recomendaciones no vinculantes. AI Act y GDPR: reglamentos obligatorios con sanciones. Las Guidelines de la UE de 2019 eran soft law.
Cómo distinguirlos¿Su incumplimiento puede terminar en multa o nulidad?
Provider≠Deployer
Provider desarrolla y pone en el mercado bajo su nombre. Deployer lo usa bajo su autoridad para un fin concreto.
Cómo distinguirlosLa empresa de software de CV es provider; el banco que contrata con él es deployer.
Seudonimizar≠Anonimizar
Seudonimizado sigue siendo dato personal (reidentificable combinando datos). Anónimo real sale del GDPR.
Cómo distinguirlos¿Es razonablemente posible volver a identificar a la persona?
Suprimir≠Desindexar
Suprimir borra la fuente. Desindexar deja la noticia pero la desvincula del nombre en el buscador (Costeja).
Cómo distinguirlos¿La nota sigue en el sitio del diario? Entonces es desindexación.
Art. 22 GDPR≠Art. 20 Ley 25.326
Art. 22: derecho a no ser sometido a decisiones únicamente automatizadas con efectos significativos (con salvaguardas). Art. 20: decisiones judiciales o actos administrativos que valoren conductas no pueden fundarse sólo en un perfil informatizado; nulidad insanable.
Cómo distinguirlosEl 20 es argentino, de 2000, y habla de decisiones del Estado.
Exposure≠Automation
Exposición: la IA podría afectar tareas. Automatización: efectivamente sustituye una tarea. Exposure ≠ job loss.
Cómo distinguirlos¿La tarea desaparece o sólo es técnicamente alcanzable?
Costeja≠Denegri(no se contradicen)
Mismo método de ponderación; distintas circunstancias: particular con deuda superada vs figura pública con hechos de interés público.
Cómo distinguirlos¿Persona pública? ¿Interés público actual? Eso inclina la balanza.
Herramienta transversal
Línea de tiempo
Normas y casos de las seis clases en un solo eje. El color indica de qué bloque viene cada hito.
1994Hábeas data (art. 43 CN)La protección de datos tiene rango constitucional en Argentina.
1998La Vanguardia publica los anuncios de CostejaEl origen del caso que fundará el derecho al olvido.
04/10/2000Ley 25.326Con el art. 20 sobre decisiones basadas sólo en perfiles informatizados. Reglamentada en 2001 (Decreto 1558).
13/05/2014Google Spain c/ AEPD (Costeja)El buscador trata datos y es responsable; desindexación.
2016State v. Loomis · ProPublica «Machine Bias» · GDPR adoptadoCOMPAS con límites; errores asimétricos por raza; nace el Reglamento 2016/679.
2017Teorema de incompatibilidad (Chouldechova)No se pueden cumplir todas las métricas de fairness a la vez con tasas de base distintas.
25/05/2018GDPR aplicableTambién: Amazon discontinúa su algoritmo de CV; Carpenter v. US; 17/09 Civio pide el código de BOSCO; Ewert v. Canada.
2019Principios OCDE · Ethics Guidelines UE + ALTAISoft law: IA confiable, lícita, ética y robusta. El CTBG da acceso parcial en BOSCO.
2020SyRI · Bridges · Ofqual · Glovo (25/09)Transparencia estatal, bias anticipatorio, opacidad educativa y relación laboral en plataformas.
19/02/2021Uber BV v. AslamLos conductores son workers.
23/11/2021Recomendación UNESCO193 Estados; 4 valores y 10 principios.
28/06/2022Denegri c/ Google (CSJN)Desindexación rechazada: figura pública e interés público.
2023SCHUFA · Robodebt · Meta c/ Bundeskartellamt · Walters · Perú Ley 31814Score determinante = decisión automatizada; revisión humana; datos inferidos; alucinaciones. La conductora del Uber autónomo acuerda culpabilidad.
2024AI Act en vigor (01/08) · actualización OCDE · Audiencia Nacional niega BOSCO (30/04)Primer reglamento horizontal de IA.
02/02/2025Prohibiciones del AI Act + AI literacyTambién en 2025: EO 14179, Dun & Bradstreet (TJUE), In re OpenAI (13/05), GPAI (02/08), DS 115-2025-PCM Perú (sept.).
11/09/2025Tribunal Supremo: acceso al código de BOSCOSTS 1119/2025. Semanas después, la SEC demanda a Hudson (24/09).
01/01/2026Ley de Texas (Responsible AI Governance Act)En 2026 también: Decreto 269/2026 (Argentina), Colorado SB 26-189, salida de Bakalar de OpenAI (julio).
27/07 – 02/08/2026AI Omnibus · GEMA c/ SUNO (31/07) · AI Act aplicable en generalCambian plazos; memorization = reproducción; empieza el enforcement.
01/01/2027Colorado aplica su régimenRevisión humana significativa ante resultados adversos.
02/12/2027 · 02/08/2028Alto riesgo del AI ActAnexo III y luego productos regulados.
Herramienta transversal
Glosario
Definiciones cortas para repaso rápido. El enlace lleva a la clase donde se desarrolla.
AccountabilityClases 2 y 4
Que alguien responda institucionalmente por las consecuencias y que la decisión pueda reconstruirse (quién, cómo, por qué, quién responde). Ver clase 2
AI ActClase 3
Reglamento (UE) 2024/1689. Enfoque basado en riesgo: inaceptable, alto, transparencia, mínimo. Aplicable en general desde 02/08/2026. Ver clase 3
AI divideClase 5
Desigualdad en la capacidad efectiva de desarrollar, acceder y beneficiarse de la IA (skills, idioma, capacidad institucional). Ver clase 5
AI literacyClases 2 y 3
Alfabetización en IA. Principio 9 de UNESCO y obligación del art. 4 del AI Act. Ver clase 3
AlgoréticaLectura
Para Banchio, disciplina aplicada que traduce principios éticos en prácticas verificables de gobernanza algorítmica en todo el ciclo. Ver lecturas
ALTAIClase 2
Assessment List for Trustworthy AI (Comisión Europea). Principio → pregunta → control → evidencia. Ver clase 2
AnonimizaciónClase 6
Hacer irreversible e improbable la identificación. Sólo la real saca el dato del GDPR. Ver clase 6
Art. 20 Ley 25.326Clase 6
Decisiones judiciales o administrativas que valoren conductas no pueden tener como único fundamento un perfil informatizado. Nulidad insanable. Ver clase 6
Art. 22 GDPRClase 6
Derecho a no quedar sujeto a decisiones basadas únicamente en tratamiento automatizado con efectos significativos; salvaguardas de intervención humana e impugnación. Ver clase 6
AugmentationClase 5
La IA ayuda a hacer una tarea mejor o más rápido; la persona sigue siendo central. Ver clase 5
Automation biasClases 2 y 4
Tendencia a sobreconfiar en resultados automatizados incluso con señales de error. Convierte la supervisión en sello. Ver clase 4