Gobierno de inteligencia artificial: qué debe controlar una empresa antes de poner IA en producción
Aprobar un modelo no basta cuando el sistema puede leer información confidencial, recomendar una decisión, invocar una herramienta o iniciar una acción. El objeto de gobierno ya no es solamente el modelo: es la capacidad completa que la organización pone en operación.
Gobernar el caso de uso, no la etiqueta IA
IA predictiva estima resultados; la generativa produce contenido; un copiloto asiste a una persona; la automatización de decisiones aplica una regla o inferencia; y un agente puede planear pasos, usar herramientas y actuar con distintos grados de autonomía. Estas categorías se superponen, pero su capacidad y exposición no son iguales. Un asistente que redacta internamente no presenta el mismo perfil que un sistema que modifica un expediente o autoriza una transacción.
El gobierno debe responder: ¿qué está permitido hacer a la IA, bajo qué condiciones, con la autoridad de quién y cómo puede la organización demostrar qué ocurrió? La respuesta requiere inventario, clasificación y límites técnicos, no solo una política de uso aceptable.
Contexto regulatorio: separar jurisdicciones y marcos
En México, las obligaciones existentes sobre datos personales, consumidores, discriminación, propiedad intelectual, sector financiero o decisiones reguladas pueden aplicar al uso de IA según el caso. No debe presentarse como si existiera una sola ley mexicana de IA equivalente al régimen europeo. La Ley Federal de Protección de Datos Personales vigente desde 2025 mantiene obligaciones para particulares sobre tratamiento legítimo, controlado e informado y medidas de seguridad.
El AI RMF 1.0 de NIST es voluntario y organiza la gestión en Govern, Map, Measure y Manage; su perfil de IA generativa amplía riesgos propios de estos sistemas. ISO/IEC 42001:2023 especifica requisitos de un sistema de gestión de IA; su certificación no es una obligación mexicana general. Los Principios de IA de la OCDE son recomendaciones intergubernamentales. El Reglamento (UE) 2024/1689 es derecho europeo con alcance y calendario propios; puede importar por operaciones o mercado, no por convertirse automáticamente en ley mexicana.
Una arquitectura de gobierno proporcional
Primera capa, mandato: apetito de riesgo, principios, roles y autoridad. Segunda, portafolio: inventario de casos, modelos, proveedores, datos y dependencias. Tercera, clasificación: impacto en personas, materialidad financiera, autonomía, reversibilidad, exposición regulatoria y capacidad de acceso. Cuarta, controles del ciclo de vida: diseño, adquisición, evaluación, aprobación, despliegue, monitoreo, cambio y retiro. Quinta, ejecución segura: identidades, herramientas, permisos, límites, aprobación humana y suspensión. Sexta, assurance: registros, pruebas independientes, incidentes, excepciones y evidencia.
La clasificación debe gobernar la intensidad. Cuanto mayor sea la consecuencia, menor reversibilidad o mayor autonomía, más exigentes deben ser evaluación, segregación, monitoreo y aprobación. El inventario debe incluir usos incorporados por proveedores y shadow AI, no solo proyectos del área de datos.
Controles antes de producción
Defina dueño de negocio, dueño técnico y responsable de riesgo. Documente propósito, usuarios afectados, decisiones, datos autorizados y resultado esperado. Evalúe privacidad, seguridad, sesgo relevante, confiabilidad, explicabilidad necesaria y dependencia del proveedor. Establezca pruebas contra criterios de aceptación y escenarios adversos. Limite identidades, herramientas, permisos y gasto. Diseñe supervisión humana con tiempo, información y autoridad reales. Prepare monitoreo, incidentes, cambios, rollback y suspensión.
La alucinación no se controla pidiendo al modelo que sea preciso. Se controla diseñando el uso: fuentes autorizadas, recuperación de información, validación, abstención cuando la confianza sea insuficiente y revisión humana donde el impacto lo exija. La inyección de instrucciones y fuga de datos requieren separar contenido no confiable de instrucciones, restringir herramientas, reducir privilegios, filtrar datos y monitorear comportamiento.
Agentes: una nueva superficie de control
Un agente combina razonamiento probabilístico con acceso a herramientas deterministas. El riesgo puede surgir de la secuencia: leer un correo manipulado, extraer una instrucción, consultar un sistema y ejecutar una acción. El control debe operar sobre cada frontera de autorización. Conviene usar permisos mínimos, listas de acciones permitidas, umbrales, confirmación humana para acciones materiales, límites de tiempo y costo, entornos aislados, registros protegidos y mecanismos de suspensión.
Un kill switch es útil solo si la organización sabe quién puede activarlo, qué detiene, cómo preserva evidencia y cómo continúa la operación. El objetivo no es prometer autonomía segura por diseño, sino acotar consecuencias y mantener responsabilidad humana institucional.
Monitoreo y evidencia
Las métricas deben incluir desempeño técnico y resultado de negocio, pero también desviaciones, abstenciones, intervenciones humanas, incidentes, cambios de proveedor y uso fuera de propósito. Los registros deben permitir reconstruir versión, contexto, entradas relevantes, herramientas, autorizaciones, salidas, acciones y resultado, respetando privacidad y seguridad. Registrar todo sin propósito puede crear nuevos riesgos; la retención debe diseñarse según obligación y necesidad.
Preguntas de aprobación ejecutiva
¿Qué decisión o acción influye el sistema? ¿Quién asume el resultado? ¿Qué datos y herramientas puede usar? ¿Qué no puede hacer? ¿Qué condiciones exigen aprobación humana? ¿Cómo medimos precisión y daño relevante? ¿Qué ocurre si el proveedor cambia el modelo? ¿Cómo detectamos uso no autorizado? ¿Qué evidencia reconstruye un incidente? ¿Quién puede suspenderlo? ¿Existe una operación alternativa? ¿Qué obligación legal o contractual aplica al caso concreto?
Conclusión
La unidad de gobierno es el sistema sociotécnico: modelo, datos, personas, procesos, proveedor, herramientas y autoridad. Poner IA en producción es conceder una capacidad. La organización debe diseñar sus límites, observar su uso y conservar la facultad de intervenir.