Academic Jobs - Home of Higher Ed Logo

Las implementaciones administrativas de IA en universidades enfrentan ahora un examen de privacidad de datos

Publicar una historia
36Opinión
3D rendered ai text on dark digital background
Photo by Steve A Johnson on Unsplash

La Universidad Estatal de Arizona firmó un acuerdo empresarial con OpenAI en enero de 2024, convirtiéndose en la primera universidad en asociarse con la compañía para el acceso a todo el campus a ChatGPT. El acuerdo fue anunciado como un juego de productividad: ayuda en el diseño del curso y apoyo a la escritura.

Esa pregunta ahora define las implementaciones administrativas de la IA de la universidad. las oficinas de admisión, la ayuda financiera, el registrador, los recursos humanos y la IT del campus están probando a los asistentes de IA para el trabajo rutinario. Cada piloto trae un nuevo proveedor, un nuevo diagrama de flujo de datos, un nuevo conjunto de permisos de usuario y una nueva decisión sobre si los registros de los estudiantes o empleados pueden dejar el control institucional.

La Universidad de Michigan tomó una ruta diferente en 2023, construyendo sus propias herramientas de IA generadoras en Microsoft Azure para que los datos permanezcan dentro del inquilino de la universidad.

El contrato del vendedor es la política de privacidad que importa

La mayoría de los administradores piensan en la privacidad como un documento de política. Las decisiones vinculantes ocurren antes, en la contratación. Los términos de servicio de un proveedor a menudo dicen que puede usar entradas para mejorar modelos, conservar datos durante hasta dos años, depender de subprocesadores en otros países, y procesar boletos de soporte a través de herramientas de terceros. Una oficina de privacidad de la universidad puede golpear esas cláusulas, pero sólo si alguien envía el contrato para revisión antes de que comience el piloto.

Un gerente de la oficina del registrador en una gran universidad europea (llamá a ella la señora V) me dijo que el nuevo chatbot de IA de su equipo para preguntas de inscripción ya estaba en vivo cuando el oficial de protección de datos encontró que el vendedor tenía subprocesadores en cuatro países.

La excepción es la universidad con un complemento de IA estándar que fija la retención de datos, prohíbe la formación en los datos del cliente, requiere notificación de violación dentro de las 72 horas y lista a todos los subprocesadores.

FERPA y GDPR son más antiguos que las herramientas, no más débiles

En los Estados Unidos, la Ley de Derechos Educativos y Privacidad de la Familia (FERPA) protege los registros educativos y generalmente requiere el consentimiento escrito antes de que los registros de los estudiantes se compartan con un tercero, a menos que se aplique una excepción designada por la escuela. Los proveedores que reciben datos bajo la excepción oficial de la escuela deben estar bajo el control directo de la universidad.

En la Unión Europea y el Reino Unido, el Reglamento General de Protección de Datos (RGPD) requiere una base legal para el procesamiento de datos personales, una Evaluación de Impacto de Protección de Datos (DPIA) para el procesamiento de alto riesgo, cláusulas contractuales que vinculan a los procesadores y un registro de las actividades de procesamiento. Una violación grave del RGPD puede costar a una institución hasta 20 millones de euros o 4 por ciento del volumen de negocios global anual, lo que sea mayor.

El Departamento de Educación de los Estados UnidosOficina de Política de Privacidad de Estudiantesen la enseñanza y en la enseñanza.Páginas de protección de datos de la Comisión EuropeaReglas de transferencia detalladas que se aplican a muchos servicios de IA en la nube.

¿Cuáles son los campamentos que realmente se despliegan

La IA administrativa cubre más terreno que la interfaz pública de ChatGPT. Las oficinas de ayuda financiera utilizan modelos de lectura de documentos para marcar archivos incompletos. los departamentos de recursos humanos prueban herramientas de clasificación de resumen. El registrar aplica el procesamiento de lenguaje natural a las preguntas de transcripción. los departamentos de seguridad del campus reconocen patrones piloto en los registros de acceso de la construcción.

La apertura deChatGPT EDUEl producto, lanzado en 2024, se envía directamente a las universidades con la afirmación de que las conversaciones y los datos no se utilizan para entrenar modelos.

En el estado de Arizona, el despliegue comenzó con usos orientados hacia el curso y luego se trasladó a tareas administrativas como la elaboración de propuestas de subvenciones.Otros campus comenzaron con boletos de ayuda de TI, donde el riesgo es menor porque los datos son principalmente información sobre dispositivos y servicios.Los puestos de mayor riesgo están en admisión y ayuda financiera, donde los pequeños errores tienen consecuencias legales.

Las políticas de integridad académica ya están fragmentadas en el lado instructivo, como se detalla en esta publicación.Su mirada a las reglas de integridad académica de AILas implementaciones administrativas están repitiendo el mismo patrón, pero con los registros financieros y de inmigración de los estudiantes en la ventana prompt, el coste de un error es mayor.

Cinco preguntas que deben detener a un piloto

  • ¿Usará el vendedor los datos universitarios para entrenar o mejorar sus modelos, ahora o más tarde?
  • ¿Dónde se almacenan los datos durante el procesamiento y en qué países operan los subprocesadores?
  • ¿Cuál es el período de retención para los documentos cargados y los registros de conversación?
  • ¿Qué personal está autorizado a ver prompts, salidas y boletos de soporte que contienen datos de estudiantes?
  • ¿Qué sucede con los datos universitarios si el vendedor se adquiere o rescinde el contrato?

Cualquier respuesta que sea ausente, vaga o contradictoria por la página de privacidad del vendedor es una razón para detener la revisión de la contratación hasta que la oficina legal la resuelva.

Por qué un rodaje parado no es un fracaso

La pausa de la señora V no es rara. las oficinas de contratación han comenzado a insertar addenda específicas de IA que requieren que los proveedores enumeran cada subprocesador, para mantener los datos universitarios fuera de la formación de modelos, para devolver o borrar registros al final del contrato, y para notificar a la universidad dentro de un número de horas fijado de una violación.

Aquellas addenda a veces se llaman addenda de protección de datos o exhibiciones de procesamiento de IA. Una universidad que tiene una es más fácil de auditar, porque las obligaciones son explícitas.Una universidad sin una descubrirá a mitad de camino que la página de privacidad del vendedor dijo una cosa y el formulario de pedido dijo otra.

Los equipos jurídicos de varias instituciones ahora insisten en un diagrama de flujo de datos documentado antes de cualquier piloto. Ese diagrama responde a cuatro preguntas: qué datos entran en la herramienta, dónde se almacenan los datos, quién puede verlo y cuánto tiempo se conserva.

En Canadá, el análisis se lleva a cabo a través de la legislación provincial, incluidas las Leyes de Libertad de Información y Protección de Privacidad de Columbia Británica y Ontario, que imponen controles similares a los organismos públicos que almacenan información personal fuera del país.

En julio de 2024, la Oficina de Tecnología Educativa del Departamento de Educación de Estados Unidos emitió una guía de desarrolladores que pidió prácticas de confianza y seguridad en las herramientas de IA utilizadas en la educación.

¿Qué significa esto para tu laboratorio o oficina?

La corrección no es un documento de política. Es una secuencia de pequeñas comprobaciones antes y después de la adopción. Si su departamento está pilotando una herramienta de IA, lea los términos del vendedor para cuatro cláusulas: uso de entradas para la formación, período de retención, lista de subprocesadores y plazo de notificación de violación. Pregunte a su oficina de privacidad institucional si se ha completado una revisión. Si el vendedor no firmará el apéndice estándar de la universidad, eso es un hallazgo, no un obstáculo a ignorar.

Un gerente de laboratorio con el que trabajé (llamándolo Dr. P) mantuvo una hoja de una página para cada nuevo servicio en línea: categorías de datos, nivel de acceso, horario de eliminación y propietario de retención.Cuando su universidad desplegó un asistente de toma de notas de IA para reuniones de investigación, llenó la hoja en diez minutos y se negó a subir registros de estudiantes porque la cláusula de retención dijo indefinida.

El mismo hábito funciona en un grupo de investigación.Una carpeta compartida, un inventario de datos, una nota de retención y una persona responsable de verificar al siguiente proveedor.Toma la pregunta abstracta de si una herramienta de IA es segura y la convierte en algo inspectable.

El siguiente paso concreto

Elija uno de los procesos administrativos que controla, como la clasificación de correos electrónicos de admisión o el enrutamiento de preguntas de transcripción. Escriba las categorías de datos involucradas y si se aplica FERPA, GDPR o una ley de privacidad provincial como la FIPPA de British Columbia. Luego, pídale al vendedor una pregunta por escrito: ¿utilizará nuestros datos para entrenar o mejorar sus modelos? Mantenga la respuesta en el fichero de contratación. Si la respuesta es sí, o el vendedor no responderá, el siguiente paso es una cláusula de contrato, no un discurso de política.

Retrato de Dr. Nathan Harlow
Sobre el autor

Dr. Nathan HarlowVer autor

Academic Jobs In House Author

Discusión

por lo menos:

Sé el primero en comentar este artículo!

tú

Se le pedirá que se conecte antes de publicar su comentario.

Nuevo0 comments

¡Únete a la conversación!

¡Añade sus comentarios ahora!

Tenga su palabra

Nivel de compromiso

Browse por Facultad

Browse por tema

Frequently Asked Questions

🏛¿Qué se considera una implementación administrativa de IA en una universidad?

Un despliegue administrativo de IA significa que una universidad despliega una herramienta de aprendizaje automático o de IA generativa en una oficina operativa no académica, como admisiones, ayuda financiera, el registrador, recursos humanos, seguridad del campus o soporte de TI. Esto puede incluir chatbots, clasificación de documentos, análisis de currículums, análisis de transcripciones y herramientas de retención predictiva. Las apuestas de privacidad aumentan porque estos sistemas suelen manejar registros sensibles de estudiantes y empleados.

⚖️¿Qué leyes de privacidad se aplican a las herramientas de IA universitarias?

Las principales normas son FERPA en Estados Unidos y GDPR en la Unión Europea y Reino Unido. Las instituciones canadienses también deben considerar las leyes provinciales, como las Leyes de Libertad de Información y Protección de la Privacidad de Columbia Británica y Ontario. Un proveedor alojado solo en un país aún puede activar la revisión de transferencia transfronteriza en otros lugares.

📚¿Permite FERPA a las universidades compartir los expedientes de los estudiantes con proveedores de inteligencia artificial?

FERPA generalmente requiere el consentimiento escrito antes de que una universidad comparta registros educativos con un tercero. Un proveedor puede recibir registros bajo la excepción de funcionario escolar si el proveedor realiza un servicio que la universidad realizaría de otra manera, está bajo el control directo de la universidad, utiliza los registros solo para fines autorizados y está incluido en el aviso anual. El requisito de control es un punto de fallo común en los contratos de inteligencia artificial.

📝¿Qué es una Evaluación de Impacto en la Protección de Datos y cuándo es necesaria?

Una Evaluación de Impacto en la Protección de Datos (DPIA) es un análisis escrito de cómo una actividad de procesamiento afecta la privacidad de las personas, qué riesgos crea y cómo se reducirán esos riesgos. Según el RGPD, una DPIA es necesaria cuando el procesamiento probablemente genere un alto riesgo para las personas, lo que puede incluir el procesamiento a gran escala de datos de estudiantes sensibles. Muchas instituciones estadounidenses utilizan el formato de DPIA aunque FERPA no utilice el término.

🔍¿Qué debe preguntar una oficina de privacidad antes de que un proveedor de inteligencia artificial firme un contrato?

Pida una lista escrita de subprocesadores, una cláusula que establezca que los datos de la universidad no se utilizarán para el entrenamiento de modelos, reglas de retención y eliminación, y plazos de notificación de violaciones. Si falta alguna respuesta, pause la revisión del contrato. Las universidades que continúen sin respuestas escritas están aceptando los valores predeterminados del proveedor.

⏸️¿Por qué algunas universidades están deteniendo la implementación de la IA después de firmar acuerdos con proveedores?

Algunos lanzamientos se pausan después de que una página de privacidad de un proveedor entre en conflicto con su formulario de pedido, o después de que un responsable de protección de datos encuentre subprocessadores no divulgados. Un lanzamiento pausado suele ser un signo de que la revisión del contrato está funcionando. La pausa es más barata que una respuesta a una violación.

🧠¿Cómo afectan las cláusulas de formación de inteligencia artificial de los proveedores a los datos de la universidad?

Si un proveedor puede utilizar entradas para la formación de modelos, los datos de estudiantes y personal pueden influir en las salidas futuras, persistir en los parámetros del modelo, reaparecer fuera del control de la universidad y ser más difíciles de eliminar. Las universidades deben exigir una cláusula explícita de no formación en el contrato.

🎓¿Hay ejemplos conocidos de universidades que utilicen inteligencia artificial empresarial en administración?

La Universidad Estatal de Arizona anunció un acuerdo de ChatGPT empresarial en enero de 2024. La Universidad de Míchigan creó herramientas de inteligencia artificial generativa internas en Azure en 2023. Ambos enfoques aún requieren revisiones de contratos y flujos de datos para registros administrativos.

💸¿Qué riesgos crean las herramientas de inteligencia artificial en las admisiones y la ayuda financiera?

La selección, puntuación y señalización automatizadas en las admisiones o la ayuda financiera pueden producir falsos positivos que afectan la elegibilidad de la ayuda o la matrícula. Los errores son difíciles de corregir si el proveedor mantiene los registros de forma inconsistente. Estas oficinas necesitan un estándar de revisión más alto que un piloto de ayuda de TI.

🔐¿Cómo pueden los profesores e investigadores proteger sus datos cuando aparece una nueva herramienta de inteligencia artificial?

Verifique si la oficina de privacidad de su institución ha revisado la herramienta antes de introducir datos. Mantenga un inventario local de categorías de datos, niveles de acceso, horarios de eliminación y el miembro del personal responsable de las decisiones de retención. Se niegue a cargar registros de estudiantes cuando la cláusula de retención indique indefinido.

🇪🇺¿Se aplica el GDPR a una universidad estadounidense que utiliza un proveedor de inteligencia artificial en Europa?

Sí. El GDPR puede aplicarse a una universidad estadounidense que ofrece servicios a personas en la Unión Europea o monitorea su comportamiento. El procesamiento de datos de estudiantes o solicitantes de la UE a través de un proveedor a menudo activa tanto las consideraciones del GDPR como del FERPA.

🚦¿Cuál es el primer paso que debe tomar una universidad antes de un piloto de IA?

Escriba un breve flujo de datos para el proceso, identifique la ley de privacidad aplicable, haga que el proveedor responda por escrito si utiliza datos de la universidad para capacitación y luego envíe el contrato a revisión legal. Coloque esas respuestas en el archivo de compras antes de que se cree ninguna cuenta de usuario.