Sumario: Los programas que dicen detectar si un texto lo escribió una máquina se equivocan casi siempre con la misma gente. Con la que no está escribiendo en su lengua.
Un estudiante colombiano de maestría me escribió en junio, desde una universidad europea, para contarme que lo habían acusado de entregar un trabajo escrito con inteligencia artificial. No lo había hecho. El programa que usa su facultad marcó el texto con un porcentaje alto y el profesor abrió el procedimiento. Lo que más le dolía, me decía, no era el riesgo académico. Era no tener idea de cómo se prueba que uno escribió algo.
Conviene entender qué mide exactamente uno de esos programas, porque no mide lo que su nombre promete. No detecta autoría. Detecta previsibilidad. Calcula, palabra por palabra, qué tan esperable era cada una después de la anterior, y sobre esa medida decide. La teoría completa cabe en una frase: la escritura humana es despareja, da saltos, elige la palabra rara, se equivoca de registro; la de una máquina es pareja. Donde hay demasiada regularidad, dice el programa, hubo un modelo.
Puesta así, la consecuencia está contenida en la premisa y no hace falta ninguna investigación para verla. Quien escribe en una lengua que no es la suya escribe con vocabulario más corto y estructuras más simples, porque son las que domina. Escribe, en el sentido técnico exacto, de manera más previsible. El programa no tiene forma de distinguir entre una máquina y una persona haciendo lo que puede en un idioma prestado.
Unos investigadores de Stanford lo comprobaron con siete de estos detectores. Frente a textos escritos por personas cuya lengua materna no era el inglés, los programas los declararon generados por máquina en torno al sesenta por ciento de los casos. En una quinta parte de esos trabajos el veredicto equivocado fue unánime, los siete de acuerdo. Con textos de hablantes nativos casi no se equivocaban.
Alguna universidad hizo la aritmética a tiempo. Vanderbilt desactivó el detector que traía su plataforma y explicó el motivo con una cuenta que cualquiera puede repetir: aun suponiendo un margen de error del uno por ciento, sobre setenta y cinco mil trabajos al año son setecientas cincuenta acusaciones falsas. Setecientos cincuenta procedimientos disciplinarios contra gente que no hizo nada, cada año, en una sola universidad, en el mejor de los escenarios imaginables.
Está además el problema probatorio, que es el que angustiaba a mi corresponsal. Una acusación de este tipo es casi imposible de refutar. ¿Cómo prueba usted que escribió algo? Con borradores, con historial de versiones, con un examen oral improvisado que a nadie le parece del todo justo. La carga cae íntegra sobre el acusado, que es exactamente el revés de cualquier sistema disciplinario que consideremos decente. Y cae por obra de un número que la institución trata como prueba y que su propio fabricante suele describir, en letra pequeña, como un indicio.
Lo que hace grave el asunto no es la tasa de error. Todo instrumento se equivoca. Es que el error no se reparte al azar. Se concentra, con una precisión que ya quisieran otras mediciones, sobre el estudiante con menos dinero, menos inglés y menos capacidad de contratar a alguien que reclame por él. Construimos una máquina para detectar máquinas y lo que detecta, sistemáticamente, es a los extranjeros.
La última de las diez reglas de Virginia Shea pedía ser indulgente con los errores de los demás. La escribió en 1994 pensando en cosas menores: el que llega nuevo a una lista de correo y pregunta algo obvio, el que manda un mensaje con erratas, el que responde a todos por descuido. Era una regla sobre la torpeza, y suponía que la torpeza es transitoria y perdonable. Treinta años después el problema es del otro lado. Lo que castigamos ahora no es el error. Es la ausencia de error, cuando aparece en alguien de quien no la esperábamos.
Hay una salida y no es técnica. Varias universidades ya la tomaron: estos programas no sirven como prueba y no deben usarse como tal. Pueden servir, con suerte, para que un profesor mire un trabajo con más atención, que es lo que hacía antes de que existieran. La presunción de inocencia no es un tecnicismo jurídico que se pueda suspender cuando aparece una herramienta nueva. Es lo que hace que valga la pena tener un procedimiento.
El estudiante que me escribió salió del asunto como se sale de estas cosas cuando uno no tiene con qué pelear. Le mostró al profesor el historial de versiones del documento, cuarenta y un guardados a lo largo de nueve días, con las frases mal armadas de las primeras horas y todo. El profesor le creyó y le pidió disculpas, que es más de lo que consiguen muchos. Volvió a escribirme después para contarme algo que a él le pareció menor. Que desde entonces guarda el historial de versiones de todo lo que escribe. No lo hace porque piense que va a necesitarlo otra vez. Lo hace porque ya sabe que le puede tocar probarlo.
Más de César Amar: La sospecha de escribir bien y El culpable de turno. Consulte todas las columnas de César Amar en Al Poniente.
Comentar