Apple aprendió esta lección por las malas hace dos años, cuando propuso un plan técnico que, según afirmaba, sería capaz de identificar imágenes conocidas de explotación infantil en los dispositivos de los usuarios sin que nadie viera realmente las fotos de los usuarios.
La propuesta de Apple habría descargado en cada dispositivo una lista secreta de identificadores correspondientes a imágenes de explotación conocidas. Después, utilizaría un algoritmo para determinar si alguna foto del dispositivo era similar a las de la lista.
Había dos problemas importantes. En primer lugar, existía la posibilidad de que el programa etiquetara como ilegales de manera incorrecta fotos inocentes. Como todos los algoritmos de comparación, el sistema de Apple hace conjeturas basadas en probabilidades estadísticas, pero esas conjeturas pueden ser erróneas. En un estudio de documentos técnicos sobre sistemas de monitoreo como el propuesto por Apple, dos investigadores de Princeton, Sarah Scheffler y Jonathan Mayer, descubrieron que las tasas de falsos positivos oscilaban entre 135 y 4,5 millones de falsos positivos al día, suponiendo que se enviaran 7500 millones de mensajes al día en todo el mundo. Eso es un montón de mensajes inocentes que habrían sido reenviados a la policía para su investigación.
El segundo problema, y el más grande, es que el escrutinio de un tipo de contenido abre las puertas a la revisión de otros tipos de contenido. Si Apple pusiera en marcha un sistema de escaneado de dispositivos, India podría exigir el escaneado en busca de blasfemia ilegal, China podría exigir el escudriñamiento en busca de contenido anticomunista ilegal y los estados de Estados Unidos que han penalizado el aborto o la atención sanitaria de reafirmación de género podrían otear para identificar a las personas que buscan esos servicios. En otras palabras, sería una batalla campal para todos los tipos de vigilancia existentes.
Hay una larga historia de tecnología de vigilancia que se utiliza en un principio para un propósito benéfico o bien intencionado y se transforma en un uso más siniestro. En 2018, Taylor Swift fue pionera en el uso del reconocimiento facial en conciertos para escanear en busca de acosadores conocidos pero, a los pocos años, el Madison Square Garden estaba utilizando la tecnología para bloquear la entrada al estadio a abogados con los que tenía alguna disputa.
Miles de expertos en privacidad y seguridad protestaron contra el plan de Apple de escanear en busca de imágenes de abusos, y firmaron una carta abierta en la que aseguraban que tenía el “potencial de eludir cualquier cifrado de extremo a extremo que, de otro modo, salvaguardaría la privacidad del usuario”. Bajo presión, Apple dio marcha atrás.
Las nuevas propuestas legislativas —que harían a las empresas responsables de todo lo que haya en sus redes aunque no puedan verlo— conducirán inevitablemente a esfuerzos de aplicarlas que no son muy diferentes del plan condenado al fracaso de Apple. Y es posible que estos nuevos esfuerzos ni siquiera sean constitucionales. En Estados Unidos, un grupo de académicos escribió al Senado el mes pasado para protestar porque el escaneado forzoso podría violar la prohibición de registros e incautaciones irrazonables de la Cuarta Enmienda, “que impide al gobierno hacer que un actor privado lleve a cabo un registro que él mismo no podría hacer legalmente”.