Durante años, la tecnología de hash ha permitido a las plataformas detectar automáticamente materiales conocidos de abuso sexual infantil (CSAM, por sus siglas en inglés) para evitar que los niños sufran nuevos traumas en línea. Sin embargo, la detección rápida de CSAM nuevos o desconocidos ha sido un desafío mayor para las plataformas, ya que nuevas víctimas continúan siendo vulneradas. Ahora, la inteligencia artificial puede estar lista para cambiar eso.
Hoy, una destacada organización de seguridad infantil, Thorn, en asociación con un proveedor líder de soluciones de inteligencia artificial en la nube, Hive, anunció el lanzamiento de una API que amplía el acceso a un modelo de IA diseñado para detectar CSAM desconocido. Es el uso más temprano de tecnología de IA que intenta exponer CSAM no reportado a gran escala.
Como una expansión de la herramienta de detección de CSAM de Thorn, Safer, la característica de IA utiliza «modelos de clasificación de aprendizaje automático avanzados» para «detectar nuevos CSAM o no reportados previamente», generando una «puntuación de riesgo para facilitar y acelerar las decisiones humanas».
El modelo fue entrenado en parte utilizando datos de la línea de informes cibernéticos del Centro Nacional para Niños Desaparecidos y Explotados (NCMEC), basándose en datos reales de CSAM para detectar patrones en imágenes y videos dañinos. Una vez que se detecta un posible CSAM, un revisor humano permanece en el proceso para garantizar supervisión. Potencialmente, podría usarse para investigar redes sospechosas de CSAM que se propagan en línea.
Por supuesto, también podría cometer errores, pero Kevin Guo, CEO de Hive, dijo a Ars que se realizaron pruebas exhaustivas para reducir sustancialmente los falsos positivos o negativos. Aunque no compartió estadísticas, afirmó que las plataformas no estarían interesadas en una herramienta donde «99 de cada cien cosas que la herramienta señala no son correctas».
Rebecca Portnoff, vicepresidenta de ciencia de datos de Thorn, dijo a Ars que era una «decisión obvia» asociarse con Hive en Safer. Hive proporciona modelos de moderación de contenido utilizados por cientos de comunidades en línea populares, y Guo dijo a Ars que las plataformas han pedido consistentemente herramientas para detectar CSAM desconocido, gran parte del cual actualmente prospera en puntos ciegos en línea porque la base de datos de hash nunca lo expondrá.
