Avez-vous entendu parler d’innocentes photos, montrant des bébés prenant leur bain, qui ont disparu de Facebook ?
Si tel est le cas, cela pourrait bien être le fait d’une personne ayant un peu trop titillé le nouvel apprentissage automatique de Facebook, qui détecte et supprime de manière proactive la nudité infantile, et ce même en l’absence de caractère sexuel avéré. En effet, la plateforme poursuit sans relâche ses efforts pour lutter contre la maltraitance des enfants, via la suppression automatique d’images obscènes et la protection des enfants vis-à-vis des prédateurs, alors que ces derniers essaient de les amadouer dans le but de les abuser sexuellement.
Antigone Davis, Responsable Monde de la Sécurité chez Facebook, a déclaré dans un article sur le blog mercredi dernier :
Les standards de la communauté de la plateforme interdisent l’exploitation des enfants et, pour éviter tout risque d’abus, ne serait-ce que potentiel, nous agissons également sur le contenu non sexuel, comme des photos apparemment anodines d’enfants dans leur bain.
Au cours du seul dernier trimestre, cette approche proactive a conduit Facebook à supprimer 8,7 millions de contenus en raison de la violation des politiques concernant la nudité infantile ou l’exploitation sexuelle. Presque tous les contenus concernés, à savoir 99%, ont été supprimés automatiquement, sans avoir été signalés au préalable.
Après qu’une équipe de personnes qualifiées, avec une expérience en matière de répression, de sécurité en ligne, d’analyses et d’enquêtes forensiques, ait examiné les contenus en question, les résultats sont communiqués au National Center for Missing and Exploited Children (NCMEC). Si un contenu exploitable est identifié, Facebook supprime également les comptes à partir desquels ce dernier a été mis en ligne.
Facebook a déclaré qu’il aidait également le NCMEC à développer un nouveau logiciel qui “aiderait à hiérarchiser les signalements partagés avec les forces de l’ordre afin de traiter d’abord les cas les plus graves”.
Comme de nombreuses plateformes, telles que Twitter et Google, Facebook lutte depuis des années contre l’utilisation de ses services par ceux qui exploitent les enfants. Cela inclut le hachage des images d’abus d’enfants connus. Une fois que sa technologie a détecté un contenu non conforme (vous pouvez voir un aperçu du fonctionnement du hachage d’image ci-dessous), Facebook signale les violations au NCMEC.
Facebook exige également que les enfants aient au moins 13 ans pour utiliser ses services, bien que sa capacité à faire respecter cette règle soit plutôt médiocre. Lorsque Facebook a lancé Messenger Kids, pour les enfants dès l’âge de six ans en décembre 2017, l’entreprise a déclaré que son objectif était de répondre au nombre croissant d’enfants qui mentent au sujet de leur âge, pour utiliser la version adulte de l’application de messagerie, et aussi donner aux parents plus de contrôle sur les réseaux sociaux que leurs enfants utilisent. Des études menées par Facebook ont révélé que 81% des parents déclarent que leurs enfants commencent à utiliser les réseaux sociaux et les applications de messagerie entre 8 et 13 ans.
Cependant, même cette initiative s’est heurtée à la désapprobation des militants pour les droits des enfants : en janvier, la “Campaign for a Commercial-Free Childhood” a accusé Messenger Kids de violer le “Children’s Online Privacy Protection Act” (COPPA) en n’obtenant pas clairement le consentement parental ou en ne permettant pas aux parents d’obtenir, de la part du réseau social, la suppression des données personnelles des enfants … parmi une multitude d’autres “utilisations du smartphone qui pourrissent le cerveau des enfants”, et qui sont autant de raisons pour dire non à cette application.
Il ne s’agit pas de dénigrer les efforts continus de Facebook en matière d’intelligence artificielle, qui peuvent déjouer les tentatives d’exploitation d’enfants. Cependant, n’oublions pas que c’est dans l’intérêt financier de Facebook de faire en sorte que les enfants deviennent des utilisateurs, et ses efforts pour rendre son service accessible à un groupe d’âge plus jeune n’ont pas été approuvés de manière universelle.
Quoi qu’il en soit, Facebook affirme collaborer avec d’autres experts en matière de sécurité, des ONG et des entreprises pour “perturber et prévenir l’exploitation sexuelle et la maltraitance des enfants au moyen de technologies en ligne”, y compris son travail avec Tech Coalition, Internet Watch Foundation et les multiples autres acteurs du groupe Alliance Global WePROTECT pour mettre Fin à l’Exploitation des Enfants en Ligne.
Facebook indique que le mois prochain, il rejoindra également Microsoft et d’autres partenaires du secteur pour commencer à “créer des outils pour les petites entreprises afin d’empêcher la maltraitance des enfants en ligne“.
Vous pouvez en savoir plus à ce sujet ici, sur le site de Facebook.
Faire connaitre ces technologies à des acteurs plus petits est une bonne nouvelle. Dans la mesure où l’apprentissage automatique devient de plus en plus sophistiqué dans la lutte contre la maltraitance des enfants, il serait scandaleux qu’il ne soit accessible qu’aux entreprises disposant d’importantes ressources.
Une introduction au hachage d’image
Voici comment cette technique fonctionne : Un hash est créé en introduisant une photo dans une fonction de hachage. En sortie, vous obtenez une empreinte digitale numérique qui ressemble à un mélange de lettres et de chiffres. Vous ne pouvez pas remonter du hash vers la photo, mais la même photo, ou des copies identiques, créera toujours le même hash.
Ainsi, le hash d’une image n’est pas plus révélateur que cela :
48008908c31b9c8f8ba6bf2a4a283f29c15309b1
Depuis 2008, le NCMEC a mis à disposition une liste de valeurs de hachage pour les images d’abus sexuelles sur enfants connues, fournie par les FAI, qui permet aux entreprises de vérifier de grands volumes de fichiers, à la recherche de correspondances, sans que ces entreprises aient elles-mêmes besoin de conserver des copies des images incriminées.
Le hachage est efficace mais il n’identifie cependant que les correspondances exactes. Si une image est modifiée de quelque manière que ce soit, elle générera un hash différent, raison pour laquelle Microsoft a offert sa technologie PhotoDNA dans le cadre de cette initiative. Il est probable que Facebook utilise sa propre technologie sophistiquée de reconnaissance d’image, mais il est intéressant de voir comment PhotoDNA identifie des images similaires plutôt qu’identiques.
PhotoDNA crée une signature unique pour une image en la convertissant en noir et blanc, en la redimensionnant et en la divisant suivant une grille. Dans chaque cellule de la grille, la technologie défini un histogramme de gradients d’intensité ou d’arêtes, à partir duquel elle tire son soi-disant ADN. Des images avec un ADN similaire peuvent alors être appariées.
Étant donné que la quantité de données dans l’ADN est petite, il est possible d’analyser rapidement de grands ensembles de données, permettant ainsi aux entreprises telles que Microsoft, Google, Verizon, Twitter, Facebook et Yahoo de rechercher des aiguilles dans des meules de foin et de détecter les images illégales d’abus commis sur des enfants.
Billet inspiré de Facebook stopped 8.7m nude images of children in 3 months, sur Sophos nakedsecurity.