LinkedIn renforce la sécurité avec l’IA pour la détection de contenu

LinkedIn a récemment introduit un système avancé de détection de contenu violant les politiques, basé sur l’intelligence artificielle (IA). Ce nouveau système, selon LinkedIn, a entraîné une réduction significative de l’exposition des utilisateurs à des contenus inappropriés.

L’introduction du nouveau système de détection basé sur l’IA

Le nouveau système de LinkedIn filtre tous les contenus potentiellement violatifs à travers son système de lecture basé sur l’IA. Le processus filtre ensuite chaque exemple en fonction de sa priorité. Le système calcule la probabilité qu’un contenu donné viole les politiques de LinkedIn en utilisant un ensemble de modèles d’intelligence artificielle.

Selon LinkedIn : « Avec ce framework, les contenus qui entrent dans les codes de révision sont évalués par un ensemble de modèles d’IA pour calculer la probabilité qu’ils violent nos politiques. Les contenus avec une haute probabilité de ne pas être violatifs sont dépriorisés, économisant des ressources pour les réviseurs humains, tandis que les contenus avec une probabilité plus élevée de violer les politiques sont prioritaires par rapport aux autres afin d’être détectés et supprimés plus rapidement ».

Ce nouveau système repose sur l’automatisation pour déterminer la gravité d’un incident et garantir que les cas plus graves soient traités plus rapidement, réduisant ainsi la charge de travail des modérateurs humains de LinkedIn.

L’importance de la précision du système de détection automatique

Toutefois, une grande partie de l’efficacité de ce système dépend de la précision de ses systèmes de détection automatique et de sa capacité à déterminer si les publications sont nuisibles ou non. Pour cette raison, LinkedIn affirme utiliser de nouveaux modèles qui se mettent à jour constamment en fonction des derniers exemples.

« Ces modèles sont entraînés sur un ensemble représentatif de données étiquetées par des humains provenant de la file d’attente de révision des contenus et testés sur un autre ensemble non corrélé dans le temps. Nous utilisons une recherche aléatoire de grille pour la sélection des hyperparamètres et le modèle final est choisi en fonction de la meilleure recall à une précision extrêmement élevée. Nous utilisons cette métrique de succès car LinkedIn a un très haut niveau de qualité pour l’application des règles de confiance, donc il est important de maintenir une précision très élevée ».

LinkedIn affirme que son flux de modération mis à jour est capable de prendre des décisions automatiques pour environ 10 % de tous les contenus en file d’attente, surpassant les performances d’un réviseur humain typique.

Les bénéfices du nouveau système de détection basé sur l’IA

Grâce à ces améliorations, LinkedIn est capable de réduire la charge de travail des réviseurs humains, leur permettant de se concentrer sur les contenus qui nécessitent une révision en raison de leur gravité et de leur ambiguïté. Grâce à la priorisation dynamique des contenus dans la file de révision, ce framework est capable de réduire le temps moyen nécessaire pour détecter les contenus qui violent les politiques de près de 60 %.

Il s’agit d’une bonne utilisation de l’intelligence artificielle, même si elle pourrait influer sur les contenus qui sont finalement vus, en fonction de la mesure dans laquelle le système reste à jour et garantit la détection des publications qui enfreignent les règles. LinkedIn est confiant que ce nouveau système améliorera l’expérience des utilisateurs, mais il pourrait être intéressant de vérifier si des améliorations sont effectivement observées et si moins de publications enfreignent les règles sur l’app.