Qui sont les opposants politiques de demain et comment les arrêter ? Geedge Network, une société chinoise très controversée, serait en train de répondre à cette question en dopant le célèbre système de censure numérique chinois à l’IA, ont découvert les chercheurs de l’université Vanderbilt dans le Tennessee.
Le programme, décrit dans les plus de 100 000 documents internes à Geedge Network qui ont fuité depuis septembre 2025, ressemble à une dystopie inspirée de la série "Black Mirror", dont les épisodes mettent en garde contre les dangers numériques, et du scénario du film de 2002 "Minority Report", qui imagine une police prédictive capable d'empêcher des crimes avant même qu'ils ne soient commis.
(...)
"Le projet de Geedge Network permettrait à un régime autoritaire d’aller au-delà de la simple surveillance des dissidents pour, potentiellement, prédire qui pourrait devenir un opposant à l’avenir", résume le New York Times, qui a eu accès aux mêmes documents internes, dans un article publié lundi 1er juin.
Le fait que Geedge Network soit aux manettes de ce programme a de quoi inquiéter les défenseurs des droits humains. Cette entreprise privée chinoise a été fondée par Fang Binxing, un informaticien surnommé le "père du Great Firewall of China [l’infrastructure de censure numérique chinoise, NDLR]".
(...)
Les grands modèles de langage (LLM) - communément utilisés pour discuter avec des chatbots comme ChatGPT ou DeepSeek en Chine - doivent permettre de mettre en lien les habitudes des internautes avec leurs activités en ligne et dans le monde réel. Autrement dit, les livres achetés, les films regardés, et les forums de discussion visités seraient analysés à la lumière des lieux visités et des propos tenus sur les réseaux sociaux pour laisser l’IA "classifier les individus" selon le risque qu’ils posent.
(...)
L’IA et les grands modèles de langage sont censés permettre d’y arriver à une échelle sans précédent. "La puissance de ces outils réside dans la promesse de détecter des modèles récurrents dans des gigantesques bases de données que l’œil humain ne pourrait jamais percevoir. C’est le rêve pour un État autoritaire qui cherche à automatiser l’analyse des données à l’échelle d’un milliard de personnes", explique Tim Stevens, spécialiste des enjeux de cybersécurité dans les relations internationales au King’s College de Londres qui a travaillé sur la censure chinoise.
Dans ce contexte, le projet décrit dans les documents de Geedge Network "représente clairement une priorité pour l’État chinois, et je serais étonné qu’il n’y ait pas d’autres entreprises qui travaillent sur le même type de système. La seule question ouverte en réalité est de savoir à quel point ça marche déjà ou pas", estime Mareike Ohlberg.
(...)
Les LLM à la ChatGPT ou DeepSeek continuent toujours de se tromper de temps à autre et à produire des "hallucinations", c’est-à-dire arriver à des conclusions sans lien avec la réalité. Les autorités chinoises peuvent-elles se permettre de placer entre les mains de ces outils imparfaits le pouvoir de décider qui doit être suspecté de devenir un opposant dans le futur ? Le régime chinois "considère ce genre d’erreurs comme des ‘dommages collatéraux’ acceptables dans sa quête pour identifier des opposants politiques. Et tant que ces faux positifs ne provoquent pas de colère populaire massive, le régime ne s’en souciera pas", assure Valentin Weber.
Mais ce n’est pas le seul problème. "Au-delà des erreurs, personne ne pourra vérifier si les données fournies aux algorithmes pour identifier les potentiels fauteurs de troubles ne sont pas manipulées pour viser des rivaux politiques", prévient Marc Lanteigne.
(...)
L’interdiction des exportations de puces graphiques vers la Chine ne va pas empêcher ad vitam aeternam la Chine de développer ce projet, car les entreprises chinoises travaillent à des alternatives nationales, reconnaissent les experts interrogés. Mais "cela peut ralentir leur effort, et c’est en soi un enjeu de défense des droits humains", conclut Valentin Weber.
Source
C'est LA boîte de Pandore au sens propre du terme
