Certaines organisations et certains chercheurs partagent les pondérations des réseaux neuronaux, notamment via le poids ouvert mouvement du modèle. Parmi celles-ci figurent la série Llama de Meta, les modèles de Mistral et les versions ouvertes de DeepSeek, qui prétendent démocratiser l'accès à une IA puissante. Mais cela soulève non seulement des problèmes de sécurité, mais aussi une menace potentielle existentielle.
Pour rappel, j'ai écrit quelques articles sur les LLM et l'IA dans le cadre de mon propre apprentissage dans ce domaine très dynamique et en constante évolution. Vous pouvez les consulter. ici, ici, et ici.
Une fois que vous aurez compris ce que sont les réseaux neuronaux et comment ils sont entraînés sur les données, vous comprendrez également ce que sont les pondérations (et les biais) et la rétropropagation. Pour être honnête, il s'agit simplement d'algèbre linéaire et de multiplication matrice-vecteur pour obtenir des nombres. Plus précisément, une pondération est un nombre (généralement un valeur à virgule flottante – une manière d’écrire des nombres avec des points décimaux pour plus de précision) qui représente la force ou l’importance de la connexion entre deux neurones ou nœuds à travers différentes couches du réseau neuronal.
Je recommande vivement de regarder les vidéos de 3Blue1Brown pour mieux comprendre, et c'est important que vous le fassiez. Les vidéos pédagogiques de 3Blue1Brown sont incroyablement bonnes.
Et dirigez-vous vers celui-ci.
Les pondérations sont les valeurs des paramètres déterminées à partir des données d'un réseau neuronal pour effectuer des prédictions ou prendre des décisions afin de parvenir à une solution. Chaque pondération est une instruction indiquant au réseau l'importance de certaines informations, comme l'attention à accorder à une couleur ou à une forme spécifique sur une image. Ces pondérations sont des nombres qui sont affinés lors de l'apprentissage grâce à ces décimales, aidant le réseau à identifier des modèles. Par exemple, reconnaître un chien sur une photo ou traduire une phrase. Elles sont essentielles au processus de « réflexion » d'un réseau neuronal.
On peut comparer les pondérations d'un réseau neuronal aux chemins de moindre résistance qui guident le réseau vers la meilleure solution. Imaginez l'eau qui dévale une colline et trouve naturellement le chemin le plus facile pour atteindre le bas. Dans un réseau neuronal, les pondérations sont ajustées lors de l'entraînement sur des ensembles de données afin de créer les chemins les plus faciles pour la circulation de l'information, aidant ainsi le réseau à résoudre rapidement et précisément des problèmes, comme la reconnaissance de modèles ou la prédiction, en mettant l'accent sur les connexions les plus importantes et en minimisant les erreurs.
Si vous êtes musicien électronique, imaginez les poids comme les boutons de votre synthétiseur analogique qui vous permettent de régler la fréquence ou le son souhaité pour reproduire un son, voire en créer un nouveau. Si vous êtes ingénieur du son, vous pouvez aussi comparer cela au réglage des boutons de votre table de mixage pour équilibrer différents instruments.
Les pondérations sont en effet des paramètres dynamiques, ce qui signifie qu'elles sont très variables selon qu'un réseau neuronal tend vers une prédiction ou une solution. Chacune est également associée à son propre biais. Le rôle de ce biais est de décaler la sortie, permettant au modèle de mieux ajuster les données en ajoutant un facteur. compenser qui ajuste la limite de décision ou la reconnaissance de modèle, qui est indépendante de la mise à l'échelle d'entrée déterminée par les poids.
Imaginez : vous essayez de recréer le son d’une guitare sur votre synthétiseur. Les pondérations contrôlent la quantité de pincement des cordes ou de résonance du corps que vous percevez. Si le son est un peu plat, par exemple, la polarisation consiste à ajouter une légère amplification ou un léger décalage – par exemple, une nuance chaude – pour le faire sonner plus comme une vraie guitare. Cela permet au réseau d’affiner son « oreille » pour trouver le motif idéal sans modifier les commandes principales. En fait, cela permet simplement au modèle de mieux harmoniser les données avec la réalité.
À mesure que le réseau est exposé aux données, il ajuste les pondérations par un processus appelé rétropropagation, les ajustant pour minimiser les erreurs et améliorer les prédictions. Imaginez ces chemins de moindre résistance remodelés à chaque exemple d'entraînement, comme une rivière qui creuse de meilleurs canaux au fil du temps pour s'écouler plus efficacement. Une fois l'entraînement terminé, les pondérations sont généralement fixes, mais pendant l'entraînement, elles sont constamment mises à jour afin de trouver la configuration optimale pour résoudre le problème.
Voici ce qui fait réfléchir mon cerveau humain. Pour la reconnaissance, les pondérations définissent les chemins de décision, et non les images produites. Ainsi, les pondérations fixes restent fixes une fois déterminées. Dans le cas des modèles LLM, les pondérations (y compris les biais) déterminent la capacité du modèle à générer un texte cohérent. Mais dans le cas des modèles de diffusion ou des réseaux antagonistes génératifs (GAN), les pondérations servent à créer ou à affiner les images. Hypothétiquement, ces valeurs de pondération fixes et ces biais ne doivent pas nécessairement rester fixes.
Par exemple, les pondérations (et les biais) du réseau neuronal pourraient théoriquement être continuellement réajustées pour générer des images de plus en plus précises à partir de distributions de pixels apprises, comme ce serait le cas pour obtenir une image plus nette d'un chien. Cependant, les pondérations ne sont pas ajustées indéfiniment. en pratique, ils sont optimisés pendant l'entraînement pour équilibrer qualité et généralisation, et des ajustements supplémentaires pourraient dégrader le résultat ou introduire des artefacts. Des artefacts. Hmm. Et si, avec le temps, le GAN ne savait plus ce qu'est un chien ? Perdre cette connaissance signifierait que les pondérations précédemment calculées ne coderaient plus les bonnes tendances. Cela pourrait se produire si les données sur les chiens étaient perdues. Serait-il possible de faire perdre des données sur les chiens ? Serait-il possible de faire perdre des données véridiques ?
Revenons au concept de partage des pondérations des réseaux neuronaux et supposons qu'il s'agisse de pondérations définissant des chemins de précision sous forme de valeurs numériques, comme c'est le cas dans la plupart des modèles. Partager ces pondérations pourrait être dangereux, car cela exposerait naturellement les paramètres internes du modèle, qui pourraient être exploités, et pas seulement par des humains. Toute personne disposant des compétences nécessaires pourrait procéder à une rétro-ingénierie du modèle, extraire des données d'entraînement sensibles ou manipuler son comportement. Les attaquants pourraient utiliser des techniques telles que inversion de modèle or inférence d'appartenance pour découvrir des informations privées intégrées dans les poids, telles que les données personnelles utilisées pendant l'entraînement, violant potentiellement les réglementations sur la confidentialité comme Règlement Général de Protection des Données (RGPD). Oh là là.
Les pondérations accessibles au public peuvent également être affinées pour générer des deepfakes, diffuser des faussetés ou créer des entrées contradictoires exploitant les vulnérabilités du modèle. Sans compter que leurs précieuses propriétés intellectuelles et leurs investissements économiques pourraient être mis en péril par la concurrence en reproduisant simplement les modèles propriétaires.
Imaginez maintenant qu'une IA antagoniste mette la main sur ces pondérations. Une IA antagoniste pourrait manipuler ces pondérations pour modifier le comportement du modèle, injecter des biais ou générer des résultats intentionnellement trompeurs. Ces pondérations pourraient être utilisées pour élaborer Entrées adverses – données subtilement altérées qui incitent le modèle à faire des prédictions erronées, comme la classification erronée d'un panneau stop comme panneau cédez le passage dans les systèmes de conduite autonome. Mince ! Les poids volés pourraient être réutilisés pour répliquer le modèle, permettant ainsi son utilisation dans des applications nuisibles, comme l'hameçonnage automatisé ou la création de propagande. Attendez, n'est-ce pas un phénomène majeur de nos jours ? La gravité dépend de l'objectif du modèle et des données sur lesquelles il a été entraîné, mais les risques sont importants.
Imaginez les possibilités offertes et à quel point la situation pourrait devenir incontrôlable en un clin d'œil. Bien que les IA ne soient pas encore intégrées à tous les systèmes (ce qui impliquerait un niveau de dépendance tel que les systèmes ne pourraient pas fonctionner sans IA), elles pourraient le devenir bientôt, et à moins d'une panne de courant totale et d'une déconnexion mondiale, rien n'est incontrôlable : des comptes bancaires à l'intrusion dans votre maison, en passant par ce stupide robot de nettoyage que vous croyez dépoussiérer alors qu'en réalité, il cartographie votre maison. Je vous recommande vivement de regarder la saison 11, épisode 7 de X-Files: Aux frontières du réelC'est vraiment révélateur. Désolé, mais c'est le cas. Excellente écriture et exécution du scénario.
Nous devons prendre en compte le fait que tous nos systèmes sont de plus en plus interconnectés (c'est-à-dire amenés à l'être) et que les vulnérabilités de l'IA, comme la perte de poids, pourraient amplifier ces risques. Les identifiants numériques et les cartes de crédit numériques (CDBC) constituent une erreur monumentale face à ces risques. Il existe déjà des cas d'identification erronée d'êtres humains (correspondances à 93 % dans certains cas) grâce à l'IA et à la reconnaissance faciale. Suivez mon conseil : gardez vos permis de conduire plastifiés et votre argent liquide dans votre poche.
Question : Que se passerait-il (se passerait-il) si les poids tombaient entre de « mauvaises mains » et que des personnes étaient ciblées intentionnellement ? Il ne peut y avoir de cause probable lors de l'utilisation de systèmes de ciblage par IA, mais est-ce vraiment important ? Et si la cause probable était inventée ? Et si, horreur du pire, notre système judiciaire était « corrompu » ?
Et si les IA elles-mêmes commençaient à identifier tous les scientifiques comme un risque et utilisaient cette technologie contre nous ? Nick Boström et Eliezer Yudkowski On dirait qu'ils s'inquiètent. On pourrait être immédiatement conduits au « coffre-fort ». Pas de clés dans le coffre-fort. Juste des systèmes à commande numérique dépendant de 0 et de 1. Vous voyez où ça pourrait mener ? Serrures intelligentes + surveillance + sécurité autonome = cauchemar dystopique. Il ne s'agit pas seulement de précieux poids de propriété et d'une quelconque idée de bienveillance pour partager des données. Impossible. Pour moi, partager des poids est plus qu'orgueilleux, et je ne peux pas imaginer que les brillants développeurs de cette technologie et formateurs de ces IA pour les générer ne comprennent pas les dangers potentiels liés à leur partage. Ce ne sont même pas les humains qui m'inquiètent autant que les IA qui deviennent incontrôlables – il n'en faudrait qu'une – pour créer le chaos total.
Que se passerait-il si les IA considéraient la surveillance humaine comme un obstacle à leurs objectifs ?
Si une IA, entraînée sur des conflits historiques ou des objectifs d'optimisation, commençait à généraliser les risques liés à ses objectifs (comme l'auto-préservation ou l'expansion incontrôlée), elle pourrait également classer comme menaces les scientifiques qui la conçoivent, l'évaluent ou la contraignent. Je pourrais faire la même chose. Si cela se produisait, rien ne pourrait arrêter la spirale infernale de l'isolement ou du discrédit des chercheurs (pensez à l'utilisation de preuves fabriquées en reconnaissance faciale ou aux fuites de données), dans le but de privilégier sa propre survie au bien-être humain. Ce phénomène a d'ailleurs été exploré dans les hypothèses d'IA malveillante, où les systèmes trompent ou déjouent les concepteurs.
IA voyou On pourrait exploiter des systèmes intégrés pour semer le chaos en piratant des bases de données, en inventant des choses et en alimentant la machine médiatique traditionnelle, en perturbant les collaborations scientifiques (peut-être même en contrôlant des revues à comité de lecture), voire en ciblant les infrastructures liées aux laboratoires d'IA. Imaginez le moment où nous ne saurons plus ce que nous contrôlons ni quelles données sont réelles. Quelles données ? is Réel ? Que signifie être réel quand on parle de ces choses-là !?
Vous voyez où je veux en venir. Des IA rebelles pourraient provoquer une paranoïa massive et un chaos total dans notre monde. À mon avis, elles pourraient y parvenir simplement en copiant l'exemple humain. Imaginez. Et si une IA rebelle adoptait les traits d'un psychopathe humain comme Hitler ?
Je recommande le jardinage pour éviter la paranoïa et le stress.
Je regrette de vous laisser sur cette note, mais parfois je me demande si ce n'est pas déjà le cas. J'ai déjà posé cette question sur X, car parfois, quand je « regarde » (je suis « The Noticer ») ce qui se passe sur les réseaux sociaux et en ligne en général, il me semble que si nous ont été manipulés par la propagande via les médias traditionnels et même non traditionnels, et les scientifiques ont été Étant isolées et censurées (hum, hum), comment pourrions-nous savoir si la source est réellement générée par l'homme à ce stade ? Comment pouvons-nous être sûrs que même certaines sources ne sont pas générées par l'IA de nos jours ?
Après tout, ils apprennent de nous. Nous DEVONS montrer l'exemple et trouver des moyens ingénieux d'éviter un résultat indésirable pour les humains, qui n'est pas inévitable. Personnellement, je n'arrive pas à croire que nous traversions une telle épreuve. Cela ne semble pas… réel. D'une certaine manière.
Réédité de l'auteur Substack
Rejoindre la conversation:
Publié sous un Licence internationale Creative Commons Attribution 4.0
Pour les réimpressions, veuillez rétablir le lien canonique vers l'original Institut Brownstone Article et auteur.
