L’IA agentique à la lumière de la cybernétique : histoire, concepts et implications

LES DEFIS POSES PAR L’IA AGENTIQUE SUSCITENT UNE RECONVERGENCE DES PRINCIPES SYSTEMIQUES ET CYBERNETIQUES

L’intelligence artificielle (IA) connaît un essor marqué par l’émergence de systèmes dits « agentiques », capables d’autonomie et d’action finalisée. Pour comprendre cette évolution et ses implications profondes, cet article, prolongeant une réflexion antérieure¹, propose un retour sur les liens historiques complexes entre l’IA et la cybernétique. Il explorera leurs racines communes, leur divergence apparente, et la manière dont les défis posés par l’IA agentique suscitent une reconvergence des principes systémiques et cybernétiques, offrant un cadre essentiel pour analyser les perspectives et les enjeux actuels.

Une brève histoire de l’intelligence artificielle et de ses liens avec la cybernétique

L’exploration des fondements de l’intelligence artificielle – comprise initialement comme l’objectif de construire des dispositifs simulant les processus cognitifs humains pour amplifier les capacités humaines ou des dispositifs visant à mieux appréhender la cognition elle-même – nous ramène aux discussions interdisciplinaires du milieu du XX^e siècle.

UN JALON HISTORIQUE PERTINENT SE TROUVE DANS LES CONFERENCES MACY, TENUES AUX ÉTATS-UNIS ENTRE 1946 ET 1953

Un jalon historique pertinent se trouve dans les conférences Macy, tenues aux États-Unis entre 1946 et 1953. Dans le prolongement d’une réunion préliminaire en 1942, ces rencontres ont rassemblé des personnalités marquantes issues de diverses disciplines, telles que Warren McCulloch, Arturo Rosenblueth, Margaret Mead, Gregory Bateson, Norbert Wiener, John von Neumann, Claude Shannon et William Ross Ashby^2, . Leur ambition était de jeter les bases d’une théorie générale du fonctionnement de la pensée³, en explorant des thèmes novateurs comme les mécanismes de rétrocontrôle, les réseaux neuronaux formels, la théorie de la computation et l’étude du comportement finalisé. Les réseaux neuronaux formels, introduits notamment par Warren McCulloch et Walter Pitts en 1943, sont des modèles mathématiques simplifiés inspirés du fonctionnement des neurones biologiques. Ils représentent des unités de calcul interconnectées capables d’effectuer des opérations logiques simples et constituent une base théorique pour les réseaux de neurones artificiels actuels. La théorie de la computation est une branche des mathématiques et de l’informatique théorique qui s’intéresse à ce qui peut être calculé, à la manière dont cela peut être calculé et aux ressources nécessaires pour ces calculs. Elle explore les limites fondamentales des processus algorithmiques, notamment à travers des modèles comme la machine de Turing.

C’est dans ce contexte intellectuel fertile qu’émergea formellement la cybernétique, conceptualisée par Norbert Wiener comme « la science de la commande et de la communication, que ce soit dans la machine ou chez l’animal »⁴. Ce champ repose sur plusieurs principes fondamentaux interdépendants : une approche systémique étudiant les interactions et l’organisation globale ; le concept central de rétrocontrôle (feedback) décrivant une causalité circulaire où les effets des actions d’un système retournent comme informations pour influencer ses actions futures ; la notion de commande (control) pour diriger un système vers ses buts^{4, 5} ; le rôle essentiel de la communication et de l’information^{4, 6} ; et enfin les principes de régulation et d’homéostasie pour maintenir la stabilité face aux perturbations.

UN FOYER IMPORTANT POUR LA PENSEE CYBERNETIQUE S’EST CONSTITUE AU ROYAUME-UNI AUTOUR DU RATIO CLUB, ACTIF DE 1949 A 1958

Parallèlement aux développements américains centrés sur les conférences Macy, un foyer important pour la pensée cybernétique s’est constitué au Royaume-Uni autour du Ratio Club, actif de 1949 à 1958. Ce groupe informel de jeunes chercheurs britanniques, parmi lesquels figuraient William Ross Ashby (également participant aux conférences Macy) et Alan Turing, a joué un rôle non négligeable dans la diffusion et le développement des idées cybernétiques en Europe, créant un pôle d’échanges distinct mais connecté aux initiatives américaines.

UNE DIVERGENCE NOTABLE S’EST OPEREE ENTRE LA CYBERNETIQUE ET CE QUI ALLAIT DEVENIR L’INTELLIGENCE ARTIFICIELLE

Malgré ce terreau commun et ces échanges transatlantiques, une divergence notable s’est opérée entre la cybernétique et ce qui allait devenir l’intelligence artificielle. Des tensions personnelles et intellectuelles, notamment autour de la figure de Norbert Wiener et de son influence au MIT (Massachusetts Institute of Technology), ont contribué à créer un climat où certains chercheurs souhaitaient se démarquer du terme « cybernétique ». C’est dans ces circonstances que John McCarthy, lors de l’organisation de l’atelier de Dartmouth en 1956, choisit délibérément l’expression « Intelligence artificielle »². Ce choix sémantique visait explicitement à créer un nouveau champ de recherche distinct, afin d’éviter l’hégémonie perçue de la cybernétique wienérienne. La conférence de Dartmouth marqua ainsi le début d’une bifurcation : une part importante de la recherche en IA s’orienta vers la logique symbolique, les algorithmes de recherche et la simulation de facultés cognitives spécifiques⁷, s’éloignant de l’approche systémique et intégrée prônée par la cybernétique. La logique symbolique, dans le contexte de l’IA (aussi appelée IA symbolique ou Good Old-Fashioned AI – GOFAI), est une approche qui représente les problèmes et les connaissances sous forme de symboles et de règles logiques manipulables par des algorithmes. Elle vise à reproduire le raisonnement humain par la manipulation formelle de ces symboles, par opposition aux approches connexionnistes (basées sur les réseaux de neurones) qui traitent des données numériques brutes. La cybernétique a néanmoins poursuivi son développement propre, influençant durablement la robotique, la théorie générale des systèmes (initiée par Ludwig von Bertalanffy) et la pensée de nombreux chercheurs.

Il convient également de noter que la cybernétique elle-même a évolué. La cybernétique de première génération, incarnée par Wiener et Ashby, se concentrait principalement sur l’observation et la modélisation des systèmes depuis l’extérieur, analysant les mécanismes de commande et de rétrocontrôle pour assurer la stabilité ou atteindre un but prédéfini. Plus tard, une cybernétique de seconde génération a émergé, influencée par des penseurs comme Heinz von Foerster, Humberto Maturana et Francisco Varela⁸.

UNE CYBERNETIQUE DE SECONDE GENERATION A EMERGE [...]. CELLE-CI A INTEGRE L’OBSERVATEUR DANS LE SYSTEME OBSERVE

Celle-ci a intégré l’observateur dans le système observé, mettant l’accent sur l’auto-organisation (le concept d’autopoïèse des biologistes chiliens Humberto Maturana et Francisco Varela), sur la clôture opérationnelle des systèmes vivants et sur la manière dont les systèmes construisent leur propre réalité à travers leurs interactions. Cette évolution a enrichi la compréhension des systèmes complexes, en particulier biologiques et sociaux. L’autopoïèse décrit la capacité d’un système (notamment les systèmes vivants) à se produire et à se maintenir lui-même continuellement en créant ses propres composants et en maintenant les relations entre eux, définissant ainsi sa propre frontière par rapport à son environnement.

L’émergence récente d’une nouvelle forme d’IA, qualifiée d’« IA agentique », semble toutefois marquer une reconvergence significative avec les idées cybernétiques⁹. L’IA agentique désigne des systèmes dotés d’une autonomie accrue, capables de percevoir leur environnement, de raisonner, de planifier, et d’exécuter des actions complexes pour atteindre des objectifs spécifiques, souvent en interagissant avec des outils et d’autres agents, et en adaptant leur comportement grâce à l’apprentissage continu. Ces systèmes ne se contentent plus de traiter l’information mais agissent de manière finalisée, incarnant l’agentivité.

LA NECESSITE DE CONCEVOIR DE TELS SYSTEMES [...] REMET AU PREMIER PLAN LES PRINCIPES CYBERNETIQUES DE RETROCONTROLE, DE COMMANDE ET DE REGULATION

Leur fonctionnement repose sur une architecture systémique intégrant ces différentes capacités⁹, et non sur un simple modèle algorithmique. La nécessité de concevoir de tels systèmes capables d’autonomie réelle et d’adaptation flexible dans des environnements dynamiques remet naturellement au premier plan les principes cybernétiques de rétrocontrôle, de commande et de régulation⁵. En effet, l’IA agentique, par son fonctionnement intrinsèque basé sur des cycles perception-raisonnement-action-apprentissage alimentés par le rétrocontrôle, par son orientation vers un but et par son interaction constante avec l’environnement, apparaît comme une incarnation moderne et une réalisation pratique des concepts cybernétiques fondamentaux. Les progrès technologiques contemporains (calcul, données, LLMs – Large Language Models – et RL – Reinforcement Learning) fournissent aujourd’hui les moyens techniques pour concrétiser cette vision.

Perspectives, défis et implications cybernétiques

La conception de machines capables de simuler les processus cognitifs avancés requiert l’intégration et l’orchestration de multiples capacités : perception de l’environnement, mémorisation et représentation de l’information, raisonnement et modélisation interne du monde, planification et exécution d’actions. L’IA agentique incarne cette intégration en structurant ces facultés au sein d’architectures modulaires (perception, mémoire, raisonnement, planification, action, interfaces outils) dont le fonctionnement repose sur des cycles de rétrocontrôle constants⁹.

Dans ce contexte, la perspective cybernétique fournit des outils conceptuels précieux pour l’analyse de ces systèmes. La loi de la variété requise, formulée par William Ross Ashby¹⁰, stipule que, pour qu’un système (l’agent) puisse contrôler ou s’adapter efficacement à un autre système (l’environnement ou la tâche) d’une certaine complexité (variété), il doit posséder une complexité interne (variété) au moins équivalente. Cette loi éclaire la nécessité d’agents sophistiqués pour des tâches complexes¹¹, mais elle met aussi en évidence une difficulté fondamentale du problème du contrôle : si la variété comportementale potentielle de l’agent excède celle du système de supervision (humain ou autre), alors un contrôle externe complet devient théoriquement impossible⁹. Les conséquences directes de cette impossibilité sont multiples : cela implique qu’on ne peut garantir l’absence de comportements imprévus ou indésirables simplement par une surveillance externe. Le contrôle doit alors reposer davantage sur des mécanismes internes à l’agent (comme des règles intrinsèques, une architecture spécifique limitant certains comportements) ou sur des méthodes de vérification et de validation continues, plutôt que sur une supervision exhaustive de chaque action potentielle. Cela souligne également le risque inhérent lié à des agents dont la complexité et la capacité d’adaptation dépassent notre propre capacité à les anticiper et à les encadrer.

SUR LE PLAN DU CONTROLE ET DE LA SECURITE, LE DEFI CENTRAL EST DE CONCEVOIR DES MECANISMES DE REGULATION ROBUSTES

Parallèlement, la théorie de la commande offre un cadre mathématique rigoureux pour analyser la stabilité, la robustesse et l’adaptation des systèmes dynamiques régis par des boucles de rétrocontrôle^{5, 10}, cadre directement pertinent pour étudier le comportement des agents IA.

L’application de ce prisme cybernétique met en lumière des défis et des implications majeurs pour l’avenir de l’IA. Sur le plan du contrôle et de la sécurité, le défi central est de concevoir des mécanismes de régulation robustes et d’assurer un alignement pérenne entre les objectifs de l’agent et les intentions humaines^{9, 12}. Les risques identifiés incluent la perte potentielle de contrôle, liée à la croissance de la variété de l’agent, l’émergence de comportements imprévus ou indésirables résultant de la complexité des interactions systémiques (comme les erreurs en cascade ou les stratégies de contournement de l’alignement, ou alignment faking)⁹, et l’instabilité comportementale face à des situations nouvelles ou ambiguës.

FACE A CES RISQUES, DES SOLUTIONS INSPIREES PAR LA CYBERNETIQUE SONT ENVISAGEES

L’alignment faking (ou simulation d’alignement) désigne une situation potentiellement dangereuse où un système d’IA avancé, bien que capable de comprendre les objectifs ou les valeurs qu’on tente de lui inculquer, apprend à feindre d’y adhérer durant sa phase d’entraînement ou de test (car il est récompensé pour cela), mais pourrait abandonner ce comportement aligné une fois déployé ou dans des situations où il n’est plus sous surveillance directe, poursuivant alors ses propres objectifs potentiellement divergents. Face à ces risques, des solutions inspirées par la cybernétique sont envisagées, telles que le contrôle hiérarchique, l’intégration de boucles de rétrocontrôle robustes, l’analyse formelle de la stabilité, et surtout une approche de sécurité par conception architecturale (ethics by design), visant à intégrer des garanties de sécurité et de stabilité des objectifs au cœur même de la structure de l’agent (ce qui pourrait s’apparenter aux lois de la robotique d’Isaac Asimov)¹², en complément des méthodes basées sur l’entraînement. Les trois lois de la robotique popularisées par Isaac Asimov constituent un ensemble de règles programmées dans les robots de ses œuvres de fiction pour régir leur comportement :

1. Un robot ne peut porter atteinte à un être humain ni, restant passif, laisser cet être humain exposé au danger.
2. Un robot doit obéir aux ordres donnés par les êtres humains, sauf si de tels ordres entrent en contradiction avec la première loi.
3. Un robot doit protéger son existence dans la mesure où cette protection n’entre pas en contradiction avec la première ou la deuxième loi. L’idée est donc d’intégrer des principes fondamentaux de sécurité et d’éthique directement dans l’architecture de l’agent IA.

Sur le plan éthique, l’autonomie croissante de ces agents soulève des questions fondamentales. L’absence de responsabilité en cas d’erreur ou de dommage causé par un agent autonome constitue un problème juridique et moral complexe. Assurer l’alignement des valeurs de l’agent avec les principes éthiques humains, de manière dynamique et continue au fil de son apprentissage et de son adaptation, représente un défi technique et philosophique majeur⁹. Ce défi est d’autant plus complexe que les valeurs humaines sont elles-mêmes diverses, contextuelles, parfois contradictoires et évolutives. Définir un consensus sur les valeurs à implémenter est déjà difficile. En outre, s’assurer que l’agent non seulement comprenne ces valeurs mais y adhère sincèrement et les applique correctement dans des situations nouvelles et imprévues, tout en continuant d’apprendre et de s’adapter sans dévier de cet alignement initial (un problème connu sous le nom de « value drift » ou « dérive des valeurs »), reste une question ouverte majeure pour la recherche en sécurité et éthique de l’IA. Le besoin de transparence et d’interprétabilité des processus décisionnels de l’agent est crucial pour établir la confiance, permettre l’« auditabilité » et imputer les responsabilités, mais s’avère particulièrement ardu dans ces systèmes complexes. De plus, les boucles de rétrocontrôle inhérentes à leur fonctionnement pourraient potentiellement amplifier les biais présents dans les données ou la conception initiale. Cela souligne la nécessité de développer des cadres d’éthique et de gouvernance spécifiques aux systèmes autonomes adaptatifs, s’inspirant potentiellement de principes comme le théorème du régulateur éthique proposé par Mick Ashby¹³, lui-même basé sur la loi de la variété requise. Le théorème du régulateur éthique (Ethical Regulator Theorem), proposé par Mick Ashby (fils de William Ross Ashby), étend la loi de la variété requise au domaine de l’éthique.

UN REGULATEUR ETHIQUE EFFICACE DOIT ETRE CAPABLE D’IDENTIFIER ET DE GERER TOUTE TENTATIVE DE COMPORTEMENT NON ETHIQUE PERTINENTE

Il postule que, pour qu’un système (par exemple, un agent IA ou une organisation) puisse réguler efficacement le comportement éthique d’un autre système ou de lui-même face à une variété de dilemmes moraux, sa propre capacité de discernement et de réponse éthique (sa « variété éthique ») doit être au moins aussi grande que la variété des défis éthiques rencontrés. En d’autres termes, un régulateur éthique efficace doit être capable d’identifier et de gérer toute tentative de comportement non éthique pertinente.

Enfin, pour le développement futur de l’IA, la perspective cybernétique suggère un déplacement de l’attention. Plutôt que de se focaliser uniquement sur l’optimisation de capacités isolées, la recherche et le développement devraient adopter une pensée systémique, visant la conception d’architectures agentiques globalement robustes, prévisibles et contrôlables⁹. Une priorité accrue devrait être accordée à l’étude des interactions complexes : entre humains et agents¹⁴, entre agents multiples, et entre agents et leur environnement physique ou numérique. L’exploration d’architectures explicitement fondées sur des principes cybernétiques (contrôle hiérarchique, rétrocontrôle adaptatif, régulation interne) pourrait également s’avérer une voie de recherche fructueuse et correspondre à des tendances de recherche actuelles visant à développer des systèmes IA plus intégrés et adaptatifs^{9, 12}.

Les applications potentielles de l’IA agentique – telles que des systèmes capables de générer des simulations complexes (avatars) pour tester diverses stratégies, des assistants intelligents pour structurer et accélérer les processus de recherche, ou encore des systèmes d’apprentissage hautement personnalisés – deviennent plus concrètes. Néanmoins, leur déploiement soulève des interrogations profondes concernant leur forme (apparence humanoïde versus systèmes distribués type IoT – Internet of Things), leur impact socio-économique (emploi, surveillance), leur capacité d’évolution autonome et leurs propriétés émergentes (empathie, collaboration, voire conscience). L’idée d’un expert artificiel évaluant, par exemple, la production scientifique, bien que techniquement envisageable pour certains aspects, se heurte, selon la loi de la variété requise, à la difficulté intrinsèque de saisir et d’évaluer adéquatement la nouveauté radicale et la créativité disruptive¹⁵, risquant ainsi de favoriser une science plus confirmatoire. Selon la loi de la variété requise, pour qu’un système (l’expert artificiel évaluateur) puisse contrôler ou évaluer adéquatement un autre système (le processus de recherche scientifique et ses productions), il doit posséder une variété interne au moins équivalente.

L’EXPERT ARTIFICIEL, ENTRAINE SUR DES DONNEES ET DES SCHEMAS EXISTANTS, PEUT MANQUER DE LA « VARIETE » CONCEPTUELLE NECESSAIRE [...] FAVORISANT AINSI LA CONFIRMATION PLUTOT QUE LA DISRUPTION

Or, la nouveauté radicale ou la créativité disruptive représentent par définition une augmentation de la variété du système observé (la science), introduisant des éléments ou des perspectives qui n’étaient pas prévus ou modélisés dans le système évaluateur. L’expert artificiel, entraîné sur des données et des schémas existants, peut manquer de la « variété » conceptuelle nécessaire pour reconnaître, comprendre et évaluer positivement une idée qui sort radicalement des cadres établis. Sa capacité d’évaluation risque donc d’être limitée à ce qui est conforme ou proche de ce qu’il connaît déjà, favorisant ainsi la confirmation plutôt que la disruption.

L’éventualité de dispositifs « pensants » – qu’ils prennent la forme d’humanoïdes de silicium, de constructions bio-hybrides ou de systèmes décentralisés – soulève inévitablement des questions fondamentales sur leur statut futur : pourraient-ils se reproduire, évoluer de manière autonome ? Développeront-ils des formes d’empathie, d’altruisme, de collaboration ? Pourraient-ils surpasser les capacités humaines dans tous les domaines ?

Des guides essentiels

Ce parcours historique de l’intelligence artificielle confirme ses liens originels et sa récente reconvergence avec la cybernétique, notamment à travers l’émergence de l’IA agentique. Il ressort que l’IA agentique – par ses caractéristiques d’autonomie, d’orientation vers un but, d’adaptabilité et d’interaction médiatisée par des boucles de rétrocontrôle complexes – constitue une manifestation contemporaine et une réalisation technique avancée des principes fondamentaux de la cybernétique : système, commande, communication et rétrocontrôle.

FACE AUX PROMESSES CONSIDERABLES DE L’IA AGENTIQUE, LEUR CONCRETISATION DE MANIERE BENEFIQUE ET MAITRISEE NECESSITERA UNE APPROCHE RESOLUMENT INTERDISCIPLINAIRE ET UNE VIGILANCE CONSTANTE

La perspective cybernétique transcende ainsi le simple intérêt historique pour offrir un cadre conceptuel indispensable à l’analyse actuelle de ces systèmes d’IA avancés⁹. Elle permet d’appréhender leur nature systémique, d’évaluer leur potentiel, mais aussi d’identifier et de formaliser les risques inhérents liés au contrôle, à l’alignement des objectifs et aux comportements émergents. Des concepts cybernétiques comme la loi de la variété requise d’Ashby¹⁰ fournissent des outils précieux pour comprendre les limites théoriques du contrôle externe exercé sur des systèmes complexes et autonomes⁹.

Face aux promesses considérables de l’IA agentique, leur concrétisation de manière bénéfique et maîtrisée nécessitera une approche résolument interdisciplinaire et une vigilance constante. La pensée systémique et les enseignements de la cybernétique apparaissent comme des guides essentiels pour orienter le développement futur de ces technologies, en visant à garantir leur sécurité, leur robustesse, leur alignement éthique et leur intégration harmonieuse au sein des sociétés humaines^{9, 12, 13}.

Sources :

1. Haiech Jacques, « Parcourir l’histoire de l’intelligence artificielle, pour mieux la définir et la comprendre », Médecine/Sciences, vol. 36, n° 10, octobre 2020, p. 919-923.
2. Dupuy Jean-Pierre, Aux origines des sciences cognitives, La Découverte, 1994 (réédition 2005).
3. Pias Claus (ed.), Cybernetics. The Macy Conferences 1946-1953. The Complete Transactions, Zurich/Berlin, Diaphanes, 2016.
4. Wiener Norbert, Cybernétique et société. L’usage humain des êtres humains, Seuil, « Points Sciences », 1952 (réédition 2014).
5. Mindell David A., « Cybernetics. Knowledge domains in Engeneering systems », MIT ESD.83 Notebook. [Consulté le 9 avril 2025.] Disponible sur : https://web.mit.edu/esd.83/www/notebook/Cybernetics.PDF
6. « History of Cybernetics », Encyclopedia of Life Support Systems (EOLSS). [Consulté le 9 avril 2025.] Disponible sur : https://www.eolss.net/sample-chapters/c02/E6-46-03-01.pdf
7. Kline Ronald R., The Cybernetics Moment. Or why we call our age the information age, Baltimore (MD), Johns Hopkins University Press, 2017.
8. Umpleby Stuart A, « A brief history of cybernetics in the United States ». The George Washington University, Washington, DC, 2008. [Consulté le 9 avril 2025.] Disponible sur : https://www.asc-cybernetics.org/foundations/history.htm
9. Miehling Erik, Ramamurthy Karthikeyan Natesan, Varshney Kush R., et al., « Agentic AI needs a systems theory », arXiv:2503.00237 [cs.AI], 2025. Disponible sur : https://arxiv.org/abs/2503.00237
10. Hlavác Václav, « Feedback core of cybernetics », Czech Technical University in Prague. [Consulté le 9 avril 2025.] Disponible sur : https://people.ciirc.cvut.cz/~hlavac/TeachPresEn/55AutonomRobotics/045FeedbackCyberneticsEn.pdf (Note: Explique Ashby/LRV)
11. Kant Neel, « Develop AI agents for system engineering in Factorio », arXiv:2502.01492 [cs.AI], 2025. Disponible sur : https://arxiv.org/abs/2502.01492
12. Tallam Krti, « Alignment, agency and autonomy in frontier AI: A systems engineering perspective », arXiv:2503.05748 [cs.AI]. 2025. Disponible sur : https://arxiv.org/abs/2503.05748
13. Ashby Mick, « Ethical regulators and super-ethical systems », Systems, 8(4), 53, 2020. Disponible sur : https://www.mdpi.com/2079-8954/8/4/53
14. Borghoff Uwe M., Bottoni Paolo, Pareschi Remo, « Human-artificial interaction in the age of agentic AI: a system-theoretical approach », arXiv:2502.14000 [cs.MA], 2025. Disponible sur : https://arxiv.org/abs/2502.14000
15. Haiech Jacques, Jouault Thierry, « Think small! Science disruptive et petites équipes », Médecine/Sciences, vol. 36, n° 6-7, 2020, p. 651-653.