L’anarchie dans un monde de machines

2 10 2009

En marge de mes principales thématiques de recherche, j’avais commencé à élaborer quelques réflexions sur le lien entre science-fiction et pensée politique (toujours disponibles sur ce blog dans des billets plus anciens). Comme souvent, réfléchir sur un sujet amène à percevoir les potentialités d’un autre sujet plus ou moins connexe. C’est typiquement ce qui s’est passé avec une série de romans à mon avis très stimulants et cela m’amènera sans doute à proposer un texte plus substantiel si j’arrive à trouver un peu de temps pour ce type d’échappée intellectuelle (PS : oui heureusement, avec donc un article de fond sur le sujet et même d’autres).

En essayant de croiser base littéraire et réflexion prospective, l’idée est de tester une hypothèse qui semble de science-fiction, mais qui pourrait ne pas être seulement de science-fiction. Cette hypothèse part d’une partie de l’œuvre de l’écrivain écossais Iain M. Banks, celle couramment rassemblée sous l’appellation de « cycle de la Culture », et de l’organisation sociale qu’il y décrit. Cette série de romans de science-fiction, souvent louée pour avoir renouvelé le genre du « space opera », met en effet en scène une civilisation intergalactique (« la Culture »), basée sur des principes anarchistes et dans laquelle les problèmes de pénurie sont dépassés et le pouvoir paraît presque dissous. Dans cette civilisation au développement technique très poussé, ce sont des intelligences artificielles (« minds » ou « mentaux » dans les traductions françaises) qui assument les tâches de gestion des affaires collectives, libérant ainsi la masse des individus pour des activités plus spirituelles ou ludiques. Le type d’organisation collective décrit par Iain M. Banks dans ses romans[1] tient pour une large part grâce à l’appui bienveillant de ces intelligences artificielles.

Banks - L'homme des jeuxCette hypothèse formulée dans un registre littéraire peut-elle aider à penser le rôle que pourraient prendre des machines « intelligentes » (ou au moins fortement évoluées) dans l’organisation sociale et politique ? Comment pourrait s’effectuer l’insertion de telles machines dans la vie collective ? Dans le modèle civilisationnel de la Culture, certaines séparations ontologiques ont disparu, puisque ces entités se comportent et sont traitées comme des personnes. Vaisseaux et stations spatiales ont leurs propres « mentaux » qui formulent leurs propres choix. D’une certaine manière, ces machines « conscientes », « sensibles », dépassant les humains en intelligence, « sont » ces engins spatiaux. Elles sont l’infrastructure pensante de la Culture, qu’elles contrôlent d’ailleurs plus qu’elles ne l’habitent.

Si l’on suit la vision de Iain M. Banks, le développement et la présence généralisée de ces intelligences artificielles ont bouleversé le fonctionnement politique, et même la conception du politique. Ce serait une application très particulière des principes anarchistes. L’auteur a en effet créé un monde organisé dans lequel, grâce aux intelligences artificielles et à l’insouciance énergétique et subsistantielle, le projet de remplacement du gouvernement des hommes par l’administration des choses a été réalisé. Dans ce modèle, il n’y aurait plus vraiment de choix politiques à faire[2]. Les décisions délicates engendrées par des problèmes d’allocation des ressources n’auraient plus lieu d’être, ou au pire pourraient-elles être résolues par des puissances de calcul phénoménales. Les dérives dans l’usage du pouvoir ne seraient plus tellement à craindre, puisque celui-ci se trouverait en quelque sorte octroyé à ces intelligences artificielles qui, constitutivement, auraient dépassé ces enjeux (ou en tout cas pour qui ce type de tentations ne ferait guère sens).

Banks - Le sens du ventDans l’œuvre de Iain M. Banks, ces éléments ne relèvent pas du simple décor de science-fiction : ils jouent un rôle important et intime dans les récits. Au-delà de l’analyse littéraire (puisque j’ai essayé de pousser dans ce sens), ils peuvent être exploités comme une base de questionnement[3] sur les possibilités de régulation « sociale » sans intervention humaine directe, ou plus précisément avec la médiation de machines évoluant vers une forme d’intelligence artificielle. D’où mon envie de tester dans quelle mesure et sur quelles bases une telle hypothèse peut tenir. La réflexion à mon avis serait pour cela à organiser sur trois plans. Le premier devrait revenir sur la pensée anarchiste pour montrer que la vision de Iain M. Banks peut certes y trouver des correspondances, mais que cette pensée est en quelque sorte dépassée par les enjeux que l’œuvre de cet auteur fait émerger. Le deuxième poursuivrait en montrant les questions politiques que cette œuvre permet d’élaborer sur les retombées des avancées en matière d’intelligence artificielle et sur  leurs effets dans l’organisation des collectivités. Le troisième, toujours sous un angle politique, essayerait d’établir des connexions plus concrètes à partir de lignes d’évolution discernables dans l’informatisation ou l’automatisation d’appareillages techniques qui peuvent participer à la régulation de processus sociaux.

Si la civilisation galactique décrite par Iain M. Banks a un fondement anarchisant[4], la forme du projet n’est en effet pas facile à placer par rapport à la tradition anarchiste, notamment quant aux réflexions touchant au progrès technique. Certains de ses penseurs voient dans la technique des potentialités qui permettent de la tirer dans le sens de l’émancipation. On retrouve chez Mikhail Bakounine l’idée qu’elle peut alléger la charge de travail qui pèse sur les individus et ainsi participer à la déstabilisation de l’ordre capitaliste. Murray Bookchin, dans sa tentative pour fonder théoriquement une « écologie sociale », envisageait quant à lui la possibilité d’une « technologie libératrice »[5]. Mais il est aussi resté dans les milieux anarchistes ou anarchisants une forte méfiance à l’égard de la technique (plus ou moins associée à la domination capitaliste). On peut donc penser que les avancées en matière d’intelligence artificielle auraient une réception au moins ambivalente dans les courants anarchistes, et probablement pas aussi optimiste que dans la version romancée de Iain M. Banks.

Banks - ExcessionLa mise en relation de la vision littéraire de science-fiction et des visions politico-philosophiques peut ainsi être une manière intéressante de questionner les implications politiques des avancées en matière d’intelligence artificielle. Quelles tâches peuvent être confiées à des machines qui ne sont plus de simples automates ? Ces tâches peuvent-elles interférer avec d’autres relevant des choix collectifs humains ? Quelles implications cela a-t-il dans la gestion d’affaires qui sont collectives ? Un projet anarchiste est-il plus crédible parce qu’il a recours à de telles machines évoluées ? À l’inverse d’anciennes manières d’envisager la technologie, de telles machines d’ailleurs ne seraient plus assimilables à des outils, mais accèderaient davantage au statut d’acteurs capables d’agir de manière autonome. En lisant les romans du cycle de la Culture, on peut d’ailleurs se demander si la confiance accordée aux intelligences artificielles et l’abandon de certaines tâches et activités ne conduisent pas vers une forme de passivité humaine. Bref, dans cette forme d’anarchie « assistée par ordinateur », l’idée de gouvernement ne fait plus sens, mais au moins aussi parce qu’une bonne part du pouvoir de décision est plus ou moins consciemment déléguée et distribuée à ce vaste réseau d’intelligences artificielles.

L’organisation sociotechnique de la Culture décrite par Iain M. Banks est d’autant plus intéressante qu’on peut lui trouver des correspondances dans des évolutions de la fin du XXe siècle. L’informatisation a pénétré de nombreux appareillages techniques, sous des formes qui peuvent d’ailleurs conduire à renégocier plus ou moins directement la place de l’humain[6]. De nombreux processus sociaux s’avèrent de plus en plus souvent automatisés. La gestion informatisée du trafic routier par l’intermédiaire des feux de circulation participe par exemple d’une redistribution des rôles et des fonctions entre humains et automatismes[7]. Sur les marchés financiers opèrent aussi dorénavant des « automates de trading » à qui est déléguée une part croissante des transactions. Les avancées dans le domaine de l’intelligence artificielle sont de nature à renforcer les questionnements sur les reconfigurations des espaces de décision (si tant est qu’il soit alors encore possible de les discerner). Les enjeux ne sont donc pas simplement techniques, mais bel et bien politiques, et ce pourrait être un des mérites de la fiction de Iain M. Banks que d’avoir réussi, même si elle reste dans l’ordre de l’imaginaire, à les mettre en scène de manière suffisamment cohérente pour inciter à prolonger la réflexion sur cet entrelacement d’aspects sociaux, philosophiques et politiques loin d’être mineurs.


[1] Un article à vocation explicative, intitulé « A Few Notes on the Culture », avait aussi été mis en ligne sur Internet et avait été traduit dans la revue de science-fiction Galaxies, n° 1, Été 1996 (« Quelques notes sur la Culture »). Le texte en français a été récemment repris à la fin du roman Trames (Paris, Robert Laffont, 2009).

[2] Cf. Chris Brown, « `Special Circumstances’: Intervention by a Liberal Utopia », Millennium – Journal of International Studies, vol. 30, n° 3, 2001, notamment p. 632.

[3] Cf. Yannick Rumpala, « Entre anticipation et problématisation : la science-fiction comme avant-garde », Communication pour le colloque « Comment rêver la science-fiction à présent ? », Cerisy-la-Salle, 22 juillet 2009.

[4] Rendu selon lui nécessaire par la vie commune dans l’espace et la sophistication technologique corrélative : « Essentially, the contention is that our currently dominant power systems cannot long survive in space; beyond a certain technological level a degree of anarchy is arguably inevitable and anyway preferable » (« A Few Notes on the Culture », op. cit.).

[5] Cf. Murray Bookchin, Vers une technologie libératrice, trad. de l’américain, Paris, Librairies parallèles, 1974.

[6] Voir par exemple le travail de Victor Scardigli sur le cas des avions : Un anthropologue chez les automates. De l’avion informatisé à la société numérisée, Paris, PUF, 2001, et pour une présentation plus synthétique de l’argument, « Y a-t-il encore un pilote dans l’avion ? », Le Monde Diplomatique, n° 595, octobre 2003, p. 30.

[7] Cf. Bruno Latour, « Le Prince : Machines et machinations », Futur antérieur, n° 3, 1990, pp. 35-62.

P.S.:
Un article plus long et plus académique a été publié en anglais à la suite de ces premières réflexions : « Artificial intelligences and political organization: an exploration based on the science fiction work of Iain M. Banks », Technology in Society, Volume 34, Issue 1, Februrary 2012.
Il peut être téléchargé ici en fichier pdf.


Actions

Information

22 responses

7 10 2009
patpro

C’est très intéressant de pousser la réflexion aussi loin, et de manière aussi professionnelle. Mais – même si ce n’est pas primordial – j’ai l’impression que vous faites l’impasse sur les détails gênants de la Culture. La passivité humaine qui découle de la délégation des responsabilités aux IA et à Circonstances Spéciales est une réalité. Cela renforce l’idée que la Culture est décadente. Le citoyen lambda préfère repousser les limites du transhumanisme ludique que de savoir ce que les IA et CS doivent faire pour préserver l’intégrité de la Culture. Banks indique aussi comment les esprits (artificiels ou naturels) qui sortent du rang sont corrigés/reprogrammés ou bannis pour protéger la Culture. En caricaturant un peu, la Culture est un bac à sable pour des gamins triés par eugénisme, et protégé par des individus calculateurs et sans beaucoup de scrupules.

8 10 2009
yrumpala

C’est vrai que la délégation de responsabilités peut confiner à la passivité. Comme politiste, je trouve très intéressante cette espèce de réflexion en filigrane sur la manière dont l’introduction d’intelligences artificielles peut reconfigurer les enjeux de pouvoir. Je me demande toutefois si le terme de décadence n’est pas un peu fort : une telle société expansive peut-elle être décadente ? Ou alors c’est introduire un point de vue moral sur les moeurs qui y deviennent habituelles. Mais la dernière phrase de votre commentaire ne me paraît pas fausse. C’est ce que je trouve stimulant chez Banks : cette manière d’amener à se poser des questions sur les implications socio-politiques d’évolutions technologiques, et typiquement de la présence généralisée de machines très évoluées (pensons par exemple à ce qui est annoncé en matière d' »informatique ambiante »).

8 10 2009
patpro

Si on juge la Culture telle qu’elle nous est présentée par Banks, alors oui, le terme décadence peut sembler un peu fort. Néanmoins, c’est Banks lui même qui utilise ce terme. La Culture est vue par les barbares (au sens grec du terme) comme une société décadente. J’ai adoré les premiers tomes de ce cycle, et j’ai pris ces jugements comme l’expression de la jalousie ou de l’incompréhension de peuples étrangers. Mais je crois que Banks va plus loin, et à force d’enchaîner les romans, j’ai perçu chez l’auteur une volonté de critiquer sa propre création.
Pour finir sur la décadence, Banks indique (à plusieurs reprises autant que je me souvienne) que la Culture a une fin, qu’à moyen terme elle est vouée à disparaître.
En tout cas, j’espère vite trouver le temps de lire vos autres textes de la catégorie « Science-fiction et théorie politique » !

9 10 2009
yrumpala

La finesse des récits est effectivement de montrer certaines ambiguïtés de ce type de société. Je ne sais plus s’il y a l’idée de dépassement de la Culture par une autre forme sociale ; je vais essayer de retrouver ça.
Pour ce qui est des autres billets, les commentaires sont toujours les bienvenus.

22 12 2009
Shalmaneser

Bonjour,
Je découvre avec plaisir vos articles consacrés à la littérature de science-fiction, grâce à un commentaire laissé sur mon blog. Cet angle d’approche me semble très pertinent dans le cas du « cycle » de la Culture, et ne me paraît pas nécessairement incompatible avec son intérêt proprement littéraire ou, si l’on veut, métaphysique.
Je signalais que l’étude de la science-fiction ne saurait se borner à la prospective ; il est évident qu’elle ne se résume pas non plus aux enjeux littéraires qu’elle mobilise.
Je lirai vos travaux avec grand plaisir !

22 12 2009
yrumpala

Merci. Les lectures croisées sont effectivement enrichissantes et cette ouverture métaphysique m’aura aussi permis de lire avec intérêt d’autres angles d’analyse. Je vais suivre également votre blog. Bonne continuation.

12 01 2010
poet24

Très intéresssant, un peu déroutant vu que je ne connais que deux livres du cycle mais ca me donne vraiment envie d’aller plus loin !!!

8 09 2010
Emmanuel

Au delà de cette très intéressante interprétation socio-philosophico-politique, les lecteurs potentiels seront heureux de savoir que le cycle de la Culture est un vrai bon cycle de science-fiction, prenant, facile à lire et apportant son lot d’originalités dans le paysage de la SF mondiale. (voir notre critique de L’Homme des jeux, le premier roman de la série : http://leblogdesbouquins.blogspot.com/2010/08/lhomme-des-jeux-de-iain-m-banks.html)

8 09 2010
yrumpala

Bonne entrée en matière dans l’oeuvre en effet.

3 08 2011
PBM764927

Très intéressant, ça m’a donné envie de lire ce cycle.
On rencontre aussi une société gérée par des IA dans le cycle des robots d’Isaac Asimov, elle aussi décadente et voué à disparaître.
il serait intéressant d’étudier une société où la technologie libère l’homme en administrant le monde, mais où la fin serait plus heureuse…

3 08 2011
yrumpala

Merci. Pour rentrer dans le « cycle », mieux vaut à mon avis commencer par les premiers romans écrits par Banks.
Ce n’est d’ailleurs pas tellement une société décadente qu’il décrit. A ce propos, quelques éclairages, mais en anglais, dans un papier que j’ai présenté à la 6e conférence « Visions of Humanity in Cyberculture, Cyberspace, and Science Fiction » à l’Université d’Oxford : à télécharger.
A partir de l’exemple de la Culture comme version plutôt optimiste du rôle des intelligences artificielles dans une société , j’essaye justement de montrer en quoi la confiance dans la technologie peut produire une forme (ambiguë) de régime « post-politique ».

16 03 2013
Gisele Martini

A propos des IA est de leur éventuel rôle dans une société humaine plus ou moins gérée par ces machines on peut citer l’extension du Cycle de Dune écrite à 4 mains par Anderson et le fils de Brian Herbert, qui nous expliquent la révolte des IA à l’égard de l’homme que ces dernières considèrent littéralement comme un virus (Thème récurrent de la SF magnifié au cinéma par le très bon (controversé ou pas) cycle de Matrix).

16 03 2013
Yannick Rumpala

Merci.
Je n’ai pas lu ces suites, tellement les critiques étaient peu flatteuses. L’idée effectivement n’est pas forcément originale dans le panorama de la SF.

4 03 2015
jean paul

C’est-à-dire que, fondamentalement, les machines, les « minds », agiraient selon leur programmation, càd, derrière, les choix politiques des donneurs d’ordres aux programmateurs…
A moins de supposer qu’il existe un optimum objectif, par exemple en terme socio-économique, qu’une machine calcule sans intervention humaine. Ca me parait douteux…
Si on élargit aux problèmes climatiques actuels, ce serait supposer un climat optimal pour la terre que des machines gèrent… L’histoire géologique et du vivant (darwinienne) semblent plutôt prouver le contraire: monde instable, chaotique et de devenir non-orienté… Bref des machines seraient inadaptées !

4 03 2015
Yannick Rumpala

Si l’on suit Iain M. Banks, les Mentaux ont atteint un stade où il y a longtemps qu’ils n’ont plus de « programmeurs ». Dans les récits, leur puissance de calcul semble permettre de gérer des systèmes complexes. Je ne sais pas en revanche si Banks avait entendu parler de la « loi de la variété requise » de W. R. Ashby, qui rend effectivement plus compliqués quelques postulats romanesques…

4 06 2015
fiduce

La culture n’est pas peuplée que de mentaux. Il y a toute une panoplie d’IA, allant du missile couteau au mental de VSG en passant par les drônes.
Banks ne manque jamais une occasion de préciser l’attachement que ressentent les niveaux les plus évolués pour leurs passagers plus petits.
Je pense que les humains se positionnent quelque part sur cette échelle et que les préoccupations toutes particulières des mentaux les situent sur un plan totalement différent des humains (au moins pour 99,99% du temps).
L’espace infini, et donc les ressources infinies, est accessible.
Enfin, il y a toujours une règle de non-ingérence directe qui fait que, par exemple, un drône ou un avatar de vaisseau ne prendra part à une aventure « d’humain » (ou d’autre espèce), sur un monde d’humain (ou d’autre espèce) qu’en support d’un autre humain (ou individu d’une autre espèce).
Mais alors qu’apportent les humains aux machines dans cette symbiose ?
Peut-être simplement une source de spiritualité (au sens étendu qui va jusqu’au « bon mot ») ? Ça doit valoir quelque chose quand tout le reste est en coupe réglée.
Banks suggère qu’une IA pourrait se distraire du comportement humain et que certains vaisseaux se targuent d’entretenir des relations privilégiées avec des humains excellant dans l’excentricité.
La relation entre humains et IA est aussi mise en avant quand la culture rencontre d’autres civilisations : elle prouve une certaine tolérance.
Enfin, il y a le mystère de la sublimation … qui fait

4 06 2015
Yannick Rumpala

Les remarques sont justes. Un billet de blog, en fait, ne permet pas de développer tous les aspects. J’avais juste posé quelques pistes à l’époque de la rédaction. Certaines ont été explorées ailleurs et rejoignent les remarques : http://www.actusf.com/spip/Quelques-notes-techno-politiques.html

4 06 2015
fiduce

Message coupé.
J’émettais juste quelques réserves à propos du concept de « sublimation », bastion du mysticisme dans un monde hyper-positiviste où peuvent coexister plusieurs copies, y compris sur substrats différents, d’une même « personne au départ ».
Chez Banks, la sublimation est accessible à tous, IA et humains. Les IA ont donc une âme (au sens de « dimension hors du temps et de l’espace »).
On peut se demander où/quand nait cette âme, et s’il ne manque pas quelque chose d’important dans la description qui est faite des mentaux.
Que reste-t-il de l’appellation « monde de machine » (cf. le titre de l’article) quand ces « machines » ont une âme ?

4 06 2015
fiduce

J’oubliais le corolaire de ce raisonnement critique : faudra-t-il communiquer le virus de la foi à nos futures IA pour s’assurer de leur « gentillesse » ? (cette recette, qui à déjà été maintes fois été employée sur des hommes, me parait très risquée)

5 06 2015
Yannick Rumpala

Sous l’étiquette de « machine ethics » et dans un registre souvent spéculatif, il y a tout un champ de réflexion qui est en train de se développer et qui se pose en effet la question du type de valeurs qu’il faudrait conférer à ces intelligences artificielles ou les amener à intégrer. Dans le genre, cela donne aussi les réflexions assez particulières du dernier livre de Nick Bostrom (Superintelligence. Paths, dangers, strategies, Oxford University Press, 2014), qui essaye de formaliser tout un lot d’hypothèses et de circonvolutions analytiques. L’approche de Banks me paraît plus « ludique » sur ces questions.

5 06 2015
Yannick Rumpala

Âme relève plutôt du vocabulaire religieux. Je me demande si Banks n’aurait pas préféré parler de subjectivité, ce qui pour le coup est davantage quelque chose qui évolue et se construit au fil du temps.

5 06 2015
fiduce

Il me semble que j’ai définit le mot en l’employant.
Chez Banks, un mental parvient même à revenir de sublimation, et il supporte le voyage comme, normalement, seulement une civilisation toute entière pourrait le supporter (i.e. en restant « un », sans se « dissoudre »), on peut dire que quand Banks décrit la culture et ses IA, c’est un peu comme si mon chien décrivait l’humanité et le mythe d’Orphée avec ses mots 😉
Pour Banks, une IA dépasse l’homme à tout point de vue (quand je dis tout, c’est TOUT).
Dans ces conditions, je ne vois pas pourquoi l’homme dirigerait la culture, ou même prendrait part à sa direction.
Dans ces conditions, l’homme est un biologique de compagnie (et je n’écris volontairement pas « n’est qu’un »).

Répondre à Gisele Martini Annuler la réponse.