Les IA génératives sont un fléau !

[vv221]

Un court article que je viens d’écrire pour résumer quelques uns des plus gros problèmes liés à l’utilisation des IA génératives : https://notes.vv221.fr/ia-génératives.xhtml

Certains aiment à répéter qu’on ne devrait pas en culpabiliser les utilisateurs, je pense au contraire qu’ils font partie du problème. Et depuis le temps qu’on connaît les problèmes majeurs que causent ces systèmes, leurs utilisateurs n’ont plus l’excuse de l’ignorance.

---

Sujet aussi partagé sur Debian-Facile.

[Mornagest]

Merci pour ces rappels

Quelques remarques :

- on dirait que tu ne définis pas les LLM mais des politiciens ou patrons de multinationales la ressemblance est frappante, mais comme les LLM sont leur création, c'est cohérent...
- tu devrais citer des sources pour illustrer tes propos, ça permettra à celles et ceux qui souhaitent avoir plus de détails sur un point de les trouver facilement.
- l'affichage de ta page est long, tu devrais optimiser ton .css (je suis déjà dehors)

[vv221]

- tu devrais citer des sources pour illustrer tes propos, ça permettra à celles et ceux qui souhaitent avoir plus de détails sur un point de les trouver facilement.

Ce n’est pas un article documentaire ni de vulgarisation, c’est juste un résumé de ce que je répète trop souvent à mon goût et que j’ai donc couché une bonne fois pour toutes par écrit pour ne plus avoir l’impression de tourner en rond. Clairement, l’ajout de sources et de pistes de réflexion était très loin de mes priorités au moment de la rédaction

Après c’est probablement une bonne idée d’en ajouter au fur et à mesure, comme tu le suggères, pour ceux qui voudraient creuser le sujet.

---

- l'affichage de ta page est long, tu devrais optimiser ton .css (je suis déjà dehors)

La page devrait se charger plus rapidement (même pas une blague) si tu passes par http://notes.vv221.fr/ia-génératives.xhtml plutôt que https://notes.vv221.fr/ia-génératives.xhtml (et que ton navigateur ne te redirige pas stupidement de l’un vers l’autre).

[rivvers]

Certains aiment à répéter qu’on ne devrait pas en culpabiliser les utilisateurs, je pense au contraire qu’ils font partie du problème.

Pour moi, les deux assertions sont vraies.
Ils font partie du problème mais si tu te contente de les faire culpabiliser, jamais ils ne t'écouteront.
Et pendant ce temps, le problème continue à prendre de l'ampleur.

[Elzen]

Hm… Je me permets quand même deux petites remarques :

Les IA génératives ne peuvent pas produire de contenu original, elles ne peuvent qu’afficher ce qui est déjà contenu dans leurs bases de données.

C'est un peu plus subtil que ça, puisqu'il s'agit de probabilités et pas de reproduction à l'identique. Disons que ça dépend beaucoup du domaine et de ce que tu entends par « originalité » (le même type d'argument peut être utilisé avec une recevabilité proche pour dire qu'une bonne partie de la création artistique humaine, en musique par exemple, n'est pas originale non plus).
Et d'ailleurs, je pense qu'une partie des gens qui utilisent des « IA génératives » (en particulier pour les images, je pense) ne cherchent justement pas du contenu original, mais plutôt une déclinaison personnalisée pour eux d'un truc commun connu (cf par exemple les gens qui se font un avatar « dans le style Ghibli », ce qui au passage est d'autant plus désespérant quand on connaît les positions de Miyazaki sur la question).
Donc je dirais que ce n'est pas forcément le meilleur argument d'ouverture.

Les IA génératives ne disent pas la vérité, elles n’ont en fait même pas de concept de vérité.

Ce point est très vrai ; mais du coup le recours à la notion de « mensonge » dans la suite du texte sonne un peu moins juste : il ne s'agit pas de mentir (= dire consciemment quelque chose de faux), mais plutôt de baratiner (= dire quelque chose pour convaincre sans que sa véracité ne soit prise en compte).

Mais c'est tout ce qui me fait tiquer à la lecture et je te rejoins évidemment sur le reste (et je trouve aussi que des sources/liens pour aller plus loin pourraient rendre la page encore plus intéressante, peut-être à ajouter au fur et à mesure).

[urizen]

En cours de lecture pour ma part d'ailleurs.

https://www.editionsladecouverte.fr/ni_ ... 2348084614

Pour les curieux, il y a l'introduction et le sommaire en extrait.

[vv221]

Ils font partie du problème mais si tu te contente de les faire culpabiliser, jamais ils ne t'écouteront.

Ils n’écouteront de toutes façons pas, quoi qu’on fasse. Cet article est le résultat d’une exaspération face à ce manque d’écoute au profit du gobage béat de la publicité des vendeurs d’IA génératives.

La pédagogie, ça fait plusieurs années que j’essaie sur ce sujet. C’est sans effet. Donc maintenant il ne me reste plus que le "choc" via ce genre d’article qui ne cherche pas à ménager la sensibilité des lecteurs.

---

Donc je dirais que ce n'est pas forcément le meilleur argument d'ouverture.

Parfait, le but étant d’ouvrir avec les arguments les plus faibles pour enchaîner progressivement vers les plus forts

le recours à la notion de « mensonge » dans la suite du texte sonne un peu moins juste : il ne s'agit pas de mentir (= dire consciemment quelque chose de faux), mais plutôt de baratiner (= dire quelque chose pour convaincre sans que sa véracité ne soit prise en compte).

Bien vu, je vais voir si je peux améliorer la formulation. Le "mensonge" deux phrases plus loin concerne ce qui est diffusé par les humains, pas ce qui est produit par l’IA, mais comme il s’agit du même texte/photo/whatever, la nuance est probablement trop subtile. Je dis ici que le baratin devient mensonge une fois approprié et diffusé par des humains, mais ce texte est probablement beaucoup trop court pour expliquer ça sans risque de confusion.

[Anios]

Mort aux IA génératives, c'est de la merde !

(voilà, c'était un message hautement utile, de la part de quelqu'un qui a balancer des milliers d'euros pour des artistes et qui préfère ça à cette merde d'IAgen )

[vv221]

c'était un message hautement utile

C’est exactement pour ça que j’ai écrit ce billet

Compare ces deux messages, qui ne demandent pas vraiment plus d’effort l’un que l’autre, et tu comprendras vite son intérêt :

Mort aux IA génératives, c'est de la merde !

Mort aux IA génératives, c'est de la merde !
https://notes.vv221.fr/ia-génératives.xhtml

[RavenQueen]

Je n'ai rien appris de nouveau parce que je suis convaincue depuis un moment que les IA génératives font beaucoup plus de mal que de bien, surtout depuis que son utilisation c'est généralisée à tous les publics. Elle tombe au pire moment possible: elle accélère la débilisation générale et l'épuisement des ressources.
Je pense que si autant de gens ne voient pas le problème avec son utilisation, c'est que, comme toujours, l'humain veut aller vers ce qui va lui demander le moins d'efforts, peu importe les conséquences. Ce qui me rassure un peu, c'est que le joujou empoisonné commence à montrer ses limites: la plupart des images ont un filtre jaune dégueulasse, les IA se nourrissent de leurs propres merdes pour en pondre d'autres et, les gens qui n'étaient pas conscient du risque écologique et politique (et qui en ont quelque chose à foutre) commencent à freiner leur consommation. Je suis d'accord avec toi pour dire que les utilisateurs ont leur part de responsabilité dans cette arnaque, mais c'est comme avec tout ce qui nous sert et nous détruit en même temps: les tech bros et les publicitaires sont mille fois plus coupables.

[vv221]

(…) les tech bros et les publicitaires sont mille fois plus coupables.

Sans aucun doute.

Ceux-là, j’ai hâte de voir leur tête au bout d’une pique. Pas forcément de manière figurative.

[Elzen]

On peut peut-être se contenter de l'aspect figuratif ici

Parfait, le but étant d’ouvrir avec les arguments les plus faibles pour enchaîner progressivement vers les plus forts

Je vois la logique, mais je suggérerais quand même de modifier la première phrase. Ou disons juste la partie « elles ne peuvent qu’afficher ce qui est déjà contenu dans leurs bases de données ». Je pense qu'un fana de LLM un peu calé techniquement qui tomberait sur cette page risquerait en la lisant de hausser les épaules et de refermer en se disant que c'est une énième critique de quelqu'un qui ne comprend pas comment ça marche ; or c'est surtout la suite que ce genre de personnes aurait besoin de lire.

Histoire de faire une suggestion, je remplacerais peut-être par quelque chose comme « elles ne font qu'imiter les contenus sur lesquels on les a entraînées ».



Sinon, je profite aussi de ce post pour signaler aux gens qui en attendaient que quelques liens complémentaires ont été ajoutés sur la page. Pas encore fini la lecture du premier, mais il est super intéressant. Le second (en anglais) décrit la technique utilisée pour protéger notre forum, cf ce sujet.

[vv221]

un fana de LLM un peu calé techniquement

Je ne m’adresse pas à ceux-ci : s’ils continuent à soutenir les LLM même en comprenant comment ceux-ci fonctionnent, ce sont juste des zélotes irrécupérables et il est inutile d’essayer de les atteindre par la raison. Leur seule différence avec les tech bros étant qu’ils ne sont pas assis sur des milliards de dollars US pour promouvoir leur programme délétère.

Je ne souhaite pas utiliser le terme « imiter », parce que ça prête à ces logiciels une forme d’action à laquelle ils n’ont pas accès. Tout comme, tu l’as peut-être remarqué, je n’utilise pas les termes « hallucination » ni même « apprentissage ».

Ces IA génératives ne font bien que ressortir le contenu de leur base de données, le processus que tu désignes ici n’est que de la mise en forme qui sert à masquer l’origine de ces données. Une mise en forme un peu poussée, je veux bien l’admettre. Vu la quantité de pognon et de pétrole qu’on fout dedans, le contraire aurait été dommage

[Sarevok88]

Le pire problème des IA est la collecte d'informations, chatgpt notamment qui enregistre des milliards de flux de données en fonction de ce que les gens lui font part. Et les réutilisent pour enrichir la base de données.

Heureusement il existe du moins pire, comme ce qu'à mis en place PROTON mail, la messagerie indépendante basée en Suisse qui anonymise totalement la discussion et l'efface dès que la fenêtre est fermée, en cryptant les messages de bout en bout.

Chose qui devrait être mis en place partout, et non pas collecter les données des gens, mais bon c'est pareil avec la majorité des réseaux, la collecte, les newsletters, les cookies tiers etc. Même Windows sans une optimisation préalable collecte, collecte et collecte..

[Elzen]

Je ne m’adresse pas à ceux-ci : s’ils continuent à soutenir les LLM même en comprenant comment ceux-ci fonctionnent, ce sont juste des zélotes irrécupérables et il est inutile d’essayer de les atteindre par la raison. Leur seule différence avec les tech bros étant qu’ils ne sont pas assis sur des milliards de dollars US pour promouvoir leur programme délétère.

Je n'en mettrais pas ma main à couper. Je pense qu'un des problèmes importants avec ces trucs est que, justement, il est assez possible d'être fasciné par les aspects techniques au point de ne pas prêter suffisamment attention au reste, quand bien même on aurait toutes les raisons d'y être sensible par ailleurs. Mais c'est probablement un autre débat

Je ne souhaite pas utiliser le terme « imiter », parce que ça prête à ces logiciels une forme d’action à laquelle ils n’ont pas accès. Tout comme, tu l’as peut-être remarqué, je n’utilise pas les termes « hallucination » ni même « apprentissage ».

Ces IA génératives ne font bien que ressortir le contenu de leur base de données, le processus que tu désignes ici n’est que de la mise en forme qui sert à masquer l’origine de ces données. Une mise en forme un peu poussée, je veux bien l’admettre. Vu la quantité de pognon et de pétrole qu’on fout dedans, le contraire aurait été dommage

Là-dessus, on est à peu près d'accord (sauf sur la qualification de « base de données », mais ça j'imagine que c'est de base mon domaine de spécialité donc je suis trop pointilleux là-dessus ^ ^"). D'ailleurs au départ, j'avais écrit « réagencer », puis je me suis dit que c'était un mot un peu compliqué pour pas grand chose. On manque un peu de vocabulaire pour décrire cette méthode de baratinage. J'aimerais bien trouver une formulation qui me satisfasse davantage.


(Vu que le message de @Sarevok88 est arrivé pendant que je postais celui-ci, je rajoute en vitesse que je serais beaucoup plus critique que ça de ce que fait Proton mail, qui tient plus du marketing qu'autre chose, mais c'est un autre débat donc on se gardera ça pour une autre fois. 'Va falloir que j'aille bosser, de toute façon.)

[vv221]

sauf sur la qualification de « base de données », mais ça j'imagine que c'est de base mon domaine de spécialité donc je suis trop pointilleux là-dessus ^ ^"

Là-dessus je suis encore en train de chercher le terme idéal.

« Base de connaissance » ou « corpus d’apprentissage » sont bien entendus exclus parce que validant implicitement une forme d’intelligence individuelle. « Base de données » me plaisait bien par son rappel que ce n’est qu’un logiciel sans rien de bien exceptionnel si ce n’est la quantité de ressources investies (et gaspillées) dedans.

[Sarevok88]

sauf sur la qualification de « base de données », mais ça j'imagine que c'est de base mon domaine de spécialité donc je suis trop pointilleux là-dessus ^ ^"

Là-dessus je suis encore en train de chercher le terme idéal.

« Base de connaissance » ou « corpus d’apprentissage » sont bien entendus exclus parce que validant implicitement une forme d’intelligence individuelle. « Base de données » me plaisait bien par son rappel que ce n’est qu’un logiciel sans rien de bien exceptionnel si ce n’est la quantité de ressources investies (et gaspillées) dedans.

Je suis bien d'accord avec base de données car c'est une base robotisée derrière, non pas un humain doué de conscience.

[Elzen]

Le truc, c'est qu'une base de données, d'habitude, ça désigne quelque chose qui a été spécifiquement organisé pour que les données à l'intérieur soient facilement accessibles… soit juste un peu le contraire de ce qu'utilisent ces machins où on a besoin d'outils d'analyses développés spécifiquement pour arriver à se faire vaguement une idée de l'état de représentation interne qui provoque leur réponse.

À la limite, ce qui me semble se rapprocher le plus, informatiquement parlant, c'est la notion de cache, comme celui où le navigateur stocke, d'une façon qui lui est très spécifique et pas prévue pour que quoi que ce soit d'autre y accède (même si ça reste plus facile de lire un cache que le paramétrage d'un LLM), des bouts de trucs auxquels il y a besoin d'accéder sans devoir les re-télécharger.

[vv221]

Tiens, je croyais avoir déjà répondu à ça :

ce qui me semble se rapprocher le plus, informatiquement parlant, c'est la notion de cache

Le problème avec le terme de "cache" c’est qu’il désigne généralement des fichiers volatils, dont la perte n’aurait pas beaucoup de conséquences vu qu’ils sont relativement aisés à re-générer. Ce qui n’est pas le cas avec une IA générative, dans son cas re-générer ce "cache" nécessite de raser des forêts, assécher des lacs et éradiquer des espèces animales

[Elzen]

Relativement aisés à regénérer, oui et non. À la base, s'il y a besoin de mettre des choses en cache, c'est précisément parce que c'est (beaucoup) plus facile d'y accéder comme ça qu'en allant à chaque fois voir à la source, non ? (Dans le cas particulier des navigateurs que j'ai mentionné : ça évite de retélécharger des trucs possiblement assez lourds. À titre d'exemple, Element, le client Web pour Matrix, prend, selon l'état du réseau, facilement plusieurs minutes à charger avant d'être mis en cache (ce à quoi on répondra avec raison qu'un truc de ce style n'a aucune raison de tourner dans un navigateur web à la base et que ça devrait être un client lourd, mais c'est une autre question). Dans d'autres registres, par exemple pourquoi pas les jeux vidéos, la mise en cache peut concerner par exemple la compilation de shaders, ce qui demande du temps et des efforts à la machine)

Effectivement, le coût de génération de la grosse majorité des caches est sans commune mesure avec les ressources dont il y a besoin pour entraîner les LLM et compagnie. Mais sur le principe de fonctionnement, il me semble qu'on est beaucoup plus proches d'un truc comme ça que d'une base de données. D'autant que, bon, les efforts requis pour la génération d'un cache dépendent de ce qu'il y a à gérer dedans, et dans le cas d'un LLM, on parle plus ou moins de gérer l'ensemble des écrits et des dessins réalisés par l'humanité, donc c'est aussi un peu cohérent que ce ne soit pas la mise en cache la plus triviale qui soit.

[vv221]

Dans d'autres registres, par exemple pourquoi pas les jeux vidéos, la mise en cache peut concerner par exemple la compilation de shaders, ce qui demande du temps et des efforts à la machine

Ça c’est surtout du aux devs qui ne font pas leur boulot correctement : ces shaders ne sont généralement pas dépendants du matériel du joueur, et ne devraient donc pas être générés localement. D’ailleurs c’est une "mode" relativement récente de les faire générer sur la machine du joueur, pendant longtemps ils étaient simplement fournis avec le jeu, déjà compilés.

[Elzen]

'faut dire que, pendant longtemps, les machines des joueurs n'avaient pas forcément les ressources pour faire ça en même temps que faire tourner le jeu, donc forcément

(Pas le seul cas où l'évolution des puissances de machines conduit à un gâchis de ressources énormes, hélas.)

(Mais on s'éloigne peut-être un peu du sujet.)

Sinon, Gee a publié ceci qui mérite aussi la lecture.

[vv221]

Un article, en anglais, qui résume parfaitement ma position sur ce sujet : I Am An AI Hater.

En particulier ces trois phrases, qui sont exactement ce que j’avais en tête au moment de la rédaction du billet que je présente en ouverture de ce fil :

I am not here to make a careful comprehensive argument, because people have already done that. If you’re pushing slop or eating it, you wouldn’t read it anyway. You’d ask a bot for a summary and forget what it told you, then proceed with your day, unchanged by words you did not read and ideas you did not consider.

Ce qui explique pourquoi la première version n’avait aucun lien vers aucune source, ni aucun suggestion de lecture pour pousser la réflexion plus loin.

[SergioToutCourt]

ces temps ci, quelques difficultés a accéder à la CC, cela paraît aléatoire ?

C’est lié à des attaques par les bots pillant les messages du forum pour remplir les bases de données servant à concevoir des IA génératives. Je viens encore de bloquer quelques dizaines de milliers de machines participant à ces attaques, ça devrait calmer les choses.

EDIT : Quelques dizaines de milliers ça ne suffisait pas, il a fallu que j’y retourne. Deux bonnes heures de ma soirée perdues à cause de ces parasites.

a propos des crawlers IA


https://intelligence-artificielle.devel ... de-Fastly/

[Finrod Felagund]

Cela fait quelques mois que je suis tombé dans le terrier du lapin concernant l'IA (et surtout les LLMs, qui en sont une des incarnations), et ben ça fout un peu en crise existentielle quand même.

Car pour le moment, nous en sommes, je pense, plutôt au début du déploiement des llms. On ne sait pas encore s'ils commencent à plafonner (certains semblent penser que oui, sans pouvoir l'affirmer), mais leur intégration progressive dans les entreprises et l'économie n'est pas encore vraiment effectuée en général. C'est donc dans les prochains mois et années que l'on va vraiment voir si ça passe ou si ça casse, et quelle proportion d'emplois se retrouvent augmentée ou remplacée.

Mais c'est surtout pour le futur que cela se révèle inquiétant. Le but de la technologie, en elle-même (car oui, c'est le but poursuivi par ceux derrière cette technologie, mais également celui qui avait été mis en avant par les pionniers du domaine de l'IA), c'est bien de pouvoir créer une machine pouvant effectuer toutes les tâches aussi bien, et même mieux que les humains à terme, soit l'intelligence générale artificielle. Outre le fait que du coup, une telle technologie remplacerait à peu près tous les emplois possibles, ça soulève bien sûr tout un tas de questions concernant les moyens de faire fonctionner une société qui disposerait d'un tel outil (qui contrôlerait la machine, à quelles fins, est-ce que des moyens de subsistance seraient garantis à tout le monde, etc...). Surtout, une telle machine, si elle venait à devenir "consciente" (et à acquérir des buts propres), pourrait très bien décider d'aider l'humanité, mais peut-être aussi de la détruire (Skynet en vrai quoi), ou encore autre chose (sans que l'on puisse vraiment savoir à l'avance).

De ce que je comprends, les avis divergent, mais cette technologie n'est pas encore là, et a priori, on n'aurait pas tout à fait idée du chemin pour y parvenir. Certains l'annoncent toutefois dans des délais très courts (à l'échelle d'une vie humaine, soit d'ici quelques décennies quoi), même si bien sûr, qui vivra verra. J'ajouterais qu'on n'a sans doute pas besoin de parvenir à ce stade pour que la technologie se révèle profondément disruptrice de nos sociétés.

Ajoutons à cela les effets sur l'internet (qui se font sentir jusqu'à ce forum), le fait qu'il y ait toute une génération qui soit en train de servir de cobaye aux effets des llms sur le cerveau (je les plains vraiment, ils s'étaient déjà mangé le covid et les réseaux sociaux), et que des personnes en soient déjà à tomber amoureuses de chatgpt (sisi), et effectivement, on ne peut pas dire qu'on soit bien embarqué pour le moment.

Bref, pour quelqu'un comme moi, qui est matérialiste d'un point de vue philosophique, et qui n'a donc aucun mal à imaginer qu'une technologie puisse bien un jour reproduire un humain via une machine, les questions sont assez vertigineuses: aurais-je toujours un taff d'ici quelques années ? Il y aura-t-il toujours une réalité partagée pour les humains que nous sommes ? Est-ce que j'aurai toujours de quoi boire si je suis en concurrence avec les besoins en eau de Claude ? Et, au final, le Finrod rêvera-t-il un jour d'un androïde (forcément électrique) ? Car peut-être sera-ce cela le pire: ne pas détester les machines, mais les aimer contre son gré .

[Elzen]

D'un point de vue philosophique, je n'ai aucune difficulté à considérer que, si on pouvait reproduire le fonctionnement d'un cerveau avec un ordinateur, celui-ci pourrait devenir conscient. Sauf que ça reste une question purement philosophique, dans la mesure où le fonctionnement d'un LLM, ou de quoi que ce soit d'autre existant actuellement, en est très éloigné. Et que les chances que ça devienne quoi que ce soit de fiable sont très faibles étant donné la façon dont c'est actuellement conçu. Mais pour ce genre de questions, je te renvoie plutôt à ce sujet

[Finrod Felagund]

Yep Elzen, j'avais bien vu le sujet que tu pointes. Mais comme c'est celui-ci qui était remonté ces jours-ci, je me suis dit qu'autant poster ici '.

[vv221]

Certains l'annoncent toutefois dans des délais très courts (à l'échelle d'une vie humaine, soit d'ici quelques décennies quoi)

Les seuls qui font ça sont ceux qui ont un produit à vendre. Absolument aucun scientifique sérieux ne parle d’IA générale à court terme.

aurais-je toujours un taff d'ici quelques années ?

Pas forcément, mais l’IA n’y sera pour rien. Lors de licenciements, son rôle se limite à être un prétexte, jamais la raison réelle.

[Finrod Felagund]

Les seuls qui font ça sont ceux qui ont un produit à vendre. Absolument aucun scientifique sérieux ne parle d’IA générale à court terme.

Je pensais à Geoffrey Hinton, qui a probablement moins de licences llms à refourguer que d'autres, et qui a des échelles de temps assez courtes. Mais ça vaut ce que ça vaut.

Pas forcément, mais l’IA n’y sera pour rien. Lors de licenciements, son rôle se limite à être un prétexte, jamais la raison réelle.

Pour le moment, en tout cas (enfin, je pense). Ceci dit, certains se demandent si plutôt que de licencier, certaines entreprises ne réduisent pas les embauches, plutôt.

Edit: Je vais en tester certaines, spécialisées, pour le boulot. Curieux de voir ce que cela donnera.

[Elzen]

Yep Elzen, j'avais bien vu le sujet que tu pointes. Mais comme c'est celui-ci qui était remonté ces jours-ci, je me suis dit qu'autant poster ici '.

Je dirais que ça dépend de ce dont tu veux causer. L'autre sujet est plutôt sur les aspects techniques de la façon dont fonctionne l'IA, et celui-ci plutôt sur les implications que ça autour. Enfin, il me semble que c'est une découpe qui ne marche pas trop mal

Sinon, concernant les effets sur l'emploi : en l'état (et ça ne risque pas de changer de sitôt vue la façon dont ces trucs fonctionnent), il est toujours nécessaire de repasser tellement derrière que virer des gens pour ça est un très mauvais investissement