Ritengo doveroso articolare una riflessione.
Il post della Bender
https://medium.com/@emilymenonbender/stochastic-parrots-frequently-unasked-questions-49c2e7d22d11
dice:
in Bender and Koller 2020 ... we provide a definition of
understanding as mapping from language to something outside of
language, and show that systems built only with linguistic form have
no purchase with which to encode (“learn”) such a mapping.
Ovvero: Definiamo comprensione come una corrispondenza tra linguaggio
e qualcosa fuori il linguaggio. Un sistema addestrato solo sulle forme
linguistiche non ha modo di codificare questa corrispondenza.
Dopo di che dice:
_Stochastic parrots was coined to refer to language models, i.e.
systems trained only on linguistic form used to mimic the kinds of
sequences of linguistic form that people use._
Ovvero: Il termine "pappagalli stocastici" si riferiva ai sistemi
addestrati sulle forme linguistiche che imitano quelle che usano le
persone.
E poi dice ancora, e qui c'è l'espressione che si pensa scardini
tutto:
_It is true that image/text models, for example, that can be used
to map from linguistic strings to images or vice versa, can be argued
to meet the definition of understanding in Bender & Koller 2020,
albeit in an extremely thin way_.
Ovvero: si può sostenere che un modello misto con testo e immagini,
che mette in corrispondenza testi con immagini o viceversa, risponda
alla nostra definizione di comprensione, anche se in un modo
estremamente sottile.
E poi continua:
_When we look at the text in an image/text model, we make sense of
it in a way that is rich and socially situated and we must not project
that onto the model if we want to keep a clear-eyed view of how such
models actually function (and in what circumstances we should be
willing to use them)_.
Ovvero: quando noi guardiamo il testo di un modello misto con testo e
immagini, lo comprendiamo in modo ricco e socialmente situato, che non
deve essere proiettato sul modello, se vogliamo mantenere una visione
chiara su come il modello funziona effettivamente
E infine:
_Even if there is some thin kind of technical “understanding”
in e.g. a text/image model, the fact that it’s using our language at
all will send misleading signals about what is actually going on, so
long as we relate to language as we always do (and I don’t see how
we can avoid doing so)_.
Ovvero: anche se c'è una esile forma di "comprensione" in senso
tecnico in un modello misto con testo e immagini, il semplice fatto
che usi il nostro linguaggio ci manda segnali fuorvianti su ciò che
sta accadendo, finché noi ci relazioniamo al linguaggio come sempre
facciamo (e non vedo come potremmo fare diversamente)
Ecco, leggendo questi passi tutti insieme e non estraendo solo la
frase "risponde alla nostra definizione di comprensione", si capisce
che l'accoppiamento fra testo e immagine rientra da un punto di vista
sintattico (_in an estremely thin way_ - direi per un capello) nella
definizione tecnica di comprensione della Bender, ma non è la
comprensione umana. Notate che dice che siamo NOI che lo comprendiamo
(_we make a sense of it_) sulla base della nostra esperienza. Infatti,
questo "qualcosa fuori il linguaggio" della definizione è l'intento
comunicativo del parlante, che è basato sul mondo reale che parlante
e ascoltatore condividono (_the communicative intent is grounded in
the real world the speaker and listener inhabit together_).
Se si legge con attenzione l'articolo di Bender & Koller del 2020
citato nel post della Bender
(https://www.aclweb.org/anthology/2020.acl-main.463/ - cosa che vi
invito a fare, è abbastanza accessibile) tutto questo è molto
chiaro, così come la tesi principale di quell'articolo, che rimane
interamente salda e non scalfita.
_We argue that the language modeling task, because it only uses
form as training data, cannot in principle lead to learning of
meaning. ... We take (linguistic) meaning to be the relation between a
linguistic form and communicative intent_.
Certo, uno può leggere nel recente post della Bender quello che
vuole, ma argomentare trionfanti che "è una retromarcia bella grossa"
mi sembra esagerato.
Questo non vuol ovviamente dire che progressi nella ricerca e nelle
architetture dei sistemi di IA non potranno darci in futuro una
qualche forma di comprensione, che con le attuali architetture non
c'è.
Ciao, Enrico
Il 14/05/2026 00:43, Fabio Alemagna via nexa ha scritto:
Riporto qui un post di Alberto Puliafito, pubblicato su Facebook::
https://www.facebook.com/share/p/18kiudNQqK/
_______________
🦜🤖 Ci sono molte cose interessanti nelle precisazioni di Emily
Bender sui pappagalli stocastici. Queste precisazioni, finalmente,
potrebbero aiutarci a depurare il dibattito e a concentrarci sulla
parte del lavoro di Bender che è davvero importante: lo studio e la
critica dei rapporti di potere dentro l'industria delle intelligenze
artificiali.
Ma andiamo con ordine.
La prima cosa interessante è il fatto stesso che ci sia stato il
bisogno, cinque anni dopo la pubblicazione di "On the Dangers of
Stochastic Parrots", di fare delle precisazioni.
La seconda è il chiarimento sul fatto che "pappagalli stocastici"
è solo una metafora e non un'ipotesi empirica.
La terza è il fatto che secondo Bender "pappagalli stocastici" non
dovrebbe essere usato come "insulto" nei confronti della tecnologia.
Suo malgrado, però, è quel che è stato fatto.
La quarta e più importante, per me, è questo passaggio qui sulla
comprensione: "It is true that image/text models, for example, that
can be used to map from linguistic strings to images or vice versa,
can be argued to meet the definition of understanding in Bender &
Koller 2020 — albeit in an extremely thin way".
Si può provare a sostenere che questa non sia una retromarcia. Ma
è una retromarcia bella grossa, per quanto manovrata con
delicatezza e ottima arte retorica. Nel 2020, nel 2021 e fino al
2024 almeno, Bender affermava che non si potesse parlare di
"understanding" da parte dei modelli secondo la sua stessa
definizione. Adesso, invece, c'è uno spiraglio. E uno spiraglio è
diverso da "non c'è understanding". Molto diverso.
Da qui in avanti mi aspetto una serie di lente ma inesorabili
operazioni di riposizionamento da parte di molte persone che hanno
usato – impropriamente, come dice oggi Bender stessa, finalmente
– la metafora dei pappagalli stocastici per sminuire i large
language model.
Ovviamente gli errori e i danni fatti dai detrattori e dai
minimizzatori non verrano mai riconosciuti come tali, ma questo è
comunque un punto di non ritorno sia per i critici a priori di
queste tecnologie sia per chi ha usato i pappagalli per costruirsi
un posizionamento personale.
La metafora – non ipotesi empirica – dei pappagalli stocastici,
per quanto affascinante, era già riduttiva quando è stata
proposta. In questi cinque anni lo è diventata sempre di più ma
nel frattempo è diventata addirittura identitaria, ingombrando il
dibattito e portandolo completamente fuori fuoco.
Adesso che quella metafora perde i pezzi, resta, appunto, la parte
del lavoro di Bender che era la più utile fin dall’inizio: la
critica al potere.
Link:
1) Climbing towards NLU: On Meaning, Form, and Understanding in the
Age of Data (Emily M. Bender, Alexander Koller, 2020)
https://aclanthology.org/2020.acl-main.463/
2) On the Dangers of Stochastic Parrots: Can Language Models Be Too
Big? 🦜 (Emily M. Bender, Timnit Gebru, Angelina McMillan-Major,
Shmargaret Shmitchell, 2021
https://dl.acm.org/doi/10.1145/3442188.3445922 )
3) Stochastic Parrots 🦜: Frequently Unasked Questions (Emily M.
Bender,
https://medium.com/@emilymenonbender/stochastic-parrots-frequently-unasked-questions-49c2e7d22d11
)
4) Video, Chatbot Critics: Chatbots as Stochastic Parrots, Emily M.
Bender https://www.youtube.com/watch?v=f4OZ7B2iP_E
--
-- EN
https://www.hoepli.it/libro/la-rivoluzione-informatica/9788896069516.html
======================================================
Prof. Enrico Nardelli
Presidente di "Informatics Europe"
Direttore del Laboratorio Nazionale "Informatica e Scuola" del CINI
Dipartimento di Matematica - Università di Roma "Tor Vergata"
Via della Ricerca Scientifica snc - 00133 Roma
home page: https://www . mat . uniroma2 . it/~nardelli
blog: https://link-and-think.blogspot.it/
tel: +39 06 7259.4204 fax: +39 06 7259.4699
mobile: +39 335 590.2331 e-mail: nardelli@mat . uniroma2 . it
online meeting: https://blue.meet.garr.it/b/enr-y7f-t0q-ont
======================================================================================================
--
