Ritengo doveroso articolare una riflessione.
Il post della Bender
https://medium.com/@emilymenonbender/stochastic-parrots-frequently-unasked-questions-49c2e7d22d11
dice:
/in Bender and Koller 2020 ... we provide a definition of understanding
as mapping from language to something outside of language, and show that
systems built only with linguistic form have no purchase with which to
encode (“learn”) such a mapping.
/
Ovvero: Definiamo comprensione come una corrispondenza tra linguaggio e
qualcosa fuori il linguaggio. Un sistema addestrato solo sulle forme
linguistiche non ha modo di codificare questa corrispondenza.
Dopo di che dice:
/Stochastic parrots was coined to refer to language models, i.e. systems
trained only on linguistic form used to mimic the kinds of sequences of
linguistic form that people use./
Ovvero: Il termine "pappagalli stocastici" si riferiva ai sistemi
addestrati sulle forme linguistiche che imitano quelle che usano le persone.
E poi dice ancora, e qui c'è l'espressione che si pensa scardini tutto:
/It is true that image/text models, for example, that can be used to map
from linguistic strings to images or vice versa, can be argued to meet
the definition of understanding in Bender & Koller 2020, albeit in an
extremely thin way/.
Ovvero: si può sostenere che un modello misto con testo e immagini, che
mette in corrispondenza testi con immagini o viceversa, risponda alla
nostra definizione di comprensione, anche se in un modo estremamente
sottile.
E poi continua:
/When we look at the text in an image/text model, we make sense of it in
a way that is rich and socially situated and we must not project that
onto the model if we want to keep a clear-eyed view of how such models
actually function (and in what circumstances we should be willing to use
them)/.
Ovvero: quando noi guardiamo il testo di un modello misto con testo e
immagini, lo comprendiamo in modo ricco e socialmente situato, che non
deve essere proiettato sul modello, se vogliamo mantenere una visione
chiara su come il modello funziona effettivamente
E infine:
/Even if there is some thin kind of technical “understanding” in e.g. a
text/image model, the fact that it’s using our language at all will send
misleading signals about what is actually going on, so long as we relate
to language as we always do (and I don’t see how we can avoid doing so)/.
Ovvero: anche se c'è una esile forma di "comprensione" in senso tecnico
in un modello misto con testo e immagini, il semplice fatto che usi il
nostro linguaggio ci manda segnali fuorvianti su ciò che sta accadendo,
finché noi ci relazioniamo al linguaggio come sempre facciamo (e non
vedo come potremmo fare diversamente)
Ecco, leggendo questi passi tutti insieme e non estraendo solo la frase
"risponde alla nostra definizione di comprensione", si capisce che
l'accoppiamento fra testo e immagine rientra da un punto di vista
sintattico (/in an estremely thin way/ - direi per un capello) nella
definizione tecnica di comprensione della Bender, ma non è la
comprensione umana. Notate che dice che siamo NOI che lo comprendiamo
(/we make a sense of it/) sulla base della nostra esperienza. Infatti,
questo "qualcosa fuori il linguaggio" della definizione è l'intento
comunicativo del parlante, che è basato sul mondo reale che parlante e
ascoltatore condividono (/the communicative intent is grounded in the
real world the speaker and listener inhabit together/).
Se si legge con attenzione l'articolo di Bender & Koller del 2020 citato
nel post della Bender
(https://www.aclweb.org/anthology/2020.acl-main.463/ - cosa che vi
invito a fare, è abbastanza accessibile) tutto questo è molto chiaro,
così come la tesi principale di quell'articolo, che rimane interamente
salda e non scalfita.
/We argue that the language modeling task, because it only uses form as
training data, cannot in principle lead to learning of meaning. ... We
take (linguistic) meaning to be the relation between a linguistic form
and communicative intent/.
Certo, uno può leggere nel recente post della Bender quello che vuole,
ma argomentare trionfanti che "è una retromarcia bella grossa" mi sembra
esagerato.
Questo non vuol ovviamente dire che progressi nella ricerca e nelle
architetture dei sistemi di IA non potranno darci in futuro una qualche
forma di comprensione, che con le attuali architetture non c'è.
Ciao, Enrico
Il 14/05/2026 00:43, Fabio Alemagna via nexa ha scritto:
Riporto qui un post di Alberto Puliafito, pubblicato su Facebook::
https://www.facebook.com/share/p/18kiudNQqK/
_______________
🦜🤖 Ci sono molte cose interessanti nelle precisazioni di Emily
Bender sui pappagalli stocastici. Queste precisazioni, finalmente,
potrebbero aiutarci a depurare il dibattito e a concentrarci sulla
parte del lavoro di Bender che è davvero importante: lo studio e la
critica dei rapporti di potere dentro l'industria delle intelligenze
artificiali.
Ma andiamo con ordine.
La prima cosa interessante è il fatto stesso che ci sia stato il
bisogno, cinque anni dopo la pubblicazione di "On the Dangers of
Stochastic Parrots", di fare delle precisazioni.
La seconda è il chiarimento sul fatto che "pappagalli stocastici" è
solo una metafora e non un'ipotesi empirica.
La terza è il fatto che secondo Bender "pappagalli stocastici" non
dovrebbe essere usato come "insulto" nei confronti della tecnologia.
Suo malgrado, però, è quel che è stato fatto.
La quarta e più importante, per me, è questo passaggio qui sulla
comprensione: "It is true that image/text models, for example, that
can be used to map from linguistic strings to images or vice versa,
can be argued to meet the definition of understanding in Bender &
Koller 2020 — albeit in an extremely thin way".
Si può provare a sostenere che questa non sia una retromarcia. Ma è
una retromarcia bella grossa, per quanto manovrata con delicatezza e
ottima arte retorica. Nel 2020, nel 2021 e fino al 2024 almeno, Bender
affermava che non si potesse parlare di "understanding" da parte dei
modelli secondo la sua stessa definizione. Adesso, invece, c'è uno
spiraglio. E uno spiraglio è diverso da "non c'è understanding". Molto
diverso.
Da qui in avanti mi aspetto una serie di lente ma inesorabili
operazioni di riposizionamento da parte di molte persone che hanno
usato – impropriamente, come dice oggi Bender stessa, finalmente – la
metafora dei pappagalli stocastici per sminuire i large language model.
Ovviamente gli errori e i danni fatti dai detrattori e dai
minimizzatori non verrano mai riconosciuti come tali, ma questo è
comunque un punto di non ritorno sia per i critici a priori di queste
tecnologie sia per chi ha usato i pappagalli per costruirsi un
posizionamento personale.
La metafora – non ipotesi empirica – dei pappagalli stocastici, per
quanto affascinante, era già riduttiva quando è stata proposta. In
questi cinque anni lo è diventata sempre di più ma nel frattempo è
diventata addirittura identitaria, ingombrando il dibattito e
portandolo completamente fuori fuoco.
Adesso che quella metafora perde i pezzi, resta, appunto, la parte del
lavoro di Bender che era la più utile fin dall’inizio: la critica al
potere.
Link:
1) Climbing towards NLU: On Meaning, Form, and Understanding in the
Age of Data (Emily M. Bender, Alexander Koller, 2020)
https://aclanthology.org/2020.acl-main.463/
2) On the Dangers of Stochastic Parrots: Can Language Models Be Too
Big? 🦜 (Emily M. Bender, Timnit Gebru, Angelina McMillan-Major,
Shmargaret Shmitchell, 2021
https://dl.acm.org/doi/10.1145/3442188.3445922 )
3) Stochastic Parrots 🦜: Frequently Unasked Questions (Emily M.
Bender,
https://medium.com/@emilymenonbender/stochastic-parrots-frequently-unasked-questions-49c2e7d22d11
)
4) Video, Chatbot Critics: Chatbots as Stochastic Parrots, Emily M.
Bender https://www.youtube.com/watch?v=f4OZ7B2iP_E
--
-- EN
https://www.hoepli.it/libro/la-rivoluzione-informatica/9788896069516.html
======================================================
Prof. Enrico Nardelli
Presidente di "Informatics Europe"
Direttore del Laboratorio Nazionale "Informatica e Scuola" del CINI
Dipartimento di Matematica - Università di Roma "Tor Vergata"
Via della Ricerca Scientifica snc - 00133 Roma
home page: https://www . mat . uniroma2 . it/~nardelli
blog: https://link-and-think.blogspot.it/
tel: +39 06 7259.4204 fax: +39 06 7259.4699
mobile: +39 335 590.2331 e-mail: nardelli@mat . uniroma2 . it
online meeting: https://blue.meet.garr.it/b/enr-y7f-t0q-ont
======================================================================================================
--
