grazie del rimando
siamo sempre lì: i sistemi di IA producono testo.
e sono generativi quindi ad ogni run producono testo un po' differente.
quindi fanno ciò per cui sono costruiti: quindi usarli e prendere per
validi/veri i loro output parla più dell'inadeguata formazione di chi li
usa, che di una malignità dei sistemi di IA
il di più di Quattrociocchi secondo me è nel finale:
L’EpistemIA nasce esattamente in questo punto di contatto: dove un
meccanismo cieco rispetto al mondo incontra un utente che cerca
conoscenza, non testo. L’utente vede coerenza grammaticale, tono
competente, riferimenti plausibili, e scambia tutto questo per prova.
Ma il modello non “sa” se ciò che dice è vero; non ha un luogo interno
dove la verità possa essere rappresentata o controllata. La verifica,
se avviene, è sempre esterna: siamo noi. E proprio mentre ci affidiamo
al sistema per risparmiarci la fatica della verifica, la verifica
stessa scompare dall’orizzonte cognitivo: non viene più concepita come
fase necessaria del processo, perché è delegata.
Infatti il numero di ricercatori indipendenti, dotti-immaginari e
tutto il cucuzzaro di gente che dice menate cresce ogni giorno di più.
Per questo i vostri esempi sono così importanti: mostrano che non
siamo davanti a una collezione di bug da correggere con
l’aggiornamento successivo, ma a una trasformazione strutturale del
rapporto tra linguaggio e conoscenza. Non è un problema di
“accuratezza percentuale”, è lo slittamento da un ecosistema
informativo basato sulla ricerca e sul confronto di fonti a uno basato
sulla simulazione continua di risposte plausibili. Se non teniamo
fermo questo punto, ci ritroviamo a discutere di queste tecnologie
come se fossero motori di ricerca più evoluti o assistenti
infallibili, mentre sono un’altra cosa.
Sono interfacce che ricostruiscono il mondo a partire da come ne
abbiamo scritto, non da com'è.
Continuare a raccogliere casi non serve a fare l’elenco degli errori,
ma a mappare il perimetro di questa nuova condizione: un ambiente in
cui la facilità di produzione di testo può dare l’impressione che la
conoscenza sia a portata di chat, mentre in realtà si è solo spostato,
e reso invisibile, il lavoro più importante: quello della verifica.
1) la verifica, se avviene, è sempre esterna: siamo noi / si è solo
spostato, e reso invisibile, il lavoro più importante: quello della verifica
2) lo slittamento da un sistema informativo basato sulla ricerca e sul
confronto di fonti a uno basato sulla simulazione continua di risposte
plausibili
3) queste tecnologie non sono motori di ricerca, sono interfacce che
ricostruiscono il mondo a partire da come ne abbiamo scritto
perché noi qui discutiamo dei limiti, delle inadeguatezze,
dell'inutilità, nei vari ambiti: ma là fuori il cucuzzaro di gente che
dice menate cresce ogni giorno di più. e quindi occorre - penso ad
esempio tutti noi che insegniamo - costruire consapevolezza su alcuni
temi principali (nella cui linea vedo i tre punti che ho estratto da Q.,
ma ce ne possono essere anche altri) che sono stabili a prescindere dal
modello, dalla sottoversione, dal parametro in input ecc. ecc.
ad analogia con il "Manifesto della comunicazione non ostile" con i suoi
10 punti,
si potrebbe concepire, pensare, scrivere qui, un [Manifesto per l'uso
consapevole dell'IA]?
perché vedo il rischio di un "dum Romae consulitur Saguntum expugnatur"
- mentre a Roma si discute Sagunto viene espugnata. cioè là fuori l'IA
viene usata senza la minima cautela o consapevolezza (da alcuni con
massima consapevolezza, certo, ma per gestire tutti gli altri
incauti/inconsapevoli) e chi sa deve fare cose.
Maurizio
Il 18/11/25 08:31, Alfredo Bregni ha scritto:
Ho trovato su facebook questo "divertente" (per me) post di Walter
Quattrociocchi (https://www.facebook.com/share/p/1FuLevWrGQ/
<https://www.facebook.com/share/p/1FuLevWrGQ/>); relata refero.
*Quando si scambia un motore linguistico per altro*
Qualche tempo fa spiegavo agli studenti a cosa si va incontro con un
esempio pratico usando gli LLM per fare analisi dei dati.
Ho preso una serie di dati epidemiologici dal 2010 al 2014 e ho
chiesto al modello di costruire un grafico. Il risultato conteneva
anche valori del 2020–2021, cioè il periodo in cui la disponibilità di
dati esplode per via della pandemia. Non ha “rispettato i dati”; ha
seguito il punto di massima densità informativa.
Questi sistemi non “leggono” il tuo dataset, si muovono in uno spazio
linguistico che è già stratificato intorno alle zone dove il dato è
più abbondante, più ripetuto, più recente, più statisticamente
conveniente. Io gli chiedo 2010–2014; lui mi porta comunque a
2020–2021 perché lì il terreno è più fertile, più denso, più “sicuro”
dal punto di vista della plausibilità.
Se metto accanto a questo esperimento quello che via via raccolgo e
annoto, la trama è sempre la stessa. C’è chi prova a usare un modello
per generare codice o markup ripetitivo. All’inizio la procedura
sembra funzionare, poi, pagina dopo pagina, l’uscita si sfalda, la
coerenza si perde, le stesse istruzioni producono varianti divergenti,
e il costo di correzione supera quello di fare il lavoro a mano.
C’è chi usa il modello su contenuti specialistici (musica, armonia,
analisi di testi complessi) e ottiene risposte formalmente ben
confezionate ma concettualmente vuote. Dalle frasi lunghe con lessico
corretto, ma regole sbagliate in modo grossolano, come se il sistema
imitasse il rumore di fondo della disciplina senza averne mai
incontrato la struttura.
Il meccanismo è sempre lo stesso, in ambito tecnico succede lo stesso:
conversioni numeriche semplici, corrette per le prime richieste,
cominciano a deragliare non appena si aumenta leggermente la
complessità o la quantità di esempi. La procedura non si stabilizza,
non si “irrobustisce”, si ridispone ogni volta come se fosse la prima.
Quando si passa al dominio fattuale, la cosa diventa più inquietante:
cronologie storiche riscritte con sicurezza, programmi esistiti
dichiarati inesistenti o viceversa, riferimenti geografici inventati,
dettagli biografici attribuiti a persone reali senza alcuna base; solo
chi conosce già l’argomento ha gli strumenti per riconoscere
l’invenzione. Chi non sa, prende atto. E integra.
Nel dominio medico il pattern è ancora più evidente (alla faccia dei
racconti metaforici e appezzotati fatti a botte di epistemia). Un
referto viene interpretato con apparente competenza, alcuni dettagli
sono spiegati in modo plausibile, poi una sigla viene proiettata in un
contesto completamente incompatibile (ostetrico in presenza di un
apparato genitale maschile), e il sistema razionalizza l’errore invece
di riconoscerlo. Non dice “non lo so”, dice “ho capito, è un refuso”.
Nella produzione di testi culturali (guida turistica, analisi
letteraria, citazione poetica) si vede l’altro lato della stessa cosa,
ovvero la capacità di generare un testo perfettamente leggibile,
tonalmente adeguato, ritmato nel modo “giusto”, ma privo di informazioni.
Pagine intere che potresti spostare da un luogo all’altro del mondo
senza che cambi nulla.
Infine ci sono i casi di delega integrale con strumenti configurati
per monitorare notizie, che ripropongono come “nuovi” articoli vecchi
di mesi, oppure ne saltano di rilevanti senza criterio apparente;
manager convinti di risparmiare tempo affidando a un modello la
ricostruzione di cifre complesse, che si ritrovano con numeri
sbagliati di ordini di grandezza, ma esposti con tale sicurezza
lessicale da passare il primo vaglio superficiale.
Quello che tiene insieme tutte queste situazioni non è il singolo
errore, ma la combinazione di tre elementi: la fluidità del
linguaggio, la pressione verso le aree ad alta densità di dato e
l’assenza di una rappresentazione del mondo che faccia da vincolo.
L’idea bislacca, ma molto diffusa, che “basterebbe cambiare la base di
conoscenza” per risolvere il problema è la versione aggiornata della
vecchia fede nella fonte giusta. Come se il difetto fosse “cosa ha
letto il modello”, e non il modo in cui funziona. Aggiungere più dati,
o dati migliori, può ridurre alcuni errori di superficie, ma questi
sistemi non operano su un modello del mondo, non possiedono strutture
interne che garantiscano coerenza temporale, causale o concettuale.
Operano su distribuzioni di probabilità condizionate: massimizzano la
plausibilità linguistica locale, frase per frase, token per token.
Quando c’è molta informazione su un certo periodo, un certo evento, un
certo modo di parlare, il gradiente le spinge lì, anche se tu stai
chiedendo altro. Quando una spiegazione è stilisticamente convincente,
la produce, anche in assenza di un criterio che la colleghi a qualcosa
di vero.
L’EpistemIA nasce esattamente in questo punto di contatto: dove un
meccanismo cieco rispetto al mondo incontra un utente che cerca
conoscenza, non testo. L’utente vede coerenza grammaticale, tono
competente, riferimenti plausibili, e scambia tutto questo per prova.
Ma il modello non “sa” se ciò che dice è vero; non ha un luogo interno
dove la verità possa essere rappresentata o controllata. La verifica,
se avviene, è sempre esterna: siamo noi. E proprio mentre ci affidiamo
al sistema per risparmiarci la fatica della verifica, la verifica
stessa scompare dall’orizzonte cognitivo: non viene più concepita come
fase necessaria del processo, perché è delegata.
Infatti il numero di ricercatori indipendenti, dotti-immaginari e
tutto il cucuzzaro di gente che dice menate cresce ogni giorno di più.
Per questo i vostri esempi sono così importanti: mostrano che non
siamo davanti a una collezione di bug da correggere con
l’aggiornamento successivo, ma a una trasformazione strutturale del
rapporto tra linguaggio e conoscenza. Non è un problema di
“accuratezza percentuale”, è lo slittamento da un ecosistema
informativo basato sulla ricerca e sul confronto di fonti a uno basato
sulla simulazione continua di risposte plausibili. Se non teniamo
fermo questo punto, ci ritroviamo a discutere di queste tecnologie
come se fossero motori di ricerca più evoluti o assistenti
infallibili, mentre sono un’altra cosa.
Sono interfacce che ricostruiscono il mondo a partire da come ne
abbiamo scritto, non da com'è.
Continuare a raccogliere casi non serve a fare l’elenco degli errori,
ma a mappare il perimetro di questa nuova condizione: un ambiente in
cui la facilità di produzione di testo può dare l’impressione che la
conoscenza sia a portata di chat, mentre in realtà si è solo spostato,
e reso invisibile, il lavoro più importante: quello della verifica.
------------------------------------------------------------------------
non ci sono altri giorni
che questi nostri giorni
italo calvino, il cavaliere inesistente
------------------------------------------------------------------------
Maurizio Lana
Università del Piemonte Orientale
Dipartimento di Studi Umanistici
Piazza Roma 36 - 13100 Vercelli
