Ciao Fabio, 

grazie per questa segnalazione assolutamente affascinante.

On Wed, 17 Jul 2024 12:39:12 Fabio Alemagna <falem...@gmail.com> wrote:

> > I've developed Molly, a conversational agent with an inner
> > monologue, using OpenAI's Large Language Model (LLM).

Ehm... no.

L'autore ha sviluppato un agente che _simula_ un monologo interiore.

E trovo veramente affascinante che abbia compreso così poco di ChatGPT
da non cogliere la differenza e concludere niente meno che:

```
It shows that a machine can have an inner monologue, and that this
inner monologue looks like consciousness.
And if Attention Schema Theory is right, then Molly is conscious.
[...] Sentient beings may not be very far away. 
```

Ma... lool! :-D

Quello non è il dialogo interiore di Molly, ma un testo generato da
GPT-3 sulla base di un prompt a partire da un dialogo di esempio.

> PS: ho replicato l'esperimento con ChatGPT-4. con risultati del tutto
> analoghi, se non migliori.

Se vuoi possiamo fare lo stesso gioco via mail: riuscirò a convincerti
che Molly ha una coscienza se ti scrivo un po' di frasi che iniziano
con "Molly (to herself): " prima di una frase che inizia con "Molly: "?
(vedi https://github.com/marmelab/molly/blob/main/src/Discussion.tsx )

E ciò che scriverò dopo "Molly (to herself): " sarà ciò che pensa Molly
o ciò che penso io? Oppure ciò che io penso che Molly potrebbe pensare?

Tendo a propendere per quest'ultima ipotesi, non foss'altro per il
fatto che non esisterà alcuna Molly nella nostra simulazione via email
e io non sono timido come richiesto dal prompt. ;-)

Dunque se ciò che ti scrivo io non dimostra che Molly ha una coscienza,
come potrebbe dimostrarlo l'output di Open AI?


E se cambiassimo il prompt descrivendo una Molly schizofrenica,
sosterresti che GPT è schizofrenico? Se la nostra Molly fosse
un'assassina psicopatica, crederesti GPT psicopatico?

E se eseguissimo il nostro simulatore in parallelo, tu con la Molly
timida e io con una aggressiva, GPT avrebbe personalità multiple?


Vedi Fabio, questo esperimento è VERAMENTE interessante perché dimostra
che, sebbene sia sufficiente leggere il codice per osservare che GPT
non sta rivelando alcunché della PROPRIA coscienza (che non ha), coloro
che VOGLIONO CREDERE nella favola della "intelligenza artificiale" sono
disposti ad accettare acriticamente a qualsiasi "fake experiment" che
sembri dimostrare l'esistenza di qualcosa che non c'è.


Ricorda "I want to believe" di Fox Mulder. Ma questo non è un film.


D'altro canto, non è tutta colpa loro.

Lo stesso creatore di Molly sottolinea come la APT:

> introduces a concept called "attention", which is reminiscent
> of the famous "Attention is all you need" that triggered the recent
> spike in Language Model performance.

Se avessero chiamato il meccanismo in questione "contextual token
prioritization" invece di "attention" l'autore si sarebbe risparmiato
una brutta figura (e il resto del mondo, un'allucinazione collettiva).

Ma è un paper di Google, quindi... ¯\_(ツ)_/¯


Giacomo

Reply via email to