Salve Daniela, come avrai certamentr notato il postmortem può essere diviso in 3 parti:
1. L'elenco di fatti non negabili > On February 20, 2024, an optimization to the user experience introduced a bug > [...] > > LLMs generate responses by randomly sampling words based in part on > probabilities. [...] > > In this case, the bug was in the step where the model chooses these numbers. > [...] > > Upon identifying the cause of this incident, we rolled out a fix and > confirmed that > the incident was resolved. 2. L'antropomorfizzazione del modello > [... a bug] with how the model processes language. > > [...] Their “language” consists of numbers that map to tokens. > > [...] Akin to being lost in translation, the model chose slightly wrong > numbers, which > produced word sequences that made no sense. Povero! Povero modellino! :-D Notare le espressioni "processes language", "language consists", "lost in translation" e soprattutto "choose". E notare come quando gli output non supportano la loro narrazione sulla "intelligenza artificiale" diventano subito "word sequences that made no sense". L'output passa da "language" a "word sequences". Come se gli output prodotti "randomly sampling words based in part on probabilities" avessero un avuto senso prima del bug! 3. La supercazzola magica > More technically, inference kernels produced incorrect results when used in > certain > GPU configurations. Data la menzione delle probabilità e delle configurazioni delle GPU, scommetterei un caffé che il bug era riconducibile ad un overflow numerico o qualcosa di simile. Il software si rivela semplicemente per quello che è, privo di qualsiasi intelligenza. > Come hanno osservato in molti, la definizione di chatGPT fornita dai tecnici > di OpenAI > è quella a cui ci si riferisce con "pappagallo stocastico". Ed è anche quella considerata blasfema dai "believers" della AI. Che però si aggrapperanno a quell'innocente "in part" per continuare a credere alle favole. Piuttosto, su cosa si basa il software ChatGPT oltre alle probabilità? Semplicemente, la volontà di OpenAI/Microsoft, impressa nel codice delle varie parti dell'applicazione, dalla selezione dei contenuti, alle configurazioni, ai prefiltri e ai post filtri. Volontà che ChatGPT riprodurrà pedissequamente su vastissima scala, in tutti gli output rilevanti. Giacomo _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
