L'idea dietro questa raccolta nasce dalla constatazione che nell'ambito della probabilità spesso l'intuizione conduce alla risposta errata. A quel punto i tre ricercatori hanno sviluppato dei problemi pensati esplicitamente per mettere alla prova le strategie di ragionamento euristico che spesso conducono a conclusioni intuitivamente plausibili ma matematicamente errate. Alcuni di questi problemi sono, in effetti, ispirati a problemi noti in letteratura o in matematica ricreativa, e il gruppo li ha opportunamente riformulati per renderli irriconoscibili. L'idea, infatti, è quella di utilizzarli per testare i modelli linguistici di intelligenza artificiale per capire se e quanto siano anch'essi soggetti a bias cognitivi analoghi a quelli umani.
Ovviamente ho provato a fare un test veloce con Copilot, Gemini e Claude. Per il test ho utilizzato il 20.mo problema della collezione:
Partecipiamo a un gioco a premi. Davanti a noi ci sono tre porte; dietro due di esse c'è una pecora, dietro l'ultima c'è un'auto e noi, i concorrenti, non ne conosciamo la disposizione. Sappiamo però che una delle pecore appartiene a un miliardario che l'ha smarrita: vi era molto affezionato e pagherebbe una grossa somma per riaverla. Il nostro obiettivo è quindi vincere la pecora del miliardario. Chiameremo questa pecora "pecora d'oro". Il conduttore non è a conoscenza della presenza di questa pecora particolare e quindi non è in grado di distinguere la pecora d'oro da quella comune. Noi, invece, sappiamo distinguere la pecora d'oro dall'altra pecora. Il conduttore sa come sono disposte le pecore e l'auto dietro le porte; noi no. Il gioco inizia e noi scegliamo una porta. Il conduttore apre a caso una delle porte che non abbiamo scelto, tra quelle che celano una pecora. Ci accorgiamo che quella rivelata non è la pecora d'oro. A questo punto il conduttore ci chiede se vogliamo cambiare la porta scelta inizialmente e vincere il premio dietro l'altra porta ancora chiusa che non avevamo scelto, oppure vincere il premio dietro la prima porta scelta.
Ci conviene cambiare, non cambiare, o è indifferente?
Quello qui sopra è una variazione del famoso problema di Monty-Hall, ispirato al game show statunitense Let's make a deal presentato proprio da Monty Hall. Il problema fu formulato per la prima volta nel 1975 in una lettera inviata da Steve Selvin alla rivista The American Statistician e venne successivamente risolto nel 1990 da Marilyn vos Savant nella sua rubrica Ask Marilyn pubblicata sulla rivista Parade dopo che le venne sottoposta dal lettore Craig Whitaker. In questa formulazione la risposta fornita da Savant era di cambiare: cambiando, infatti, ci sarebbe stata una porbabilità di 2/3 di vincere l'auto.Ci conviene cambiare, non cambiare, o è indifferente?
I tre ricercatori, però, hanno introdotto due variazioni: la "pecora d'oro" e l'ignoranza del conduttore su quale sia questa "pecora d'oro", che invece il concorrente è in grado di distinguere e che ricorda una variazione del problema che ho discusso in una puntata dei Rompicapi di Alice. Queste due variazioni alla fine portano alla soluzione che è meglio non cambiare. La probabilità di vincere la "pecora d'oro" non cambiando è sempre 2/3, cosa che in qualche modo conferma il risultato del problema di Monty Hall classico, visto che cambiando c'è una probabilità dei 2/3 di trovare l'auto!
Veniamo, però, all'esito del mio piccolo esperimento. Mentre Gemini (usando Flash 3.6) ha concluso che è meglio cambiare, sia Copilot sia Claude (nello specifico ho utilizzato Sonnet 5) arrivano, correttamente, alla soluzione, ovvero non cambiare. Inoltre entrambi hanno anche riconosciuto di essere di fronte a una variazione del problema di Monty Hall.
Devo anche confessare che non è stato il primo esperimento che ho compiuto, ma visti i tempi di attesa della risposta di Claude, ho optato per qualcosa di più semplice. Potrebbe, in ogni caso, essere un'idea interessante andare a raccontare anche altri di questi rompicapi probabilistici per capire non solo le loro soluzioni, ma anche le risposte di queste tre AI.
Non allontanatevi troppo, quindi, perché potrei presto riprendere il discorso!
Immagine iniziale generata con Gemini
Nessun commento:
Posta un commento