venerdì 8 novembre 2024

Domande a una AI

20241108-teddy-bear
Presentiamo un caso di studio di caso di una conversazione con il chatbot basato sull'intelligenza artificiale ChatGPT. Abbiamo chiesto al chatbot di rispondere a una domanda di fisica di base che sarà familiare alla maggior parte degli insegnanti di fisica: "Un orsacchiotto viene lanciato in aria. Qual è la sua accelerazione nel punto più alto?" Le risposte del chatbot, sebbene linguisticamente piuttosto avanzate, erano inaffidabili nella loro correttezza e spesso piene di contraddizioni. Abbiamo quindi tentato di impegnarci in un dialogo socratico con il chatbot per risolvere gli errori e le contraddizioni, ma con scarso successo. Abbiamo scoperto che ChatGPT non è ancora abbastanza buono da essere utilizzato come strumento di cheating per gli studenti di fisica o come tutor di fisica. Tuttavia, lo abbiamo trovato abbastanza affidabile nel generare risposte errate su cui gli insegnanti di fisica potrebbero allenare la valutazione delle risposte degli studenti.
Trovo che la conclusione dell'abstract (più sotto il riferimento completo) sia piuttosto ironica: piuttosto userei le risposte errate di ChatGPT per stimolare lo spirito critico degli studenti. Forse, però, era questo il senso di quelle due righe.
Ad ogni modo i risultati di questa ricerca datata 2023 non mi stupiscono. E i motivi sono diversi. Innanzitutto per il fatto stesso che stiamo parlando di un chatbot che cerca le sue risposte nella rete. Ed essendo queste una media statistica delle risposte che trova, sostanzialmente fornisce risposte nella media della popolazione. Quindi, di fatto, diventa una specie di misura della cultura generale in un qualche campo specifico, per esempio la fisica. E si può intuire leggendo l'articolo che nel complesso se ne sa molto poco, di fisica.
Un altro motivo è legato allo stato dell'arte della ricerca nel campo: le reti neurali attualmente in giro sono altamente specializzate e non riescono a essere abbastanza brave in più campi. Per esempio ChatGPT è esperto nella conversazione. Il modo più utile per usarlo è come una specie di motore di ricerca, solo un po' più veloce di come faremmo noi le ricerche. Al momento non riesce a fare nulla di più. Era così un anno fa ed è così ancora oggi.
E c'è, infine, un altro motivo, legato alle difficoltà nel disimparare, come era stato osservato all'inizio di quest'anno.
In sintesi: ChatGPT è ancora uno strumento acerbo, col quale fare qualche giochetto ogni tanto. Dovremmo sfruttare questa fase in cui molte aziende cercano di tirare su soldi da strumenti non ancora maturi per aumentare la nostra consapevolezza come utilizzatori, sia per non essere imbrogliati (e imbrigliati) da queste stesse aziende, sia per poter sfruttare queste "intelligenze artificiali" con, appunto, quello spirito critico che citavo all'inizio del mio commento.
Gregorcic, B., & Pendrill, A. M. (2023). ChatGPT and the frustrated Socrates. Physics Education, 58(3), 035021. doi:10.1088/1361-6552/acc299

L'immagine di apertura è stata generata con NightCafe

Nessun commento:

Posta un commento