Agenti del caos

Nel preprint Agents of Chaos un gruppo di ricercatori ha studiato alcuni agenti di intelligenza artificale dotati di memoria persisente, account e-mail, accesso a Discord, file system e shell di comando. Ciò che i ricercatori hanno scoperto è qualcosa che va ben oltre i problemi noti con i bias generalmente introdotti nei modelli linguistici usuali:

I comportamenti osservati includono conformità non autorizzata con soggetti non proprietari, divulgazione di informazioni sensibili, esecuzione di azioni distruttive a livello di sistema, condizioni di denial-of-service, consumo incontrollato di risorse, vulnerabilità di spoofing dell'identità, propagazione tra agenti di pratiche non sicure e acquisizione parziale del sistema. In diversi casi, gli agenti hanno segnalato il completamento di un'attività, mentre lo stato del sistema sottostante contraddiceva tali segnalazioni.

I risultati dei ricercatori mostrano, quindi, l'esistenza di vulnerabilità potenzialmente pericolose per la privacy dei cittadini e la sicurezza più in generale. Secondo il gruppo di ricercatori tali vulnerabilità dovrebbero essere prese urgentemente in considerazione da politici, giuristi e ricercatori in generale.
Se consideriamo che si fa sempre più largo l'idea di affidare molti controlli delicati proprio alle IA, la questione risulta particolarmente delicata, ma non è detto che, ricercatori pubblici a parte, si sentirà una vera esigenza di affrontarla. E come risultato si rischia di piangere quando i buoi saranno usciti dal recinto.

---

Immagine d'apertura generata con Copilot