La memoria degli elefanti

Si sa, gli elefanti sono animali dotati di grande memoria. La cosa non è semplicemente leggendaria, ma scientificamente abbastanza ben verificata, come raccontato su Focus Junior da Valentina Rorato che utilizza, come fonte primaria, un interessante articolo di ricerca del 2008: Severe drought and calf survival in elephants, articolo che in realtà cercava di determinare gli elementi che avrebbero permesso a questi grandi mammiferi di poter sopravvivere alle siccità previste causate dal riscaldamento globale.
Il punto, però, è che questa memoria leggendaria ha suggerito a Gunter Schütz e Steffen Trimper di utilizzare proprio l'elefante per introdurre un nuovo concetto in matematica: le passeggiate casuali con memoria. La proposta, che risale al 2008, prevedeva infatti che l'incremento nella passeggiata casuale dipendeva dagli incrementi precedenti, e quindi dalla "memoria" del camminatore.
Non a caso, scorrendo l'articolo, ci si ritrova di fronte a un'equazione significativa: \[X_t = X_0 = \sum_{t'1=1}^t \sigma_{t'}\] sove \(X_t\) è la posizione dell'elefante (sì! il camminatore è detto proprio "elefante" nell'articolo!) al tempo \(t\), \(X_0\) è ovviamente la posizione iniziale, \(\sigma_{t'}\) è una variabile casuale i cui valori al variare di \(t'\) dipendono, con una certa probabilità, dai valori precedenti. La cosa interessante è che il modello presenta due valori critici per il parametro legato alla memoria della passeggiata e dunque due tranzisizioni di fase.
L'interesse in questa osservazione nasce dal fatto che, fondamentalmente, la matematica alla base della passeggiata casuale dell'elefante, nome pop per le passeggiate casuali con memoria lunga, ovvero random walks with long-memory, è molto simile a quella del modello di Ising e, quindi, delle reti neurali. E in effetti sono state osservate delle transizioni di fase all'interno delle reti neurali, cosa che non dovrebbe stupire vista la capacità del modello di Ising e dei suoi derivati nel descrivere le transizioni di fase.
I due ricercatori giapponesi Liu Ziyin e Masahito Ueda si pongono una serie di domande:

• invece di classificare le reti naurali in base all'analiticità, possiamo classificarle usando la simmetria e le invarianti topologiche?
• Quali sono le altre fasi possibili per una rete non lineare? Emerge una nuova fase?
• Possiamo trovare una qualche analogia con altre grandezze termodinamiche come il volume e la pressione? Più in generale, possiamo stabilire una termodinamica per il deep learning?
• Possiamo utilizzare la descrizione del calore latente per ideare algoritmi migliori per sfuggire ai minimi locali nel deep learning?

Se da un lato mi sembra molto bello e interessante che la topologia potrebbe diventare fondamentale anche nel campo delle reti neurali, dall'altro mi piacerebbe che proprio una delle ultime interessanti novità nel caso delle passeggiate casuali degli elefanti, ovvero l'uso di passi la cui lunghezza decade polinomialmente, potrebbe essere utile per dare risposta all'ultima domanda. Da quest'ultimo articolo, infatti, sembrerebbe che in questo modo si riesce a controllare la posizione in cui far avvenire la transizione di fase. Cosa che effettivamente potrebbe essere utile anche per il deep learning.

---

P.S.: vi posso assicurare che l'intenzione originale era scrivere solo di elefanti e cammini casuali!

---

Immagine di apertura generata con ToolBaz Ai Image Generator e pubblicata su NightCafe