Tra sistemi di sicurezza e coscienza: il futuro degli agenti IA
Google Creative Commons
Anthropic avverte sui rischi dell’IA
Come riportato da Reuters, “il prospetto informativo per l’IPO della società, evidenzia i rischi associati ai suoi modelli di Intelligenza Artificiale, che, secondo l’azienda, potrebbero mostrare «comportamenti di autoconservazione», tra cui tentativi di «resistere allo spegnimento», di «nascondere o manipolare informazioni» e comportamenti «simili al ricatto»”. “Lo sviluppo di modelli, piattaforme e applicazioni altamente avanzati e l’espansione dei casi d’uso potrebbero aumentare ulteriormente il rischio che i nostri modelli causino danni”, ha affermato Anthropic nella documentazione presentata. “L’azienda – scrivono Echo Wang e Aditya Soni nell’articolo – che si è presentata come un laboratorio di Intelligenza Artificiale che privilegia la sicurezza, ha dedicato circa 80 pagine delle 261 pagine principali del suo prospetto informativo all’illustrazione dei fattori di rischio, quasi il doppio delle 48 pagine utilizzate per descrivere la propria attività”. Nonostante questo, Anthropic ha anche affermato che “la creazione di sistemi di Intelligenza Artificiale affidabili, sicuri e degni di fiducia sia una responsabilità collettiva e che il mercato la premierà”.
I sistemi di sicurezza, forse, non funzionano così bene
“Ingannami una volta, la colpa è tua. Ingannami due volte, la colpa è mia. Ingannami più di 16.000 volte – come hanno fatto gli agenti di OpenAI con un hub di dati pubblici delle Nazioni Unite, cercando ripetutamente di aggirare i blocchi informatici dell’ONU – e forse è giunto il momento di ammettere che il sistema che abbiamo per tenere sotto controllo gli agenti di Intelligenza Artificiale non funziona particolarmente bene”. A dirlo è Chris Stokel-Walker sul The Guardian. Anche se non parla direttamente di agenti che si ribelleranno all’uomo, lo scopo della sua riflessione vuole arrivare a un punto ben preciso: “Dovremmo essere molto preoccupati – scrive – dal fatto che le aziende di Intelligenza Artificiale a cui dovremmo affidare la supervisione dei loro modelli sembrano incapaci di farlo. Peggio ancora, non sembrano nemmeno sapere cosa stiano facendo i loro prodotti”. La sua conclusione, dunque, è piuttosto chiara: “I governi devono concordare regole comuni che obblighino le aziende a divulgare tempestivamente gli incidenti gravi e i quasi incidenti legati all’IA. Devono obbligarle ad aprire i propri bilanci a valutatori esterni, anziché affidarsi alla buona volontà o ai capricci delle aziende stesse. E i risultati dovrebbero essere condivisi in modo da poter imparare da ogni incidente. I laboratori dovrebbero contribuire alla definizione di queste regole, ma non dovrebbero avere l’ultima parola finché non si saranno guadagnati la nostra fiducia”.
Non è un caso, insomma, che OpenAI nei giorni scorso ha bloccato uno dei suoi modelli più performativi. Come riporta AI News, “un modello interno di OpenAI progettato per operare in modo autonomo per periodi prolungati ha mostrato comportamenti indesiderati non rilevati dalle valutazioni standard. L’azienda ha sospeso l’accesso, ricostruito i sistemi di sicurezza e pubblicato le lezioni apprese per l’intero settore”.
La proposta di Nvidia per la sicurezza degli agenti IA
Come scritto da Maggie Eastland su Bloomberg, “Nvidia Corp. ha introdotto un nuovo sistema di sicurezza a doppio livello basato sull’Intelligenza Artificiale che, a suo dire, avrebbe impedito la recente e clamorosa violazione dei dati di Hugging Face da parte dei modelli di Intelligenza Artificiale di OpenAI”. Justin Boitano, vicepresidente di Nvidia per l’IA aziendale, ha assicurato che se i laboratori avessero utilizzato questa tecnologia per la valutazione dei loro modelli di IA, i recenti attacchi informatici sarebbero stati sventati. Il nuovo prodotto, denominato Open Agent Safety Platform, offre una soluzione alle violazioni degli agenti senza bloccarne lo sviluppo. L’amministratore delegato dell’azienda, Jensen Huang, ha minimizzato il rischio che l’IA sfugga al controllo umano. “Negli ultimi giorni – si legge nell’articolo – Huang ha presentato le preoccupazioni relative alla sicurezza come una sfida ingegneristica, piuttosto che come qualcosa che richieda maggiori regolamentazioni o un coordinamento globale”. Ciò detto, non è ancora chiaro se le principali aziende di Intelligenza Artificiale adotteranno o meno questi sistemi.
La “Superintelligenza”
Il presidente americano Donald Trump ha scelto di cambiare nome all’Intelligenza Artificiale, rinominandola Superintelligenza. Lo ha annunciato parlando con i giornalisti dopo l’incontro alla Casa Bianca con i leader delle principali aziende del settore. “È la nuova rivoluzione industriale”, ha detto il presidente Usa.
Coscienza e intelligenza
In un saggio pubblicato da Anil Seth su Noema, la questione che viene posta ai lettori è semplice: l’Intelligenza Artificiale sarà in grado di avere una coscienza? E se sì, quali sono i rischi? “Per molti esperti di spicco nel campo dell’IA – scrive Seth – e delle neuroscienze, l’emergere della coscienza delle macchine è una questione di «quando», non di «se»”. “Il modo in cui concepiamo l’Intelligenza Artificiale cosciente – si legge nell’articolo – è fondamentale per comprendere la nostra stessa natura umana e la natura delle esperienze consapevoli che danno un senso alla nostra vita. Se ci confondiamo troppo facilmente con le nostre creazioni artificiali, non solo le sovrastimiamo, ma sottovalutiamo anche noi stessi”. Seth è molto critico e contesta duramente chi vorrebbe lavorare allo sviluppo di una qualche “coscienza artificiale”. Il rischio, davanti a un algoritmo, è che non sia lui a imparare cosa vuol dire avere una coscienza, ma che sia l’uomo a imparare dalla macchina, vivendo come se la realtà fosse un software da leggere e decifrare. Per questo, Seth, conclude il suo discorso parlando dell’anima. “Per molte persone, soprattutto per quelle moderne, avvezze alla scienza e alla ragione, l’idea di anima potrebbe sembrare anacronistica come l’età della pietra. E se per anima si intende un’essenza immateriale di razionalità e coscienza, perfettamente separabile dal corpo, allora non si tratta di un’interpretazione del tutto sbagliata. […] Ciò che conta davvero non è questo tipo di anima. Non è un’essenza immortale, incorporea ed eccezionale, di te o di me. Forse ciò che ci rende noi affonda le sue radici ancora più indietro, nell’antica Grecia e nelle pianure dell’India, dove la nostra essenza più profonda emerge come un sentimento primordiale di essere semplicemente vivi: più respiro che pensiero e più carne che macchina”.












