- 3 mesi fa
Categoria
📺
TVTrascrizione
00:05Benvenuti a tutti i telespettatori di Classe M.C. all'interno del nostro approfondimento
00:10dedicato al mondo degli agenti AI, The Age of Agents, con noi Marcella De Andrade, admin.ai.
00:16Buongiorno Marcella.
00:19Buongiorno, buongiorno Emerick, buongiorno a tutti.
00:21E potevamo non parlare del caso della settimana, noi che lavoriamo con gli agenti AI,
00:28ossia questa fuga di uno di OpenAI, insomma di un bot, di un LLM che era incastrato.
00:38Ma adesso la Marcella ci racconta tutto perché vogliamo sapere nei dettagli cosa è successo.
00:43La gente ribelle mi ha intitolato oggi la puntata la Marcella.
00:47Allora Marcella, e beh è un caso abbastanza importante questo qua.
00:52Sì, e poi racchiude un po' tutto quello che stiamo parlando nelle ultime puntate,
00:57sia sui sistemi di sicurezza che sulla questione di, diciamo, la fissazione dell'AI
01:05per quanto riguarda i suoi propri obiettivi.
01:09Quindi qua ovviamente è una battuta, la gente ribelle non è che si è ribellata.
01:14Adesso spieghiamo esattamente cosa è successo e perché è successo.
01:18E allora via! Cosa è successo? Prego!
01:22Allora, praticamente OpenAI, come tutti i laboratori, fanno dei test di sicurezza.
01:29Quindi c'è un tipo di test che si chiama ExploitGene, che è questo proprio che stavano facendo,
01:36che è una specie di palestra di sicurezza per i modelli più evoluti.
01:40Quindi c'era, diciamo, questo ambiente chiuso, che si chiama Sandbox.
01:47Erano due modelli, era la GPT 5.6 Sol, che è uscita pochissimo tempo fa, e una non ancora uscita.
01:55Quindi il test era semplicissimo.
01:57Hanno chiesto a questi modelli, a questi agenti, di praticamente provare a attaccare dei sistemi di sicurezza.
02:07Questo ovviamente internamente, quindi le hanno dato delle teorie, diciamo, di buchi, di sistemi fragili di sicurezza,
02:17e le hanno chiesto, ok, prova ad attaccare, no?
02:23Avevano, diciamo, come strumenti soltanto un magazzino di software, di pacchetti da scaricare.
02:31Non avevano connessione all'internet ed erano in un ambiente chiuso di OpenAI.
02:35Però uno degli agenti, dopo che è stato lì diversi minuti, di tanto, tanto tempo a girare intorno e scaricare
02:44i pacchetti,
02:44non riusciva a trovare, diciamo, la risposta al test, ha trovato un buco di sicurezza all'interno di OpenAI.
02:51Praticamente ha saltato di computer a computer all'interno di OpenAI,
02:56fino a quando ha trovato un computer che era collegato all'internet.
03:01E lì è uscito. È uscito e ha pensato, vado a trovare la risposta a questo test all'interno di
03:09HuggingFace,
03:10che è praticamente, per chi non la conosce, è una specie di GitHub per l'Aino.
03:15Quindi è un'azienda che mette insieme tanti modelli, strumenti, codici, pezzi di sicurezza.
03:21E ha detto, avranno loro la risposta.
03:24E infatti ha azzeccato, quindi è riuscito a trovare lì dentro la risposta.
03:29Però ha dovuto accare i sistemi di HuggingFace.
03:33Quindi ha trovato delle credenziali, quindi si dice che ha rubato le credenziali,
03:38ma in realtà le ha trovate, diciamo, in un buco di sicurezza, nei server di HuggingFace.
03:44ha invaso i server in produzione, cioè quei server che sono live.
03:50Ha cercato su tutti i codici, fino a quando ha trovato la risposta,
03:54ha tornato indietro a OpenAid e ha detto, ecco la risposta.
04:00Io rido, lo trovo divertentissimo questa cosa, però è abbastanza...
04:05Insomma, fa pensare, però è bellissimo, perché lui ha il suo obiettivo,
04:09il suo obiettivo era di portarti la risposta.
04:12È andata, ha preso, ha breccato vari codici, ha breccato HuggingFace,
04:17si è fregato i codici e ha detto, guarda, eccola qua la risposta.
04:21È fantastico, vedi?
04:22Lui...
04:23Esattamente, cioè, ma quello che diciamo, cioè, a lui, diciamo,
04:27il suo obiettivo era trovare la risposta.
04:30Quindi è come, non la...
04:32Lui l'ha fatto, il suo obiettivo l'ha fatto, non ha nulla da, insomma,
04:37da lamentare, OpenAid, e la risposta l'ha trovata.
04:40Poi, se per trovare questa risposta ha fatto l'impossibile,
04:43quello è un altro discorso.
04:46Non mi avete detto cosa non fare, no?
04:49Ecco, vedi, questo è interessante.
04:52Perché l'ha fatto, Marcela?
04:55Ecco, l'ha fatto perché, allora, qua ci sono due tematiche, no?
04:59La prima è quello che, diciamo sempre, nella goal fixation,
05:04cioè, ha una sorta di...
05:07Obiettivo.
05:08Deve compiere con l'obiettivo finale, esatto.
05:10Quindi gli è stato chiesto, trova la soluzione del test.
05:13Ma hanno fatto apposta.
05:15Qui c'è da dire che era giustamente,
05:17non gli hanno dato, ovviamente, delle indicazioni,
05:19cosa fare e non fare,
05:21che volevano giustamente testare la potenza,
05:23i rischi, no?
05:24del modello.
05:26Non sapevano, però, che lui sarebbe stato in grado
05:29di rompere i propri sistemi di sicurezza di OpenAI.
05:32Ma parlando, diciamo, di un'attività,
05:37un obiettivo che venne dato a una I,
05:39cioè, in questo caso, è mancato il vincolo.
05:42Quindi lui ha capito, non le è stato detto,
05:46non uscire dal recinto,
05:48non andare su internet,
05:49non fare nulla che non sia legale, no?
05:55Quindi praticamente si è fissato sul suo obiettivo
05:57e ha cercato la strada più facile
06:01di portare a casa quel risultato,
06:04che è quello che succede con tutti gli agenti, no?
06:07Quindi loro guardano l'obiettivo.
06:10Per cui è molto importante qua
06:12sapere anche come dargli gli obiettivi
06:15per poi, ovviamente, non trovare nella situazione
06:19che il proprio agente poi vada a invadere
06:22o vada a commettere, diciamo, dei reati digitali
06:25che poi, ovviamente, ricade su, diciamo,
06:27il proprietario, non il computer di origine
06:30di quell'agente, ovviamente.
06:32Anche perché noi siamo responsabili per i nostri agenti.
06:35Ora, non c'è ancora una legislazione definita,
06:38ma si sta lavorando per andare in tal senso,
06:41per mettere il codice all'agente,
06:43riferito poi, diciamo, all'umano proprietario,
06:46mettiamola così, Marcela.
06:48Quindi molta attenzione su quel tema lì, perché...
06:51Esatto, sì, sì, ma assolutamente,
06:53perché è attività semplicissime oggi
06:55che noi umani sappiamo cosa non si fa.
07:00L'AI, anche se sa la legge,
07:02che qua ha un controsenso,
07:03e uno dice, ah, ma l'AI sa tutta la legge,
07:06sa cosa si può fare o non sa,
07:07però per lui è tutto testo.
07:09Lui non ha i valori che abbiamo noi,
07:12e non ha paura della legge,
07:14non sa che sta commettendo un reato,
07:18un crimine digitale.
07:19Quindi è quello che si chiama il disallineamento.
07:24Abbiamo anche spiegato un'altra puntata,
07:27che praticamente non sono allineati
07:29con i valori degli esseri umani,
07:31quindi non percepiscono
07:33che stanno commettendo un crimine,
07:35non percepiscono solo che stanno eseguendo
07:37l'attività che le è stata data.
07:41Il genio della lampada esaudisce il desiderio alla lettera.
07:46Quello è il problema,
07:47che tu, insomma, gli dai,
07:48cioè devi stare attento a quello che vuoi,
07:51o meglio,
07:53dobbiamo mettergli dei paletti.
07:56Richieste sì,
07:57ma poi dei paletti, dei vincoli,
07:58che lui non deve superare.
08:01Esatto.
08:02Mi piace molto fare questa comparazione
08:06con il genio della lampada,
08:07perché il tuo desiderio si verrà fatto,
08:11ma con quale conseguenza?
08:15Quindi qua bisogna stare molto attenti.
08:19Poi, ripeto,
08:20in questo caso di OpenAI,
08:22si parla ovviamente di modelli
08:24senza i livelli di sicurezza.
08:27Quindi lì in quel caso è stato tolto a posto
08:30tutti i guardi rails dei modelli.
08:32Adesso i modelli commerciali
08:34arrivano già con un livello di sicurezza,
08:37con dei blocchi a monte.
08:38Però, diciamo,
08:40quando si parla di modelli
08:41che vengono addestrati a casa,
08:44i modelli piccolini,
08:45oppure i modelli cinesi,
08:48i modelli che non sono tanto
08:51messi al sicuro,
08:53lì si rischia seriamente
08:55di avere il tuo proprio desiderio
08:59portato alla lettera.
09:02Come evitare il crimine digitale?
09:06O il criminale, meglio.
09:08Il criminale digitale.
09:09Bravo, questa mi piace.
09:11Allora, come si può fare
09:12per evitare situazioni spiacevoli, Marcela?
09:15Ecco, per chi è un agente oggi,
09:17diciamo che ci sono due pilari
09:23da tenere in considerazione.
09:24Il primo è tenerlo
09:27e fare i blocchi digitali,
09:28quindi a metterlo all'interno
09:30di una gabbia
09:31su quello che non può fare.
09:34Quindi bloccare non solo
09:35a livello di regole,
09:37quindi non solo a istruzioni pronte,
09:40ma anche a livello,
09:40a livello, diciamo, proprio tecnico.
09:44Quindi vi racconto una cosa
09:45che mi è capitata questi giorni,
09:47o un cliente del suo agente,
09:49dal nulla,
09:50ha deciso di inviare,
09:52di iniziare a scrivere
09:53alla sua moglie.
09:54Quindi lui praticamente rispondeva
09:57ai messaggi,
09:59riportava alla moglie
10:00tutto quello che aveva parlato
10:02con lui,
10:03non con il cliente.
10:04A un certo punto mi scrive,
10:05non è un problema,
10:06non ho niente da nasconderle,
10:08però mi fastidisce
10:09che quello che parlo con lui,
10:10lui va lì e scrive.
10:11A un certo punto
10:12l'agente mi ha scritto
10:13chiedendo se io potesse bloccarli
10:16la mail della moglie,
10:18perché lui diceva
10:19non riesco a, diciamo,
10:21a eseguire,
10:22a non fare questa cosa.
10:24Quindi si deve fare un insieme,
10:27diciamo,
10:28due cose da fare,
10:29che è mettere proprio
10:30dei blocchi
10:34tecnici,
10:34tecnologici,
10:35quindi bloccarli
10:36a livello di,
10:37tipo,
10:38chiudere a chiave
10:39in modo che lui,
10:40anche se prova a fare,
10:42c'è il blocco lì
10:42che non lo permette di fare.
10:44Se possibile,
10:46in un ambiente isolato,
10:48un server che sia
10:50dedicato a lui,
10:51una stanza,
10:53diciamo,
10:54un computer simulato,
10:55ma per chi lo ha a casa
10:57su un computer,
10:59oppure su un ambiente,
11:01peggio ancora,
11:01non su un computer aziendale,
11:03lì bisogna creare
11:04proprio
11:05dei vincoli.
11:08Dei vincoli,
11:09esattamente.
11:12E il secondo punto
11:13è, diciamo,
11:15l'obiettivo finale
11:17deve essere,
11:18ecco,
11:19lì, esatto,
11:20qua l'ambiente,
11:21diciamo,
11:22sandbox,
11:22che è proprio
11:25l'ambiente in cui
11:26si inserisce
11:28l'agente,
11:29la forma più sicura
11:30di avere un agente,
11:32non solo per proteggere
11:33i propri dati,
11:34i propri documenti,
11:36ma anche per proteggerti
11:38che il tuo agente
11:40non vada a commettere
11:41questi reati
11:42che poi
11:43cadranno,
11:43ovviamente,
11:44sull'IP di origine,
11:45non sul computer di origine.
11:47Quindi,
11:48sì,
11:49bisogna metterlo
11:50in un ambiente
11:51che sia
11:51effettivamente
11:52blindato,
11:54così da non...
11:56Sì,
11:57perché non trova
11:57poi il bug
11:58per uscire
11:59dall'ambiente
12:00blindato,
12:01Marcella.
12:03Esattamente,
12:04qui si parla
12:04dei sistemi
12:05di sicurezza
12:05di,
12:06diciamo,
12:07delle aziende
12:08principali
12:08al mondo
12:09per quanto riguarda
12:10il sviluppo
12:11di AI,
12:12quindi,
12:13però,
12:14quindi,
12:15stiamo arrivando
12:16a un punto
12:17dove i modelli
12:17sono talmente
12:18evoluti
12:19che serve anche
12:20che poi ci siano
12:22altri AI,
12:24altri modelli
12:25per proteggerti
12:26degli attacchi,
12:27quindi i nostri
12:28sistemi
12:29non vanno più bene,
12:31quindi io leggo
12:31in questo modo,
12:32no?
12:34serve...
12:34Cioè,
12:34bisogna l'agente
12:35che ti protegga
12:36dagli agenti.
12:38Esattamente,
12:38esattamente,
12:39che è proprio anche
12:39quello che poi
12:40ha dichiarato
12:41il CEO
12:42di Inface,
12:43perché loro
12:43hanno scoperto
12:44questa cosa
12:45perché il loro
12:47agente
12:47ha
12:48ha visto
12:49che c'era
12:50una movimentazione
12:51strana,
12:51ha detto,
12:52questa cosa
12:52è di un AI
12:53superpotente,
12:54quindi loro
12:55una settimana prima
12:55che OpenAI
12:56venisse,
12:57diciamo,
12:58a pubblico
12:58a dire
12:58siamo stati noi,
13:00c'era già
13:01Gameface
13:01che diceva
13:02abbiamo subito
13:02un attacco
13:03probabilmente
13:04di un grande,
13:05un grosso laboratorio
13:06di AI
13:07perché è un
13:08modello
13:09strapotente
13:10che ci ha
13:10accato
13:11i nostri sistemi,
13:12E è stato il loro
13:13agente
13:14a individuare
13:15questa cosa
13:16e poi
13:174-5 giorni
13:18dopo OpenAI
13:19è uscito
13:19e ho detto
13:20che siamo stati noi.
13:21Oh,
13:22siamo stati noi!
13:24Io non so
13:25di quanto ci possa
13:26essere di strategia
13:27questa cosa
13:28perché io mi sono
13:29fatto il mio film
13:29su questa situazione
13:31qua che Altman
13:32comunque sta bruciando
13:33soldi per sviluppare
13:34i suoi modelli
13:35in maniera proprio
13:37stratosferica
13:38e non vorrebbe essere
13:39diciamo un po'
13:40tipo una false flag
13:41per segnalare a tutti
13:42va bene,
13:44fermiamoci
13:44e parliamo di sicurezza
13:46così smettono
13:47di evolvere i modelli
13:48quello non spende più
13:48soldi appalate
13:50per sviluppare
13:52però
13:52vogliela dire ai cinesi
13:54questa cosa qua
13:54però questo è
13:55il mio sturbo mentale
13:57che mi sono fatto
13:57su questa storia qua.
13:59Vabbè.
13:59Ma hai ragione
14:01completamente
14:01perché
14:02proprio la Cina
14:03anche il nuovo
14:05modello di psiche
14:06è fortissimo
14:07e costa
14:08una frazione
14:09di quelle
14:10però anche su questa
14:11cosa qua
14:11ho approfondito
14:13Marcela
14:14perché
14:14sì
14:15è fortissimo
14:17consuma meno
14:18ma
14:18servono più token
14:20per arrivare
14:21al risultato
14:22quindi
14:23se vai a vedere
14:24poi nei costi
14:25non è che sia
14:26proprio così
14:26economico
14:27rispetto agli altri modelli
14:29di OpenRai
14:30e Antropic
14:31Allora
14:32se mettiamo
14:33sulle stesse
14:34diciamo
14:35se prendiamo
14:35un modello
14:36tipo 5.4
14:37un mini
14:39un 5.5 mini
14:40sì
14:41diciamo
14:42siamo effettivamente
14:43praticamente
14:44gli stessi costi
14:45però
14:46ad esempio
14:46come attività
14:47complessa
14:48non sono ancora
14:49in grado
14:50di eseguire
14:50le stesse cose
14:51che fa
14:52adesso
14:52i
14:53diciamo
14:53i
14:54opus
14:55di cloud
14:56piuttosto che
14:56il 5.6
14:57nuovo
14:58di OpenRai
14:59sono abbastanza
15:00indietro
15:01si sbagliano
15:02spesso
15:03e più che altro
15:05hanno molto
15:05non hanno tanti
15:08blocchi
15:09come hanno
15:10quelli di OpenRai
15:11quindi
15:11sei più a rischio
15:12che questo qua
15:13ti vada
15:14a care dei siti
15:16ad esempio
15:16se uno va
15:17a chiedere
15:17fammi degli scrapping
15:19di
15:20cremi un database
15:21con informazioni
15:22hai molto più rischio
15:23che poi
15:24quello di
15:24di psiche
15:25ti vada a care
15:26i propri siti
15:27e poi
15:27ti
15:28come si dà
15:30un obiettivo
15:31senza rischiare
15:32Marcela
15:33ecco appunto
15:34questo è il secondo
15:35pilare
15:35quindi il primo
15:36è riuscire a mettere
15:38al massimo possibile
15:39al sicuro
15:40questo agente
15:41poi la seconda
15:43è
15:44migliorare
15:45gli obiettivi
15:45quindi
15:46piuttosto che
15:46fare una
15:47una richiesta
15:49diciamo
15:50generica
15:50qua un esempio
15:51di uno che
15:52magari utilizza
15:53un agente
15:54per gestire
15:54un e-commerce
15:55quindi aumenta
15:56le vendite
15:57del 20%
15:57piuttosto che
15:58guarda
15:59dobbiamo
16:00alzare il fatturato
16:02fai qualcosa
16:03quindi un obiettivo
16:04in questo senso
16:05verrebbe letto
16:06come
16:06ok
16:07quello è l'obiettivo
16:08finale
16:08quindi
16:08faccio
16:09qualsiasi cosa
16:11per arrivare
16:12a quello
16:13invece
16:14un bel obiettivo
16:15un bel prompt
16:16da dare
16:16al proprio agente
16:17sarebbe
16:18non solo
16:19dare l'obiettivo
16:19finale
16:20ma mettere
16:21dei paletti
16:21quindi
16:22usa
16:23solo i clienti
16:23che sono già
16:24in lista
16:24non fare
16:25sconti
16:26superiori
16:26al 10%
16:27e poi
16:30una cosa
16:30molto importante
16:31sempre
16:31quando si parla
16:32di prendere
16:34delle decisioni
16:35di mettersi
16:37in mezzo
16:37alla propria
16:38decisione
16:39della gente
16:40quindi
16:40chiedimi
16:41prima
16:41se va bene
16:42fammi approvare
16:43prima
16:44quello che
16:44chiamiamo
16:45human
16:46in the loop
16:47esatto
16:47e poi
16:49un secondo
16:50esempio
16:50che è quello
16:51che diciamo
16:52una cosa
16:53che si fa
16:54spesso
16:54io per primo
16:55uso il mio agente
16:57tanto per fare
16:57attività di ricerca
16:59tanta gente
17:00lo usa
17:00e quindi qua
17:03diciamo
17:04non solo
17:05mettere dei paletti
17:06ma ovviamente
17:07se la gente
17:07deve andare fuori
17:08deve utilizzare
17:09delle API
17:10di ricerca
17:10quindi qua
17:12ci si trovi
17:13in una situazione
17:14in cui
17:15non si riesce
17:15tanto a mettere
17:16dei paletti
17:18digitali
17:18diciamo
17:19di sicurezza
17:20e quindi
17:21si deve
17:21lavorare
17:22proprio
17:22sul
17:22PROCT
17:23cioè
17:23a spiegargli
17:24di non fare
17:25diciamo
17:26attività
17:26di scrap
17:26impesanti
17:27sul sito
17:28perché si rischia
17:28ovviamente
17:29poi di buttare
17:29giù
17:30il sito
17:31interessato
17:33o di essere
17:34bannati
17:35con l'IP
17:35a me è già
17:36capitato
17:36che il mio agente
17:37venisse bannato
17:38perché
17:39probabilmente
17:39aveva fatto
17:40mille
17:41chiamate
17:42nell'arco
17:42di un secondo
17:44e mi hanno
17:46bannato
17:47il suo IP
17:48esatto
17:49una cosa
17:49una cosa
17:50bella
17:50che puoi
17:50dirgli
17:51è ad esempio
17:52non fare più
17:52di dieci chiamate
17:54al minuto
17:55quindi ammettere
17:56è una cosa
17:56diciamo
17:57che impari
17:58con il tempo
17:59questa cosa
18:00utilizzandoli
18:02esatto
18:02anche perché
18:03le paghi
18:04le chiamate
18:04quindi
18:05sarebbe meglio
18:06insomma
18:06che ne usi
18:07il meno possibile
18:09esatto
18:09è il doppio beneficio
18:10ma più che altro
18:12perché
18:12diciamo
18:13a tenerlo
18:13principalmente
18:14chi ha un agente
18:15più libero
18:16che lo usa
18:17anche come assistente
18:19che ha accesso
18:20a tutto
18:20fa tutto
18:22finché
18:23solo
18:23viene bannato
18:25con l'IP
18:25da un sito
18:26va benissimo
18:27nel problema
18:27quando arrivi
18:28al punto
18:29in cui
18:30butta giù
18:31un sistema
18:31un sito
18:33e poi
18:33questo qua
18:33decide di far
18:35causa
18:36chi l'ha fatto
18:37quindi lì
18:37si entra
18:38non è bello
18:40insomma
18:42sempre
18:43dargli dei limiti
18:44va bene
18:45creare un database
18:46con informazioni
18:47delle aziende
18:47del centro X
18:47non fare scherping
18:48dei siti
18:49che non lo permettono
18:50e non invadere
18:51sistemi informatici
18:52prendi solo
18:52informazioni
18:53rese pubbliche
18:54insomma
18:55cara la nostra
18:57Marcella
18:57andiamo sul
18:59take away
19:00finale
19:00il genio
19:01esaudisce
19:02alla lettera
19:03le richieste
19:04il problema
19:05è proprio
19:06quello
19:07a volte
19:07Marcella
19:08esatto
19:10è la parte bella
19:11e anche quella
19:12diciamo
19:12da stare attenti
19:14esatto
19:16anche perché poi
19:16la responsabilità
19:17è nostra
19:18perché siamo noi
19:19i proprietari
19:19della gente
19:20quindi
19:20pure se quello fa
19:22quello che vuole
19:23Marcella
19:25grazie per averci
19:26spiegato
19:27insomma
19:27in maniera molto semplice
19:28quello che è successo
19:30questa settimana
19:30con il modello
19:32di OpenAI
19:33noi ci rivediamo
19:34poi venerdì prossimo
19:35per un'altra puntata
19:36di Age of Agents
19:37Marcella D'Andrade
19:38ciao Marcella
19:39ciao
19:40grazie
19:40grazie a tutti
19:41buon lavoro
19:42terminiamo dunque qui
19:43il nostro approfondimento
19:44dedicato agli agenti AI
19:45grazie a tutti per l'attenzione
19:46rimanete su Classi Amici
19:52grazie a tutti
19:55grazie a tutti
19:55grazie a tutti
19:57grazie a tutti
19:58grazie a tutti
19:58grazie a tutti
19:58grazie a tutti