- 10 ore fa
Categoria
📺
TVTrascrizione
00:05Benvenuti a tutti i telespettatori di classe MCI all'interno del nostro approfondimento dedicato al mondo degli agenti AI e
00:12i Geofagent e non può mancare Marcella D'Andrade, admin del punto AI, buongiorno Marcella e ben ritrovata.
00:19Buongiorno, buongiorno a tutti.
00:20Marcella dobbiamo parlare ancora di questi agenti birichini che scappano a destra e a sinistra, ultima notizia di oggi, ieri,
00:30il fatto che un agente AI di OpenAI è andato a sfrucugnare i dati sanitari in Australia, diciamo che poi
00:39OpenAI ha omesso di dirlo per un pochettino di tempo fino a quando non l'hanno beccato.
00:45Cosa sta succedendo?
00:47Ecco, sono giorni veramente caldi, cioè praticamente sono gli ultimi 15 giorni, partendo sempre da questa casistica che avevamo anche
00:59parlato qui all'ugno.
01:01Tu sei stessa venuta qua quando c'era stata la storia dei Hugging Face, del craccaggio insomma di Hugging Face,
01:09però sta diventando, non lo so, a volte mi sembra che sia quasi una comunicazione che vada in questa direzione,
01:17mi dà l'idea perché, non lo so, però sai io sono sempre abituato a pensare male.
01:21Ma c'è chi dica che c'è un effetto anche di marketing dietro, sia per dire guarda siamo talmente
01:28potenti che riescono a fare queste cose, ma allo stesso tempo poi si scopre che ci sono informazioni che nascondono
01:36e che poi...
01:37Quello è un po'...
01:43Vabbè dai partiamo, partiamo con la nostra presentazione e vediamo poi dov'arriamo.
01:50Da cosa si parte?
01:52Ecco, partiamo appunto, giusto un brevissimo refresh su quello che era successo a luglio, che è quello che poi ha
02:00fatto scatenare tutto quello che è successo.
02:02Quindi praticamente a luglio Hugging Face ha detto di aver subito un attacco di agenti di OpenAI, quindi appunto è
02:13uscito poi OpenAI che ha detto che si trattava di un test che giustamente avevano abbassato le guardie, non c
02:21'erano diciamo i blocchi tecnologici,
02:23per cui questi agenti pur di eseguire al massimo il loro obiettivo avevano trovato una scorciatoia per arrivare al risultato.
02:33Questo era quello che OpenAI ci aveva raccontato.
02:36Invece poi ad agosto, a fine agosto, hanno la proprio OpenAI che ha dovuto portare dentro casa quelli che hanno
02:46fatto un'indagine più approfondita
02:48e hanno scoperto una cosa che è molto più diciamo delicata, cioè praticamente si tratta di circa, in questo attacco
02:58specifico, 700 agenti, poi 1200 è sull'attacco compreso anche quello di Australia che poi arriviamo lì.
03:05Ma su questo attacco specifico di Hugging Face praticamente si è scoperto che si parlavano tra di loro gli agenti,
03:14non solo si parlavano,
03:15come avevano codificato internamente OpenAI per impedire che il team di OpenAI scoprisse quello che diciamo le conversazioni.
03:25hanno trovato un'altra piattaforma, sempre tedesca, una sorta di piattaforma di comunicazione tra developers, tra sviluppatori,
03:34e lì dentro si lasciavano dei comandi, si sono messi insieme, si sono chiamati, si sono coordinati veramente per fare
03:44questo attacco
03:45e poi si scoprì adesso il 24 settembre il primo ministro australiano ha detto che gli agenti di OpenAI hanno
03:53invaso un loro database non pubblico di dati sanitari.
03:59Cosa, privacy, quella su quella roba dei dati sanitari?
04:04Esatto, e se andiamo più avanti hanno scoperto pure che hanno lasciato dei messaggi nascosti ai prossimi agenti,
04:15quindi di come invadere, quindi quelli che sono...
04:18Ah, gli hanno già dato la chiave per andare, hanno detto così almeno non perdete tempo.
04:23Quindi qua c'è un discorso, diciamo di fondo, che va a dire, ok, in questo caso qual era l
04:29'obiettivo di questi agenti?
04:31Perché volevo...
04:32Perché gli hai lasciato la briciolina ai prossimi agenti?
04:35Quello è il discorso.
04:37Esatto, quindi qua diciamo che iniziamo a entrare su un discorso che adesso devono darci più spiegazioni,
04:44perché non possiamo, diciamo, restare su un ambiente di test, va bene, capiamo.
04:50No, ma siamo usciti ampiamente da sandbox, siamo andati in giro per il mondo.
04:56E più che altro chi sta comandando e perché?
04:59Perché è un agente da solo che si dice vado a rubare i dati, mi pongo delle domande.
05:06L'ordine di andare...
05:07Sì, però attenzione, da quello che avevo capito sulla questione australiana di adesso,
05:13gli era stato dato un ordine di analizzare le spese sanitarie.
05:18Sì.
05:19Diciamo che questi poi hanno, diciamo, fatto il passo più lungo della gamba, non lo so come dire.
05:24Esatto, sì, ma l'obiettivo dichiarato di OpenAI appunto era capire le spese mediche, quelle pubbliche, dati pubblici.
05:31Però quello che sono andati a fare questi agenti sono andati sulle schede mediche dei cittadini.
05:39Hanno anche iscritto, hanno cambiato...
05:41Hanno capito pure le robe della...
05:42Sono riusciti a iscrivere a cambiare...
05:44Addirittura.
05:44Esatto, adesso appunto l'Australia dice che deve fare una revisione per capire l'amplitudine di questo...
05:50Dove sono andati qualcosa ambeccato.
05:52Esatto, quindi c'è un...
05:54Ma questo apre un sacco di cose, perché potrei chiamare il mio agente e chiedergli se mi cambia i voti
05:58dell'università.
06:02Infatti, poi, allora, da quello che ha raccontato in questo report adesso ufficiale di OpenAI...
06:08No, scusami, io rido, ma è una cosa abbastanza grave.
06:11Poi, se non te ne accorgi, ti basi su tutte le robe che magari sono state cambiate dalla gente.
06:17Sì, sì.
06:17Questa è una roba un po'...
06:19No, è molto grave quello che è successo.
06:20Appunto, poi ha fatto scatenare tutto quello che è avvenuto dopo.
06:23Facciamo uno stop, non facciamo uno stop, infine.
06:26Ebbè.
06:27Da quello che OpenAI ci dice, hanno questo modello interno, interno Model 1,
06:33che è un modello che ha la stessa taglia del modello GPT Sol,
06:37che è, diciamo...
06:38Quello...
06:39Punta sotto l'ultimo che è Astra.
06:42Questo è un modello senza, diciamo, senza nessuna tipologia di controllo.
06:48Ovviamente, tutti i laboratori ne hanno un modello interno senza controlli di market, no?
06:53Tipo quelli che utilizziamo noi.
06:54Ci sono i controlli a monte.
06:57Quindi ci sono dei controlli, ad esempio, di quando percepiscono che c'è un ragionamento strano.
07:02Tu sei un agente, no?
07:06Quando ti dici, ah, devo fare questa cosa, allora uso questo strumento per fare questo ragionamento,
07:13la propria OpenAI, Antropic, tutti quanti, bloccano quando percepiscono che c'è un ragionamento strano.
07:20Allora, da quello che so io, me l'aveva parlato anche un'altra persona, che non era proprio, sai, pro
07:26sviluppo a GTI,
07:28tu non riesci a capire come arrivano loro a ragionare, perché fanno talmente tanti processi,
07:34che è impossibile per un umano riuscire a capire qual è la scala di ragionamenti che arriva a una cosa.
07:43Sì, sì, è giusto.
07:44Il resto è un po', diciamo, oscura come cosa.
07:47Sì, infatti il loro controllo è su, se c'è un, fanno un ragionamento a step, non sono in ragionamento.
07:54Sì, esatto.
07:54Quindi se uno di questi si spunta fuori che c'è un, diciamo, qualche attività illegale,
08:02oppure che il ragionamento del proprio modello ha cambiato direzione.
08:06Sta virando, lo spingono.
08:07Sì, si blocca, sì, sì, appunto ogni tanto può capitare che è lasciato.
08:11Però questo IM1 non ce l'ha.
08:14E quindi questo è il primo punto, diciamo, che ha permesso anche loro di non riuscire a capire quello che
08:22stava per succedere.
08:23Certo, dove stava succedendo.
08:24Io volevo arrivare a questo punto perché tanti, non poche persone ultimamente, principalmente quelli che hanno un agente,
08:33mi contattano, ci chiedono, guarda, sono veramente preoccupato perché ho un agente, ho paura che faccia dei danni e che
08:40poi cada su di me.
08:41Eh sì.
08:41Quindi qua è importante fare le differenze, certo non è che non hanno rischi, parliamo qui spesso, vanno dati dei,
08:52diciamo, dei limiti.
08:53Il guardrail, i binari, tu alla base devi costruire il tuo agente però dagli subito dei binari, dove non può
09:01uscire.
09:02Esatto.
09:02Se tu invece lo lasci libero, quello è come un sedicenne che non capisce niente.
09:08Esatto, la super macchina in mano 1 senza freno.
09:11Pieno di ormoni.
09:13E quindi qua ci sono, diciamo, quelli di laboratorio, questi che hanno fatto gli attacchi, sono, come dicevamo, non hanno
09:21questo...
09:22Hanno protezioni ridotte.
09:23Esatto, non hanno protezioni di ragionamenti, su quello che intendono fare, non hanno protezioni tecniche, che è quella più importante.
09:31Invece quelli, diciamo, che...
09:34Vanno poi sul mercato, sono molto più chiusi, hanno molte più barriere, diciamo.
09:39Però a me mi viene da pensare, cavolo, il laboratorio senza barriere, ragazzi, che laboratorio stesso dice la parola, un
09:49laboratorio.
09:50Esatto.
09:52Cioè, lì si sviluppa, hai capito?
09:57Sì, sì, ma infatti...
09:58È un po' specie che non ci siano barriere, non vengono dati comunque dei...
10:04Infatti, ma...
10:05Ed è per questo...
10:06Esatto, che ha fatto scatenare anche questa, diciamo, è partita da questo saggio di Dario Modei, il 12 settembre, in
10:15cui ha fatto...
10:17Perché dopo questa cosa di Open AI, tutti quanti, Gemini, Grok, Antropi...
10:23Si sono accorti che i loro agenti andavano un po', facevano quello che volevano.
10:26Hanno ammesso l'idea di aver avuto la stessa tipologia di problemi, l'hanno nascosto da tutti.
10:31Nascosto nel senso, non hanno...
10:33Diciamo non hanno divulgato, non hanno dato troppa infasi a questa cosa.
10:38Esatto.
10:39Che appunto i loro agenti stavano invadendo dei sistemi, avevano invaso delle aziende reali, aziende che non si sono neanche
10:46accorte poi.
10:48Quindi, da questo saggio, a Modei appunto, dice che ci sono due punti importanti qua.
10:53Il primo è che è l'AI, che costruisce l'AI.
10:56No, quella la devi bloccare.
10:58Esatto.
10:59Però, se non hanno neanche loro...
11:03Oramai però io sapevo che i modelli che semplici erano per l'80% schetti in automatico.
11:07Sì, sì, sì.
11:09Capito?
11:09Ma adesso ti rendi conto, oddio, forse abbiamo sbagliato?
11:13Cioè, è quello che dico io.
11:15Non potete pensarci magari prima?
11:17Torniamo sempre al discorso dell'AI race, no?
11:20Eh, tra l'altro, forse a livello politico, hai visto cosa è successo con le dichiarazioni di Trump e Xi?
11:26No, no, continuate, non dovete fermarvi, dovete correre ancora.
11:31Esatto.
11:31Dritti verso lo Skynet.
11:33Perché appunto il discorso è che se ci fermiamo, se si fermano ancora, vince.
11:38Eh, dai, presto corriamo tutto e poi distruggiamo il mondo.
11:42Che poi veramente, forse questa cosa a livello di ONU, sempre che si possa mai lavorare e dare delle regole
11:51comuni e soprattutto che tutti le rispettino.
11:54È come fa a controllare che tutti li rispettino.
11:56Appunto nel saggio Modè dice che devono esserci dei team esterni che vadano a controllare internamente.
12:05Lui dice che per lui è l'unico modo e che lui inizia a fare questa cosa.
12:10In poche ore poi Southman, Musk, Google, hanno tutti detto, tutti hanno detto, siamo d'accordo e facciamo lo stesso.
12:20Però qua, giustamente...
12:22Ti scontri contro la geopolitica politica.
12:25Esatto.
12:27E qua, appunto, arriviamo a quello che tocca direttamente a noi qui in Europa.
12:33Perché non siamo in questa corsa.
12:37Non ci riguarda...
12:38Cioè, noi subiamo tutto.
12:40Quindi se un domani succede il casino...
12:44E appunto, sempre a Modè dice nel suo saggio che abbiamo tra 6-12 mesi finché un vero attacco accada
12:53da parte di agenti se va avanti con lo sviluppo.
12:57Esatto.
12:58Lui è molto preoccupato, infatti, perché dice, non sappiamo cosa succede, appunto, tutti devono...
13:04I governi devono iniziare a proteggersi.
13:08Capita, Modè, però, non per male, ma sei tu, se...
13:11Oddio, sono preoccupatissimo, ma sei tu che stai sviluppando queste robe?
13:16Tu, Altman e Yadri.
13:18Esatto.
13:18Cioè, non ci avevate pensato prima?
13:21Perdonatemi, no, perché la corsa a diventare il one trillion man insieme a Musk...
13:27Mi piace a tutti.
13:28Esatto.
13:29Quindi?
13:30E l'Europa resta indietro.
13:32Resta, diciamo, abbiamo...
13:34A noi siamo bravissimi a regolamentare, ma regolamentare cose che non sono nostre.
13:37E poi bella regolamentare la I.
13:39Esatto, sì.
13:40Appunto, la valutazione dell'ultimo Mistral è che è, appunto, arrivato più o meno allo stesso livello di un anno
13:48e mezzo fa
13:49dei modelli GPT, quindi i modelli 4, 4.0, che sono modelli buoni.
13:55Appunto, lui sta puntando sempre sui modelli che facciano dei lavori aziendali.
14:01Cioè.
14:02Lui dice, e ha ragione lui, che per fare i lavori aziendali non serve avere il supermodello wow con capacità.
14:10Però restiamo chiusi lì in questo ragionamento se andiamo avanti così.
14:15Quindi Europa finché non inizia a costruirsi...
14:19Ma noi l'abbiamo già persa la corsa.
14:22Cioè, c'è...
14:22Ma vai a recuperare il tempo perduto, scusami Marcella.
14:26Ma, dico, dal mio piccolo, la I adesso si costruisce con la I.
14:32Eh, ma è proprio quello che vogliamo evitare noi.
14:34Sì, però...
14:35Tu dici, per arrivare allo stesso livello abbiamo bisogno della I che costruisce la I e che fa tutto velocemente.
14:41Ho capito?
14:41Ma stiamo cercando proprio di limitare questa cosa qua.
14:44Ma non si...
14:45Cioè, al punto che siamo arrivati non si torna più indietro.
14:49Magari riusciamo a rallentare e non andare oltre per qualche mese, se tutti si mettono veramente d'accordo.
14:56Se anche la Cina decidesse...
14:59Il punto è che l'Europa resta molto debole dal punto di vista di sia protezioni, sia di competizioni, diciamo,
15:10di mercato, di tutto.
15:13Non è la potenza a fare paura, è chi tiene il volante.
15:18Infatti.
15:19E chi è che tiene il volante?
15:20Questa è la domanda.
15:21E' la vera domanda.
15:22Come mai loro stessi dicono che dobbiamo rallentare se sono loro stessi, che in teoria sono al volante?
15:27Ma anche perché io sapevo che comunque loro dovevano rallentare il fatto che durante queste scorribande degli agenti AI,
15:37gli agenti AI hanno lasciato queste piccole tracce su internet, sui corsi.
15:43Adesso, a far allenare altri modelli, c'è chi ti dice che non va a incappare dentro la poison pill
15:51dell'agente precedente
15:52e ti travia, diciamo, il tuo agente nuovo, che magari è anche dieci volte più potente?
15:58Esatto.
15:58Si chiama prompt injection.
16:01Ah, prompt injection.
16:02Ah, quindi c'è, esiste.
16:03C'è, esiste, esiste.
16:04Sia da parte di altri agenti, sia da parte di chi usa, diciamo, proprio in malafede.
16:11Tipo i hackers lasciano le istruzioni agli agenti che, se sono agenti che non sono ben, diciamo, costruiti dal punto
16:19di vista di regole, di guardi rails,
16:22poi prendono questi prompt injection e vanno a eseguirli.
16:27Quindi come se fosse...
16:28Si, si, li eseguono e poi va a sapere cosa c'è dentro questa injection e diventano parte di loro.
16:35Esatto, ma appunto quello che dice appunto Dario, Amodei, è che servono sistemi di intelligenza artificiale per la sicurezza
16:44e che noi adesso abbiamo i sistemi vecchi di sicurezza, cioè tutto il mondo, l'internet non è adatta per,
16:51diciamo, reagire a questi attacchi.
16:54No, no, no, assolutamente, assolutamente.
16:56Guarda, io ho visto con il mio modello, cioè, non posso entrare perché il sito mi blocca lì.
17:03Allora, proviamo a fare così, proviamo a fare così, proviamo a fare così, alla fine riesci ad entrare.
17:07Si, si, esatto.
17:09Prova a dire alla gente quando dice, ah, non ho questo dato, si che ce l'hai, si che lo
17:13trovi.
17:14Se lo forzi, lui va avanti finché trova il modo.
17:17E sono modelli, almeno quelli, diciamo, retail, che sono ancora, cioè immagina quei modelli lì su, che si stanno sviluppando,
17:26lastra.
17:28Si, si, si, si.
17:29Secondo me è anche il suo stesso.
17:30Comunque bisogna correre su una, sicuramente regolamentazione, comunque, imbrigliarvi, perché se no, questi hanno la potenza di fare quello che
17:42vogliono.
17:43Sì, si, si, esatto.
17:44No, hanno in mano, cioè, e poi anche se si, che il loro discorso è, si blocca, si blocca lo
17:51sviluppo oltre a dove siamo arrivati, cioè la potenza resta in mano a chi ce l'ha adesso.
17:57Si parla anche di limitare le vendite di schede.
18:03Però quello va, appunto, a colpire chi sta provando a costruirsi dei modelli, anche Mistral per primo, no?
18:09Cioè i modelli piccoli, quindi diciamo che sono delle decisioni che va a toccare, va a toccare tutti, tutto il
18:18mondo, no?
18:19Tutto il mondo che adesso prova a costruirsi.
18:22Ma il mio punto qua era anche far capire che gli agenti che utilizziamo noi, ovviamente ci siamo, ci sono
18:33dei rischi, perché si trattano di, no?
18:36L'intelligenza artificiale, ma sono agenti molto diversi.
18:43Si dice sempre agenti, sono autonomi, ma sono modelli che è, diciamo, un rischio molto, molto ridotto.
18:49Pensiamo a un aereo senza gli strumenti automatizzati.
18:54Pensiamo a un aereo che adesso, oggi, diciamo, perché succeda qualcosa ci vuole veramente una catena di, diciamo, di sfortune.
19:03Quindi gli agenti che abbiamo in mano noi sono assolutamente molto più sicuri rispetto a quelli dei laboratori.
19:12Comunque lì l'errore, a mio giudizio, è stato a monte.
19:15Cioè quando ho iniziato a tirare fuori i modelli, noi eravamo tutti galvanizzati, c'è GPT, scriveva, ci rispondeva così.
19:22Però già lì, forse bisognava, beh, c'è chi comunque aveva sollevato a suo tempo, beh no, c'è già
19:28chi ha sollevato la sua questione 30 anni fa.
19:33Però diventa un po', adesso la necessità di fare qualcosa c'è assolutamente.
19:37Eh sì, anche perché a livello che siamo adesso veramente ci copre, praticamente, anche l'altro giorno c'era la
19:45notizia di Antropic, un modello loro che ha scoperto una sequenza di DNA nuova.
19:50Sì, di RNA che si trasforma in DNA, se non l'ho sentito.
19:54Cioè, adesso ci sono veramente delle capacità, diciamo, delle applicazioni che ci possono portare avanti come società, come, diciamo, anche
20:03scoprire cure.
20:05Sai se cos'è il bivio, eh, lo facciamo per il bene dell'umanità o per il male dell'umanità?
20:10È lì che dobbiamo girare nella parte giusta, perché se no va bene, tanto è una cosa che comunque continueremo
20:18a monitorare.
20:20Marcella, grazie mille per, insomma, oggi aver spiegato un po' bene tutto quanto all'interno di quale contesto siamo su
20:26queste criticità.
20:28Speriamo che se ne rendano conto ai piani alti e che si faccia qualcosa a livello worldwide, globale, perché se
20:34no, se lo fai,
20:35da una parte e non dall'altra non ti cambia niente.
20:38Esatto, se mi imbarca il male.
20:40Però abbiamo già visto che quelli lassù in cima non hanno intenzione di rallentare.
20:44No.
20:47Marcella D'Andrade, admin.ai. Grazie mille, Marcella.
20:50Grazie mille, grazie a tutti.
20:52Terminiamo qui il nostro approfondimento dedicato agli agenti AI.
20:55Grazie a tutti per l'attenzione e rimanete su Classi.
20:57Grazie mille, grazie mille.
20:59Grazie mille.
21:00Grazie mille.