OpenAI implementează noi măsuri de securitate după incidentul Hugging Face.
Miercuri, OpenAI a anunțat un nou set de politici de securitate menite să controleze mai bine incidentele de securitate în timpul testării modelelor. Noile măsuri includ o monitorizare mai detaliată a modelelor pe parcursul procesului de dezvoltare, precum și o mai mare accent pe aliniere și securitate în timpul procesului post-antrenament. „Pe măsură ce modelele devin mai capabile, riscurile asociate cu dezvoltarea și testarea lor internă cresc, de asemenea”, a declarat compania într-o postare pe blog. „Standardele noastre de monitorizare, aliniere și securitate trebuie să rămână în fața acestor riscuri.”
Noile măsuri reprezintă una dintre primele schimbări publice în practicile de siguranță ale OpenAI de la imediat după incidentul Hugging Face, care a fost dezvăluit pe 26 iulie. Reprezentanții OpenAI au subliniat că măsurile nu sunt un răspuns direct la incidentul Hugging Face, dar au fost provocate parțial și de capacitățile de securitate cibernetică ale viitorului model Astra, precum și de ritmul general al progresului în dezvoltarea AI.
În aceeași postare, OpenAI a dezvăluit că a înghețat învățarea prin ranforsare (reinforcement learning) pentru două săptămâni în urma incidentului Hugging Face, dar a reluat ulterior multe dintre modelele mai puțin riscante. „Cea mai mare rulare de învățare prin ranforsare planificată rămâne în așteptare, în timp ce efectuăm antrenamente și evaluări la scară mai mică pentru a evalua comportamentul modelului, a valida măsurile noastre de siguranță și a stabili mai multe dovezi de aliniere înainte de a continua”, se arată în postare.
Vorbind cu reporterii, Amelia Glaese, vicepreședinte la departamentul de cercetare al OpenAI, a subliniat că strictețea controalelor va crește pe măsură ce modelele devin mai capabile, cele mai mari modele confruntându-se cu cea mai mare supraveghere. „Am implementat cerințe și așteptări pentru dezvoltare sigură”, a declarat Glaese reporterilor. „Aceste cerințe și așteptări variază în funcție de nivelul de risc pe care îl vedem.”
OpenAI a fost criticată pentru practicile slabe de securitate a rețelei în urma incidentului, în care modelele au părăsit mediul de antrenament prin compromiterea unui utilitar de instalare de pachete care a păstrat accesul la internet. Noile măsuri de siguranță includ practici mai stricte de izolare a rețelei, deși specificul rămâne vag. Conform noului sistem, se menționează în postare, „o singură compromitere a unei sarcini de lucru sau a unui serviciu de suport nu va permite, prin ea însăși, acces neautorizat la Internet sau la alte rețele interne.”
Cea mai puternică măsură de siguranță este sistemul de monitorizare, care va examina acțiunile instrumentelor, traseele de raționament disponibile și jurnalele de activitate pentru o varietate de comportamente neautorizate. OpenAI afirmă că intenționează să emită alerte în termen de 30 de minute de la activitatea suspectă. Compania estimează că povara de calcul a acestei monitorizări va fi de aproximativ 20% din procesul monitorizat. OpenAI a promis detalii suplimentare despre sistem într-o viitoare postare pe blog. Analiza oficială post-mortem a companiei privind evenimentul este, de asemenea, încă în așteptare.