De patru ori în acest spațiu, am prezentat un argument pe care îl consider infailibil și incomod: sistemele de inteligență artificială nu își pot verifica propriul aliniament, propria siguranță și propria conformitate, și nici companiile care le construiesc. Autocertificarea este exact tipul de eșec pe care profesia noastră există pentru a-l detecta, și am urmărit acest tipar în sectorul bancar, aviatic, farmaceutic și în propria noastră istorie. Supravegherea semnificativă, de fiecare dată, a apărut doar după ce daunele fuseseră deja făcute.
Congresul a început, în sfârșit, să se miște. "Frontier Risk Oversight, National Transparency, Independent Evaluation and Reporting Act" (FRONTIER Act), introdus luna trecută de reprezentantul Jay Obernolte, R-California, și Lori Trahan, D-Massachusetts, ar obliga cei mai mari dezvoltatori de AI să publice cadre de gestionare a riscurilor, să fie auditați de organizații de verificare independente și să raporteze incidente critice de siguranță în câteva zile de la descoperire. Acesta este un progres real și nu vreau să-l minimalizez. Proiectul de lege include, de asemenea, prevederi pe care le consider valoroase, cum ar fi crearea unui registru public al dezvoltatorilor „frontier” cu divulgarea proprietarilor beneficiari, astfel încât publicul să știe în sfârșit cine operează efectiv la această scară. Dar pe întrebarea centrală – dacă înregistrarea există la timp pentru a conta – este încă, într-un mod care ar trebui să sune familiar oricui din profesia noastră, un pas în urma unde ar trebui să fie.
Lacuna rămasă, în opinia mea, este aceasta: Întreaga arhitectură a FRONTIER Act răspunde lucrurilor după ce au fost descoperite. Se întâmplă un incident, iar ceasul începe să ticăie într-un interval de raportare măsurat în zile, nu în luni, ceea ce este un progres real față de versiunile anterioare. Dar un termen limită de raportare începe doar odată ce cineva știe că ceva a mers prost. Dacă nimic nu cere existența înregistrării subiacente în momentul în care s-a luat o decizie, nu există nicio garanție că cineva va găsi problema la timp pentru a începe acest ceas. Termenul limită presupune descoperirea. Nu o impune.
Congresul pare să realizeze că problema independenței nu este pe deplin rezolvată. Proiectul de lege îi cere Government Accountability Office (GAO) să verifice anual dacă auditorii sunt independenți de companiile pe care le verifică. Acesta este un pas bun, dar este, de asemenea, un semn că sistemul nu face din independență o caracteristică încorporată de la început. Domeniul nostru a învățat cu mult timp în urmă că verificarea onestității o dată pe an nu este același lucru cu proiectarea sistemului astfel încât paznicul să nu-și piardă ușor independența.
Din punct de vedere contabil, Congresul ar trebui să impună ceva ce profesia noastră înțelege de un secol: înregistrarea trebuie să fie creată în momentul în care se ia decizia, nu reconstruită ulterior pentru a satisface un termen limită de raportare. Atunci când o companie de AI antrenează un sistem, cineva decide ce date să îi furnizeze. Această decizie ar trebui să genereze o înregistrare marcata cu un timestamp, imuabilă, în momentul în care are loc, la fel cum o tranzacție generează o intrare în ziua în care are loc, nu în ziua în care cineva își amintește să o noteze.
Cred că acea înregistrare trebuie verificată în raport cu ceva specific, nu doar descrisă într-un cadru general. Congresul ar trebui să impună companiilor să își compare datele de antrenament cu un registru de material protejat înainte ca acele date să fie utilizate, și să înregistreze rezultatul acelei verificări ca parte a aceleiași înregistrări contemporane. Un cadru care spune: „avem o politică pentru asta” nu este același lucru cu un jurnal care arată că verificarea a avut loc efectiv, la o anumită dată, cu un rezultat specific.
Cred că auditorul care face verificarea trebuie să fie independent într-un sens mult mai puternic decât impune în prezent FRONTIER Act. Organizațiile de verificare autorizate de stat și plătite direct de companiile pe care le examinează reprezintă o îmbunătățire reală față de nimic. Contabilitatea a învățat această lecție din greu: sursa de finanțare a unui examinator determină ce va fi dispus să descopere acel examinator. Un examinator AI cu adevărat independent trebuie să fie finanțat prin evaluări colective care nu sunt legate de plata unei singure companii, să fie angajat sub restricții reale privind trecerea între biroul examinatorului și companiile pe care le supraveghează, și protejat de îndepărtare de către oricine are un interes într-un rezultat favorabil.
Și cred că constatările trebuie să aibă consecințe care nu depind de cooperarea companiei. O recomandare nu este o consecință. O constatare de audit care este pur și simplu înregistrată și lăsată la latitudinea companiei nu este o consecință. Congresul ar trebui să specifice consecințe automate atunci când examinatorii independenți verifică încălcări materiale, la fel cum o inspecție de siguranță eșuată oprește un avion indiferent de ceea ce ar prefera compania aeriană.
Niciuna dintre acestea nu necesită ca Congresul să rezolve cea mai dificilă întrebare din politica AI, care este încercarea de a defini ce face un sistem periculos sau cât de capabil este „prea capabil”. Acea luptă nu se termină niciodată și este, de obicei, câștigată de cel care beneficiază cel mai mult de pe urma confuziei. Ceea ce descriu eu nu atinge deloc acea întrebare. Pune ceva mai restrâns și mai ușor de răspuns: A existat o înregistrare creată la momentul respectiv, a fost verificată în raport cu ceva specific și poate o parte independentă care nu este îndatorată companiei să confirme răspunsul?
Am petrecut ultimele două luni dezvoltând exact această arhitectură, inclusiv structura de finanțare care păstrează un examinator onest și standardul specific de probă care face ca constatările să fie valabile. Pentru a testa dacă aceste idei ar putea funcționa împreună în formă statutară, am construit un proiect de lege complet, Independent AI Provenance and Examination Act, folosind asistență AI pentru redactare sub o revizuire umană atentă. Este disponibil acum la thinkingsovereignty.ai/ai-governance-model-act pentru ca oricine din această profesie să îl citească așa cum am citi lucrările unui client.
FRONTIER Act este un pas înainte autentic și aș prefera să fie adoptat decât să nu se adopte nimic. Dar profesia noastră a petrecut o sută de ani învățând că supravegherea construită în jurul dezvăluirii după fapt nu este supraveghere. Este o pistă de hârtie asamblată odată ce necazul a început deja. Dacă Congresul vrea ca acest lucru să funcționeze cu adevărat prima dată, înregistrarea trebuie să existe înainte ca cineva să aibă nevoie de ea, nu după.