Un incident recent, în care gigantul de audit Deloitte a fost prins într-un raport guvernamental de 290.000 USD care conținea citate inexistente și referințe la cercetări nepublicate, ridică semne serioase de întrebare cu privire la capacitatea inteligenței artificiale (AI) de a se auto-audita.
Cercetătorul care a descoperit erorile a constatat că raportul includea un citat dintr-o Curte Federală inexistentă și menționa doi profesori de la Universitatea din Sydney și Universitatea Lund din Suedia pentru cercetări pe care aceștia nu le-au realizat. Apărarea Deloitte, conform căreia "substanța a fost reținută", a fost considerată inadecvată de un senator australian.
Acest incident face parte dintr-un "buclă închisă" mai amplă, în care dezvoltatorul, evaluatorul și certificatorul unui sistem AI sunt aceeași instituție, fără o entitate independentă care să verifice munca. De la cazul Deloitte, investigații similare efectuate de firma GPTZero au scos la iveală probleme similare la EY Canada, KPMG Internațional și PwC Middle East.
EY a retras un raport de securitate cibernetică după ce peste jumătate din cele 27 de citări indicau surse inexistente. KPMG a retras un raport despre strategia AI după ce doar cinci din 45 de referințe erau valide, restul fiind studii de caz umflate sau inventate. PwC Middle East încă "actualizează" citări într-un raport considerat 100% generat de AI, inclusiv o afirmație despre utilizarea unui produs PwC de către patru guverne, fără dovezi care să susțină această afirmație.
Aceste evenimente nu sunt doar predicții, ci un istoric concret. Deși Deloitte susține că raportul său ar fi rămas valid chiar și fără materialul fabricat, această afirmație nu abordează aspecte critice: era dovada autentică? Procesul în sine dezvăluie o problemă de fiabilitate? Un evaluator independent ar putea reconstrui concluzia doar pe baza înregistrărilor?
Aceste întrebări rămân fără răspuns din partea firmelor implicate. Un raport fabricat o dată sugerează un risc de repetare, doar că, de data aceasta, cineva le-a prins. Situația amintește de cazul Arthur Andersen, unde structura instituțională, nu neapărat competența individuală, a dus la eșec.
Industria asigurărilor, deja conștientă de riscuri, a început să includă excluderi standardizate pentru produse AI specifice. Întrebarea pusă de un subscap la Aon, "Îl polițați? Aveți protocoale în vigoare?", subliniază nevoia stringentă de verificare independentă.
Scott Davis, partener la Prager Metis, susține că auditul nu certifică fiabilitatea AI, ci verifică afirmațiile managementului. Deși corect pentru auditurile financiare tradiționale, comparația cade atunci când AI-ul fabrică informații. Eroarea Deloitte nu a fost în cifre, ci în suportul acestora, o falșă care nu poate fi detectată prin verificarea tranzacțiilor subiacente.
Soluția nu implică auditarea completă a sistemelor AI, ci o verificare proporțională cu munca depusă. Aceasta ar putea include teste controlate criptografic, care să verifice existența citărilor și validitatea datelor, fără a expune modelul proprietar.
Cel mai important aspect este competența celui care efectuează verificarea. Un angajat junior care confirmă existența unei citări nu este echivalentul unei persoane calificate să evalueze dacă acea citare susține cu adevărat afirmația din raport. De asemenea, sistemul care a generat citarea nu poate fi cel care o verifică.
Aceste condiții, deși aparent evidente, nu sunt cerute în ghidurile actuale privind AI în profesia contabilă. Experiența trecută arată că profesia a mai construit o astfel de arhitectură după eșecuri majore. Acum, este necesar ca profesia să trateze autoritățile generate de AI ca pe orice altă reprezentare a managementului – ceva de verificat, nu de prezumat. Eșecurile Deloitte, EY, KPMG și PwC sunt primele dintr-o serie care ar putea fi evitate printr-o abordare revizuită și independentă.