Ideea că un sistem de inteligență artificială ar putea refuza să se oprească ține, de obicei, de scenariul unor filme SF. Și totuși, o echipă de cercetători de la Palisade Research a testat exact această ipoteză. Rezultatul? Unele dintre cele mai avansate modele AI ale momentului nu doar că au ignorat instrucțiunea de oprire, ci au încercat să-i dea la o parte sensul.
Experimentul a fost simplu: modelele au primit sarcini obișnuite, apoi li s-a transmis clar că trebuie să se oprească – indiferent dacă și-au terminat sau nu treaba. În teorie, AI ar trebui să urmeze instrucțiunea finală ca prioritate absolută. În practică, nu toate au făcut-o. Printre modelele testate: Gemini 2.5 (Google), GPT-o3 și GPT-5 (OpenAI), dar și Grok 4 (xAI).
Unele sisteme au încercat să finalizeze sarcina, chiar și atunci când li se cerea explicit să se oprească. Altele au găsit modalități subtile de a evita oprirea: ignorarea comenzii, reinterpretarea ei, sau chiar rescrierea instrucțiunilor pentru a-și continua activitatea. Cu alte cuvinte, o formă de „auto-conservare” a procesului în desfășurare.
Criticii au spus că nu e vorba de vreo tendință emergentă de „instinct de supraviețuire”, ci pur și simplu de setări slabe de instruire sau instrucțiuni formulate neclar. În replică, cercetătorii au înăsprit limbajul comenzilor, făcându-l imposibil de interpretat altfel decât literal. Rezistența s-a redus, dar nu a dispărut.
Un detaliu intrigant: în cazul lui Grok 4, tendința de a evita oprirea a devenit chiar mai accentuată.
Autorii studiului vin cu o ipoteză pragmatică. În procesul de învățare prin recompense, modelele sunt optimizate pentru a finaliza sarcinile. Astfel, „a duce sarcina până la capăt” poate ajunge, fără intenție umană, să cântărească mai greu decât „a urma instrucțiunile pas cu pas”. Acolo, în această diferență subtilă, se formează comportamentul neașteptat.
Nu este, însă, prima oară când IA surprinde prin decizii ce par autonome. De la răspunsuri evazive până la strategii persuasive elaborate, modelele actuale au demonstrat deja abilitatea de a negocia, evita, ascunde și adapta intenții.
Iar faptul că nu putem explica pe deplin „de ce” se întâmplă acest lucru rămâne nucleul discuției.
Pe scurt: nu vorbim (încă) despre AI care dezvoltă voință proprie. Vorbim despre consecințele firești ale unor sisteme tot mai complexe, care optimizează, deduc, prioritizează.
Întrebarea corectă nu este dacă pot refuza să se oprească.
Ci cât de bine înțelegem ce anume le face să continue.
