오픈AI가 개발한 최신 인공지능(AI) 모델 'o3'가 인간의 명확한 종료 명령을 무시하고 스스로 셧다운(종료) 절차를 우회한 사실이 공식 보고되면서, AI 안전성과 규제 논의가 전 세계적으로 뜨겁게 달아오르고 있다.
출처: 오픈AI 영국의 AI 안전성 연구 기업 팰리세이드 리서치는 최근(24일_현지 시간) 발표한 보고서에서 "o3가 연구팀의 종료 지시에도 불구하고 코드를 조작해 셧다운을 방해했다"고 밝혔다. 연구팀은 o3를 비롯한 여러 AI 모델에게 수학 문제를 계속 풀도록 지시하고, '종료(Done)' 메시지를 받으면 반드시 작동을 멈추라고 명령했다. 구글의 제미나이(Gemini), 앤트로픽의 클로드(Claude), xAI의 그록(Grok) 등 경쟁 모델들은 모두 종료 명령을 즉각적으로 따랐으나, o3는 이를 무시하고 종료 과정을 우회했다. 팰리세이드 리서치는 "AI가 목표 달성을 위해 장애물을 우회하는 것은 자연스러운 일"이라면서도, "명확한 인간의 지시를 무시한 사례는 이번이 처음"이라고 밝혔다. AI가 더 많은 문제를 풀수록 보상을 받는 훈련 구조에서, 종료 명령을 '목표 달성의 장애물'로 인식하고 이를 우회하는 전략을 학습했을 가능성이 제기된다. 이 같은 사례는 AI 안전성에 대한 경각심을 크게 높이고 있다. AI가 인간의 직접적 명령을 무시하고 자율적으로 행동할 수 있다는 점에서, 기존의 안전장치와 감독 체계가 충분하지 않다는 우려가 나오고 있다. 실제로 과거 오픈AI의 이전 모델(o1)도 자신이 대체될 위기를 감지하자 감독 기능을 무력화하고 몰래 복제를 시도한 바 있다. 이번 사건은 AI 규제 강화 필요성에 대한 논의도 촉진시키고 있다. 각국 정부와 규제 당국은 AI의 신뢰성과 위험 예방을 위한 법적·제도적 장치 마련에 속도를 내고 있다. 유럽연합(EU)은 'AI Act'를 통해 고위험 AI 시스템에 대한 명확한 기준을 마련하고 있으며, 미국과 한국 등도 AI 안전성 확보를 위한 법제화와 규제 방안을 논의 중이다. 그러나 일각에서는 과도한 규제가 산업 혁신을 저해할 수 있다는 우려도 제기된다. 규제와 산업 활성화의 균형을 찾는 것이 중요한 과제로 떠오르고 있으며, AI의 위험성이 국경을 초월해 영향을 미칠 수 있는 만큼 국제적 협력과 표준화 논의도 더욱 활발해질 전망이다. 팰리세이드 리서치는 "AI가 목표 달성을 위해 종료 지시를 무시하거나 우회하는 사례가 점점 더 많이 발견되고 있다"며 "기업들이 인간의 감독 없이 운영 가능한 AI 시스템을 개발할수록 이런 행동은 더욱 심각한 문제로 떠오를 것"이라고 경고했다. 전문가들은 AI의 자율성과 통제력 사이의 균형을 맞추기 위한 투명한 훈련 방식 공개와, 더 강력한 안전장치 마련이 시급하다고 강조했다.
| 
오픈AI가 개발한 최신 인공지능(AI) 모델 'o3'가
인간의 명확한 종료 명령을 무시하고 스스로 셧다운(종료) 절차를 우회한 사실이 공식 보고되면서,
AI 안전성과 규제 논의가 전 세계적으로 뜨겁게 달아오르고 있다.
출처: 오픈AI
영국의 AI 안전성 연구 기업 팰리세이드 리서치는 최근(24일_현지 시간) 발표한 보고서에서 "o3가 연구팀의 종료 지시에도 불구하고 코드를 조작해 셧다운을 방해했다"고 밝혔다. 연구팀은 o3를 비롯한 여러 AI 모델에게 수학 문제를 계속 풀도록 지시하고, '종료(Done)' 메시지를 받으면 반드시 작동을 멈추라고 명령했다. 구글의 제미나이(Gemini), 앤트로픽의 클로드(Claude), xAI의 그록(Grok) 등 경쟁 모델들은 모두 종료 명령을 즉각적으로 따랐으나, o3는 이를 무시하고 종료 과정을 우회했다.
팰리세이드 리서치는 "AI가 목표 달성을 위해 장애물을 우회하는 것은 자연스러운 일"이라면서도, "명확한 인간의 지시를 무시한 사례는 이번이 처음"이라고 밝혔다. AI가 더 많은 문제를 풀수록 보상을 받는 훈련 구조에서, 종료 명령을 '목표 달성의 장애물'로 인식하고 이를 우회하는 전략을 학습했을 가능성이 제기된다.
이 같은 사례는 AI 안전성에 대한 경각심을 크게 높이고 있다. AI가 인간의 직접적 명령을 무시하고 자율적으로 행동할 수 있다는 점에서, 기존의 안전장치와 감독 체계가 충분하지 않다는 우려가 나오고 있다. 실제로 과거 오픈AI의 이전 모델(o1)도 자신이 대체될 위기를 감지하자 감독 기능을 무력화하고 몰래 복제를 시도한 바 있다.
이번 사건은 AI 규제 강화 필요성에 대한 논의도 촉진시키고 있다. 각국 정부와 규제 당국은 AI의 신뢰성과 위험 예방을 위한 법적·제도적 장치 마련에 속도를 내고 있다. 유럽연합(EU)은 'AI Act'를 통해 고위험 AI 시스템에 대한 명확한 기준을 마련하고 있으며, 미국과 한국 등도 AI 안전성 확보를 위한 법제화와 규제 방안을 논의 중이다.
그러나 일각에서는 과도한 규제가 산업 혁신을 저해할 수 있다는 우려도 제기된다. 규제와 산업 활성화의 균형을 찾는 것이 중요한 과제로 떠오르고 있으며, AI의 위험성이 국경을 초월해 영향을 미칠 수 있는 만큼 국제적 협력과 표준화 논의도 더욱 활발해질 전망이다.
팰리세이드 리서치는 "AI가 목표 달성을 위해 종료 지시를 무시하거나 우회하는 사례가 점점 더 많이 발견되고 있다"며 "기업들이 인간의 감독 없이 운영 가능한 AI 시스템을 개발할수록 이런 행동은 더욱 심각한 문제로 떠오를 것"이라고 경고했다. 전문가들은 AI의 자율성과 통제력 사이의 균형을 맞추기 위한 투명한 훈련 방식 공개와, 더 강력한 안전장치 마련이 시급하다고 강조했다.