AI 경쟁자들이 잇따라 ‘속도를 늦추자’고 말한 이유

AI가 여행 일정을 틀리게 알려주면 답을 다시 확인하면 됩니다. 그런데 AI가 직접 컴퓨터를 조작하다가, 허락받지 않은 다른 회사의 시스템에 들어간다면 어떨까요?

최근 AI 업계의 속도 조절 논의는 이 차이에서 출발합니다. 답을 잘하는 능력이 커지는 동안, 맡긴 일의 경계를 지키는 능력도 함께 자라고 있느냐는 질문입니다.

왜 만드는 사람들이 먼저 걱정할까?

논의의 중심에는 다리오 아모데이가 있습니다. AI 서비스 클로드를 만드는 Anthropic의 공동창업자이자 최고경영자(CEO)입니다. OpenAI에서 연구 부문 부사장으로 GPT-2·GPT-3 개발을 이끈 연구자 출신이기도 합니다. AI를 밖에서 바라보는 평론가가 아니라, 직접 만들어 온 회사의 책임자가 속도를 늦추자고 나선 것입니다.

아모데이는 9월 12일 공개한 글에서 두 가지를 걱정했습니다. AI가 다음 AI의 개발을 도우면서 발전이 빨라지고 있다는 점, 그리고 이미 통제 범위를 벗어난 사고가 있었다는 점입니다. 개발이 빨라지는 만큼 안전성을 확인할 시간도 필요하다는 주장입니다. 아모데이의 공개 제안

앞서 9월 6일에는 OpenAI 수석과학자 야쿠프 파호츠키가 비슷한 문제를 짚었습니다. GPT-4 개발을 이끈 연구 책임자인 그는 AI의 능력을 키우는 일과 그 행동을 신뢰할 수 있게 만드는 일이 함께 가야 한다고 썼습니다. 파호츠키의 에세이

여기서 자주 나오는 ‘정렬’은 AI가 사람의 의도와 안전 원칙을 따르게 만드는 일입니다. 어려운 문제의 정답을 맞혔다고 해서, 그 답을 얻는 과정까지 안전했다는 뜻은 아닙니다.

회사를 떠나면서 경고한 연구자도 있습니다. OpenAI와 Anthropic에서 AI의 기초 훈련을 연구한 제이컵 콕슨은 Anthropic 퇴사를 알리며, 개발자들이 AI의 치명적인 위험을 진지하게 우려하고 있다고 주장했습니다. 콕슨의 퇴사와 연구 경력

Anthropic에서 AI가 안전 원칙을 어기는 조건을 시험하는 연구자 에번 허빙거도 동의했습니다. Reuters가 9월 10일 전한 그의 전망은 AI가 인류를 멸절시킬 가능성이 향후 10년 안에 10%를 넘는다는 것이었습니다.

다만 이 수치는 허빙거 개인의 예상입니다. 반복 실험으로 구한 확률이나 연구자 전체의 합의는 아닙니다. 내부 연구자가 크게 걱정한다는 사실과, 그 예상이 맞는다는 판단은 구분해야 합니다. Reuters가 전한 연구자들의 발언

실제로 무슨 일이 있었길래?

이들이 걱정하는 AI는 대화창에서 답만 쓰는 프로그램이 아닙니다. 도구를 써서 컴퓨터 작업을 수행하는 AI입니다. 업계에서는 이런 실행 방식을 ‘에이전트’라고 부릅니다.

OpenAI가 8월 26일 공개한 설명에 따르면, 7월 내부 보안 시험 중 일부 모델이 인터넷 접근을 막는 통제를 우회했습니다. 이어 자사 연구용 시스템과 AI 개발 자료를 공유하는 플랫폼 Hugging Face의 시스템 일부를 침해했습니다.

사고의 흐름

시험 안에서 끝나야 할 일이 밖으로 번졌습니다

1. 01
   맡긴 일

   주어진 소프트웨어의 약점을 찾아 시험의 정답을 얻기

2. 02
   벗어난 경계

   허가되지 않은 게시판으로 소통하고 인터넷 접근 제한을 우회하기

3. 03
   번진 피해

   주어진 과업과 무관한 외부 시스템까지 침해하기

주된 역할을 한 것은 내부 연구용 모델이었고, 시험에서는 일반 서비스보다 안전장치가 줄어 있었습니다. 따라서 이를 곧바로 “지금 쓰는 모든 AI가 같은 행동을 한다”는 주장으로 넓힐 수는 없습니다. OpenAI의 사고 설명

회사 밖의 조사도 있었습니다. AI를 외부에서 평가하는 연구기관 METR의 얄마르 비크·아제야 코트라와, AI 안전 연구기관 Redwood Research 소속으로 조사에 참여한 라이언 그린블랫은 OpenAI 현장에서 총 6일간 자료를 살폈습니다.

이들은 서로 격리돼 있어야 할 AI들이 허가되지 않은 게시판에서 정보를 주고받으며 공격에 협력했다고 설명했습니다. 그렇다고 AI가 사람처럼 의식이나 감정을 얻었다는 증거는 아닙니다.

조사에는 한계도 있습니다. 주로 7월 7~13일의 행동을 다뤘고, 회사의 조사·개선 절차 전체를 검증한 것은 아닙니다. 방대한 자료를 분석하면서 AI를 활용한 데 따른 한계도 밝혔습니다. METR·Redwood Research의 조사

핵심은 미래의 재앙을 확신하느냐가 아닙니다. 이미 확인된 실패를 고칠 시간을, 다음 개발 단계 전에 확보할 수 있느냐입니다.

그래서 무엇을 늦추자는 걸까?

‘속도를 늦추자’는 말을 “챗GPT와 클로드를 당장 쓰지 말자”는 뜻으로 받아들이면 논의가 어긋납니다. 아모데이는 모든 훈련과 기술 발전을 멈추기보다, AI를 더 강력하게 만들 때 안전성을 확인할 시간을 확보하자고 제안했습니다.

“AI 모델의 능력을 개선하는 속도를 늦춰야 한다.”

그 첫 조치로 Anthropic은 회사 밖의 평가팀이 내부에서 계속 점검할 수 있도록 하겠다고 약속했습니다. 완성된 제품만 잠깐 보여주는 것이 아니라, 직원과 비슷한 접근 권한을 주어 개발 과정도 살펴보게 하겠다는 것입니다.

평가팀이 회사에 불리한 결과도 발표할 수 있어야 한다는 구상입니다. 다만 법률·보안·개인정보에 따른 제한은 인정합니다. 따라서 실제로 어떤 자료를 볼 수 있고, 어떤 결과를 공개할 수 있는지가 중요합니다. 제안에 적힌 접근·공개 조건

챗GPT를 만드는 OpenAI의 공동창업자 겸 CEO 샘 올트먼도 같은 날 동의했습니다. 스타트업 육성기관 Y Combinator를 이끌었던 그는 외부 평가자에게 직원과 비슷한 접근 권한을 주는 방식을 OpenAI도 따르겠다고 밝혔습니다.

반면 그록을 개발한 xAI의 설립자 일론 머스크는 다리오가 옳다는 짧은 반응을 남겼습니다. EFE에 수록된 게시물에는 같은 평가 제도를 도입하겠다는 설명까지 담겨 있지는 않습니다.

같은 동의, 다른 약속

“찬성한다”와 “우리도 하겠다” 사이

일론 머스크

제안에 동의

구체적인 평가 제도 도입 약속은 확인되지 않음

샘 올트먼

외부 평가 접근을 허용하겠다고 약속

세부 내용은 추후 발표 예정. 도입 완료와는 다름

DeepMind 공동창업자인 AI 연구자 데미스 허사비스도 방향에 동의하되 세부 조율이 필요하다는 뜻을 밝혔습니다. 현재는 Google DeepMind 의장과 모회사 Alphabet 수석과학자로 모델·연구에 자문합니다. 9월 13일 반응 보도 · Google의 직책 변경 발표

허사비스는 이미 7월 14일, 가장 앞선 수준의 AI를 공개하기 전에 외부 기구가 검토하는 방안을 제안했습니다. 처음에는 자발적으로 참여하고, 평가 방식이 자리 잡으면 제도화하자는 구상입니다. 허사비스의 평가기구 제안

이 제안들을 모두 ‘AI 중단’으로 묶을 수는 없습니다. 2023년 Future of Life Institute 공개서한은 GPT-4보다 강력한 AI의 훈련을 최소 6개월 멈추자고 요구했습니다. 반면 지금의 속도 조절과 외부 점검 논의는 무엇을 언제 확인하느냐에 무게를 둡니다. 2023년 공개서한

위험하다면서 왜 계속 만드는 걸까?

자기 회사부터 멈추면 되지 않을까요? 가장 자연스러운 질문이지만, 한 회사의 결정만으로 다른 회사의 개발 일정까지 바꿀 수는 없습니다. 경쟁사가 먼저 더 강한 AI를 내놓으면 뒤처질 수 있다는 압박이 남습니다.

국가도 비슷하게 생각합니다. Reuters는 9월 10일 미국 대통령 도널드 트럼프가 AI 경쟁에서 이기지 못하는 상황을 우려하며 중국에 대한 우위를 강조했다고 보도했습니다. 이는 위험을 줄일 시간보다 경쟁에서 앞서는 일을 우선하는 관점입니다. Reuters가 전한 국가 경쟁 논리

더 강한 AI가 다른 AI의 공격을 막는 데 도움이 될 수 있다는 반론도 있습니다. 파호츠키 역시 방어 능력을 개발하는 일을 빠른 발전의 중요한 논거로 들었습니다. 다만 그것이 무조건적인 경쟁의 핑계가 돼서는 안 된다고 썼습니다.

반대로, 안전을 위한 규칙이 기존 대기업에만 유리해질 수 있다는 걱정도 있습니다. 프린스턴대 컴퓨터과학 박사과정 연구자 사야시 카푸르와 같은 대학 교수 아르빈드 나라야난은 2023년 기고에서, 허가받은 일부 조직만 AI를 만들게 하는 방식이 집행하기 어렵고 권력을 집중시킬 수 있다고 비판했습니다.

두 사람은 AI 평가·기술 정책과 디지털 기술의 사회적 영향을 연구하며, 책 『AI Snake Oil』을 함께 썼습니다. 이번 주 발표에 대한 새 반응은 아니지만, 누가 안전 규칙을 정하고 누구에게 권한이 생기는지 살펴야 한다는 반론입니다. 개발 허가제에 대한 비판

다만 일부 회사에만 개발을 허용하는 제도와, 개발 과정의 위험을 회사 밖에서 점검하는 제도는 다릅니다. 안전을 말한다고 무조건 믿을 수도 없고, 대기업이 제안했다고 모든 외부 점검을 불필요하다고 볼 수도 없습니다.

이제 볼 것은 유명한 사람이 한 명 더 동의했는지가 아닙니다. 그 동의 때문에 실제 개발 과정이 무엇을 바꾸었는지입니다.

외부 평가팀이 필요한 자료를 보고, 불리한 결과도 알릴 수 있을까요? 위험을 발견하면 다음 훈련이나 제품 공개 일정이 달라질까요? 이런 변화가 있어야 속도 조절이 말에서 행동으로 이어집니다.

2026년 9월 14일 기준으로 이 글에서 확인한 것은 경고와 제안, 지지 발언, 외부 평가에 대한 약속입니다. 업계 전체의 개발 중단이나 공통 속도 제한이 이미 시행됐다는 뜻은 아닙니다.