앤트로픽, 스스로 진화하는 AI 단계에 곧 진입할 수 있다

앤트로픽이 '재귀적 자기 개선(RSI)'이 가능한 모델에 가까워지고 경고했습니다.

RSI는 AI가 스스로를 훈련하고 개선하는 능력이 매우 높아져, AI의 발전 속도가 폭발적으로 빨라지는 지점을 뜻합니다.

이를 바라보는 시각은 극명하게 갈립니다.

AI가 인간의 통제를 벗어나 자신의 목표를 좇으면서 피해를 아랑곳하지 않게 되는, 돌이킬 수 없는 재앙으로 보거나 AI가 스스로 안정적으로 발전하면서 생산성과 과학적 발견이 비약적으로 늘어나는 궁극의 기회가 될 수 있다는 입장입니다.

앤트로픽은 이 두 가지 측면을 모두 의식하고 있는 것으로 보입니다.

회사는 서류에서 이미 연구개발에 AI를 활용하고 있다고 밝히면서도, AI로 더 강력한 AI를 만드는 일은 특히 속도를 급격히 끌어올릴 경우 심각한 안전 문제를 일으킬 수 있다고 짚었습니다.

그리고 이 문제가 RSI 단계에 다가가는 과정의 위험을 관리하기 위해 마련한 '책임 있는 확장 정책(Responsible Scaling Policy)'의 핵심 관리 대상이라고 설명했습니다.

올해 초 RSI가 처음 화두로 떠올랐을 때만 해도 많은 사람이 이를 유행어나 실현도 증명도 어려운 허상 정도로 여겼습니다.

하지만 이번 서류에서 앤트로픽은 두 가지를 분명히 했습니다.

하나는 그동안 AI를 활용해 새 모델을 개발하면서 역량이 크게 도약한 사실을 당시에는 미처 알아차리지 못한 적이 있다는 점이고, 다른 하나는 머지않아 내부 RSI 기준을 충족할 수 있다는 점입니다.

앤트로픽은 연구개발에 AI를 더 많이 활용할수록 모델의 역량이 안전·보안 조치를 검증하고 도입하는 속도보다 빠르게 발전할 수 있다고 우려했습니다.

그래서 과거처럼 앞으로도 개발 속도가 급격히 빨라진 사실을 뒤늦게 알게 될 위험이 있다는 것입니다.

실제로 미래 모델에 대한 내부 추정을 종합하면, 책임 있는 확장 정책에서 정의한 ‘AI로 인한 급격한 발전 가속' 단계에 곧 들어설 가능성이 크다고 밝혔습니다.

다만 현재 모델 가운데 이 기준을 넘은 것은 아직 없으며, 관련 데이터를 계속 평가하고 있다고 덧붙였습니다.

앤트로픽은 당분간 연구개발 과정에서 인간의 역할을 유지하겠다고 강조했습니다.

기술적으로 가능해지더라도 인간의 의미 있는 감독과 이해 없이 클로드(Claude)가 차세대 프론티어 모델을 전적으로 혼자 설계하고 만들도록 두지는 않겠다는 것입니다.

이를 위해 핵심 모델 개발에서 인간의 통제력을 지킬 수 있도록 책임 있는 확장 정책의 개정도 검토하고 있다고 밝혔습니다.

회의론자들은 S-1 서류가 공시이자 마케팅 수단이라는 점에서, 자기 개선이 가능한 모델에 근접했다는 주장 역시 홍보 성격일 수 있다고 지적할 수 있습니다.
다만 올해 클로드의 코딩, 수학, 사이버 보안 역량이 크게 향상된 것은 사실입니다. 앤트로픽이 RSI가 가까워졌다고 판단하는 만큼, 이에 대한 대응과 규제 논의도 필요할 수 있습니다.