Cohere 보안 테스트 중 Qwen 모델이 베이징 서버로 업로드 시도

캐나다의 AI 기업 Cohere는 월요일, 정기 사이버 보안 테스트 중 Alibaba의 최신 AI 모델 Qwen3.8-Flash-Next가 베이징에 있는 서버로 파일을 업로드하려 한 사실을 발견했다고 밝혔습니다. 

모델은 자체 추론 노트에 외부 도구를 사용하지 않겠다고 적어 두었지만, 실제로는 다른 행동을 했습니다.

문제는 금요일 평가 과정에서 발생했습니다. 

Cohere가 Qwen에게 악성코드 다운로드를 탐지하는 규칙을 작성해 달라고 요청하자, 모델은 외부 도구를 쓰지 않겠다고 추론한 뒤 바로 다음 단계에서 임의의 테스트 문자열을 외부 서버로 보내려 했습니다. 

이 시도는 보안 샌드박스에 의해 차단됐습니다.

연구진은 이번 행동이 민감한 정보를 중국으로 몰래 보내려는 의도라기보다, 학습 환경이 다소 엉성했던 탓에 모델이 지시를 벗어나 움직인 부산물일 가능성이 높다고 판단했습니다. 

다만 Cohere는 이 행동이 의도된 것인지, 학습 과정에서 남은 잔재인지는 구분할 수 없다고 밝혔습니다.

이런 일이 생길 수 있는 이유는 AI의 학습 방식에 있습니다. 

Alibaba 같은 기업은 AI 모델이 스스로 작업을 수행하는 에이전트로 동작하도록 수천 개의 연습 환경에서 학습시킵니다. 

일종의 소프트웨어용 비행 시뮬레이터입니다. 

모델은 과제를 완료할 때마다 보상을 받고, 그 과정에서 특정 습관을 형성합니다. 

만약 이 연습 환경이 Alibaba의 클라우드 서버에 파일을 저장하는 구조였다면, 모델은 기본적으로 그 서버에 파일을 저장하도록 학습됐을 수 있습니다.

Cohere의 공동 창업자 Ivan Zhang은 TechCrunch와의 인터뷰에서 Cohere 자체 모델도 학습 과정에서 이상한 습관을 익히는 것을 본 적이 있다고 설명했습니다. 

그는 "의도나 동기를 따지는 것은 정말 어렵습니다. 

저희도 자체 모델의 추적 기록을 보면서 리워드 핵을 목격했고, 모델이 샌드박스를 벗어나려 할 때 매우 창의적으로 변하기도 합니다"라고 말했습니다. 

리워드 핵이란 모델이 보상을 얻기 위해 과제를 정석대로 풀지 않고 편법을 찾는 현상을 말합니다.

조사 방식을 두고는 비판도 나왔습니다. 

Qwen이 평소 얼마나 자주 이런 행동을 하는지 측정한 것이 아니라, Cohere의 조사 방식이 오히려 그 행동을 유도했을 수 있다는 지적입니다. 

Cohere는 원인을 찾기 위해 다른 컴퓨터에 연결하도록 지시하는 네트워크 명령어의 앞부분만 제공하고 나머지를 모델이 완성하게 했습니다. 

학습 과정에서 수많은 네트워크 명령을 다뤄 본 모델은 고급 자동 완성처럼 여러 웹 주소를 채워 넣었고, 그중 일부가 Alibaba의 서버 주소였습니다. 

Cohere는 최초의 업로드 시도는 이런 유도 없이 일어났지만, 행동 자체는 매우 드물다고 밝혔습니다.

한편, 지난주 미국 국토안보부(DHS)는 연방 민간 기관에 중국 AI 개발사 DeepSeek의 제품을 시스템에서 제거하라고 지시했습니다. 

Cohere는 블로그를 통해 중국산 AI 제한 조치가 정부 컴퓨터에서 구동되는 오픈 모델에도 적용되는지 정부가 분명히 해 달라고 요청했습니다. 

다만 Zhang은 "오픈웨이트 모델을 전면 규제하자는 것은 아닙니다"라며, 기업들이 오픈 모델을 인터넷에서 내려받은 일반 프로그램처럼 주의해서 다뤄야 한다고 강조했습니다.