A new AI voice tool is already being abused to deepfake celebrity audio clips | Engadget 기사
https://www.engadget.com/ai-voice-tool-deepfake-celebrity-audio-clips-094648743.html
1. 최근 Eleven Labs라는 스타트업에서 TTS 제작용으로 새로운 목소리를 만들거나
누군가의 목소리를 합성하는 기능을 베타로 공개했다고 합니다. (Voice Lab)
2. 그런데 영상에서도 딥페이크 문제가 있는 것과 비슷하게,
익명 게시판 4chan 등에서 엠마 왓슨이 '나의 투쟁'(Mein Kampf)을 읽는 듯한 음성을 제작하는 등 악용 사례가 급증하고 있다고 합니다.
모든 목소리가 같은 방법으로 제작됐는지는 알 수 없으나, Eleven Labs로 향하는 링크가 올라온 것은 보인다고.
3. 회사에서도 인지하고 악용에 대처하기 위해 커뮤니티 의견을 듣고 싶다고 트윗을 올렸습니다.
결제 정보나 신분증 정보를 받는 방법 아니면 수동으로 검사하는 것도 생각하고 있다고 합니다.
https://twitter.com/elevenlabsio/status/1620032627075063811
여러모로 혼란의 시기가 오는 것 같네요....ㄷㄷ
범죄자부터 정치인까지 거짓, 선동도 더 쉬워서 훨씬 더 위험한 케이스 같은데요.
진짜 범죄 활용 직빵인데요?
진짜 AI가 인류가 멸망의 기폭제란 가설이 마냥 망상은 아닌..
Ai가 만든 것은 고의적으로 기계적인 표시를 강제하는 법이 생길 수도 있겠네요.
Ai 음성 만드는 것은 일정구간 기계처럼 발음하게 한다거나 사람은 인지하기 어려우나 분석하면 인공적으로 만들어진 노이즈가 들어간다거나...실제 TTS 프로그램에도 별도로 있는 경우도 있더군요.
뭐 그래도 나이들면서 눈 안좋아지고 노안도 생겨서 가끔 TTS를 이용하는데 예전보다는 많이 좋아졌지만 듣다보면 오디오북보다 못한데 Ai 때문에 여러 배우들이 각각의 지문을 읽어주는 기능도 생길 것 같네요.
이걸 어떻게 생각해야 할까요 ..