AI가 퍼뜨린 ‘딥페이크 음란물' 공포…AI로 막을 수 있을까

'딥브레인AI' 탐지 솔루션 상용화
경찰청도 피싱ㆍ성착취 등 범죄 대처
"플랫폼 책임 등 AI윤리 확립해야"

인공지능(AI) 기술을 활용해 특정 인물의 얼굴을 음란물에 합성하는 딥페이크 성 착취물이 퍼지고 있다. 딥페이크는 AI 기술인 ‘딥러닝’과 허위를 의미하는 ‘페이크’의 합성어다. 이에 딥페이크를 생성하는 AI를 활용해, 딥페이크를 탐지하는 기술도 주목받고 있다.

국내에서 딥페이크 탐지 솔루션 상용화에 성공한 기업은 ‘딥브레인AI’이다. 딥브레인AI의 딥페이크 탐지 솔루션은 이미지, 오디오, 동영상 등을 분석해 5~10분 내로 딥페이크 여부를 탐지한다. 딥브레인은 한국인 데이터 100만 개와 아시아계 인종 데이터 13만 개 등 총 520만 개 데이터를 학습시켰다.

딥페이크 탐지 솔루션은 가상 얼굴을 생성하는 ‘페이스 제너레이션’, 특정인의 얼굴로 교체하는 ‘페이스 스왑’, 목소리를 바꾸는 ‘립싱크’ 등을 잡아낸다. 음성의 주파수와 지연 시간 등을 고려해 조작된 음성을 감지하는 식이다. 학습된 영상 데이터를 토대로 고개 각도, 입술 발화, 안면 근육 변화 등 행동 패턴을 분석한 후 실제 인물과의 유사도를 측정해 진위를 파악한다. 딥브레인AI 관계자는 “생성형 AI 전문기업이지만 사회적 책임을 기반으로 사회에 기여할 수 있는 부분을 고민했다”고 했다.

경찰청도 딥페이크 탐지 솔루션을 활용해 딥페이크 기반 피싱·성 착취물 등 지능형 범죄에 대처한다. 진위 탐지율이 80% 정도이기 때문에, 탐지 결과는 증거자료가 아닌 수사 방향을 설정하는 자료로 쓰인다.

글로벌 빅테크 기업도 딥페이크를 탐지하는 AI를 고도화하고 있다. 인텔은 96% 정확도로 딥페이크 영상을 탐지하는 ‘페이크캐처’를 개발했다. 페이크캐처는 비디오 픽셀 내 인간의 혈류를 분석해 허위 영상을 판별한다. 마이크로소프트는 ‘마이크로소프트 동영상 인증기’를 공개했다. 이 도구는 AI 알고리즘을 사용해 사진 및 영상을 프레임 단위로 판독하고 신뢰도 점수를 제공한다.

다만 딥페이크 생성 기술보다 딥페이크 탐지 기술의 발전 속도는 매우 더디다. 그 이유는 투자한 만큼의 수익이 나지 않기 때문이다. 탐지 AI를 만들기 위해선 진짜 데이터와 가짜 데이터를 모두 학습시켜야 한다. 생성 AI가 학습 데이터가 2배가량 더 필요한 셈이다. 또 생성 AI보다 탐지 AI의 수익화 방안은 모호하다.

AI 업계 관계자는 “기업에게 딥페이크를 탐지하는 AI는 뒷전”이라며 “딥페이크를 생성하는 AI에 비해 수익이 안 나기 때문”이라고 말했다. 이재성 중앙대 AI학과 교수는 “해외의 경우 맥아피 등 전통적인 보안 회사가 딥페이크 탐지 기술을 주도하고 있고, 국내에서는 경찰청 등 정부기관을 중심으로 관련 연구가 이뤄지고 있다”며 “우리나라에서는 치안에 해당하는 부분들을 사기업에 맡기기보다는 정부가 주도해야 한다는 정서가 강하기 때문에 사기업 상용화가 어렵다”고 설명했다.

전문가들은 딥페이크를 막기 위해 AI 윤리를 확립해야 한다고 제언했다. 김명주 서울여대 정보보호학과 교수는 “딥페이크 생성 도구에 AI가 만들었다는 표식을 강제하거나 콘텐츠를 유통하는 플랫폼 기업에 해당 책임을 부여하는 방법이 있다”고 했다. 이 교수는 “생성형 AI 운영 기업을 대상으로 비윤리적 결과물을 만들지 않도록 가드레일을 세우게 하거나 관련 기술을 확보하도록 장려해야 한다”고 덧붙였다.