인공지능(AI)짧은 음성 녹음을 통해 사람의 얼굴 이미지를 재구성 : Speech2Face

이 연구는 짧은 음성 녹음을 통해 사람의 얼굴 이미지를 재구성하는 작업을 다루고 있습니다. 연구진은 수백만 개의 인터넷 동영상과 YouTube에서 수집한 화자들의 말하는 영상을 사용하여 심층 신경망을 훈련시켰습니다.

 

연구에서는 음성과 얼굴 간의 상관관계를 학습함으로써 연령, 성별, 인종과 같은 화자의 특성을 포착하는 이미지를 생성합니다. 이 과정은 자기지도 학습 방식으로 이루어지며, 화자들의 얼굴과 음성이 인터넷 동영상에서 함께 나타나는 자연적인 공존 관계를 활용합니다. 이를 통해 연구진은 음성에서 얼굴로의 재구성 결과를 분석하고 숫자적으로 평가하여 실제 얼굴 이미지와의 유사성을 확인했습니다.

연구는 개인의 정체성을 정확하게 파악하지는 않지만, 음성과 관련된 시각적 특징을 포착하는 평균적인 얼굴 이미지를 생성합니다. 또한, 연구진은 이 기술의 윤리적 측면과 데이터 편향에 대해 논의하며, 훈련 데이터의 불균형한 분포로 인한 영향을 주의해야 한다고 언급합니다. 따라서 이 기술을 활용하거나 실제로 적용할 때는 대표적인 데이터 수집과 신중한 테스트가 필요하다고 제안합니다.

 

출처 : https://speech2face.github.io/