컨볼루션 오토인코더를 이용한 마스크 착용 얼굴 이미지 생성 - 이승호(Seung Ho Lee) (한국정보통신학회논문지, 2022)
Researches of face recognition on masked faces have been increasingly important due to the COVID-19 pandemic. To realize a stable and practical recognition performance, large amount of facial image data should be acquired for the purpose of training. However, it is difficult for the researchers to obtain masked face images for each human subject. This paper proposes a novel method to synthesize a face image and a virtual mask pattern. In this method, a pair of masked face image and unmasked face image, that are from a single human subject, is fed into a convolutional autoencoder as training data. This allows learning the geometric relationship between face and mask. In the inference step, for a unseen face image, the learned convolutional autoencoder generates a synthetic face image with a mask pattern. The proposed method is able to rapidly generate realistic masked face images. Also, it could be practical when compared to methods which rely on facial feature point detection. 코로나19 팬데믹으로 인해 마스크 착용이 일상화되면서 마스크 착용 얼굴을 식별하는 얼굴인식 연구에 대한 중요도가 높아지고 있다. 안정된 얼굴인식 성능을 위해서는 인식 대상에 대한 풍부한 학습용 이미지 확보가 필요하지만 인물 별로 마스크 착용 얼굴 이미지를 다량 확보하는 것은 쉽지 않다. 본 논문에서는 마스크 미착용 얼굴 이미지에 가상의 마스크 패턴을 합성하는 새로운 방법을 제안한다. 제안 방법은 동일 인물에 대해 마스크 미착용 얼굴 이미지와 마스크 착용 얼굴 이미지를 쌍으로 컨볼루션 오토인코더에 입력하여 얼굴과 마스크의 기하학적 관계를 학습한다. 학습이 완료된 컨볼루션 오토인코더는 학습에 사용되지 않은 새로운 마스크 미착용 얼굴 이미지에 가상의 마스크 패턴을 자연스러운 형태로 합성해준다. 제안 방법은 고속으로 대량의 마스크 착용 얼굴 이미지를 생성할 수 있으며, 얼굴 특징점 추출에 기반하는 마스크 합성 방법에 비해 실용적이다.