Abstract
Low-quality face recognition(LQFR)은 HQ image로만 처리하지 못하는 문제를 해결할 수 있다. 하나의 예시로 감시 비디오(CCTV)는 LQFR system이다. 감시 비디오의 특징으로는 물체와의 거리가 멀다는 것, challenging한 illumination condition, view의 다양한 각도 등이있다. LQFR의 approaches에는 super-resolution, deblurring, different resolution domain간의 관계 파악등의 기술이 쓰였다.
1. Introduction
LQ image들의 종류와 그것의 원인은 아래와 같이 다양하다.
- Blurriness : out-of-focus, interlacing, object-camera relative motion, atmosphric turbulance
- Low resolution : 카메라와 물체간 거리, 카메라 센서의 low spatial resolution
- Artifacts : low rate compression setting
- Acquisition condition(Add noise to the image)
LQFR을 위해 아래 4개 category의 방법이 사용된다.
- Super-resolution based method
- Low-resolution robust features
- Learning a unified representation space
- Remedies for blurriness
2. Face recognition in low-quality face images
LQ image에서의 face recognition task는 challenging한 문제이다. LQFR문제에 대해서 살펴본다.
2.1 LQ vs HQ face recognition
HQ image에서의 face recognition에서는 image에서 feature를 추출하고, 이를 recognition에 사용한다. 최근 이 분야는 좋은 성능을 내고있다. Face recognition기술은 mobile device와 retail industry에서 security를 위해 사용되고 있다. 후자의 경우에는 카메라와 사람 사이의 거리가 멀기 때문에 blur되거나 low resolution image가 얻어진다. 이런 환경은 recognition performance를 하락시키게 된다. HQFR과 LQFR은 아래와 같은 pipeline을 따라간다. LQFR에는 HQFR과 달리 feature extraction을 위한 image processing과정이 추가된다.
LQFR이 pipeline상 어려운 부분은 아래와 같다.
- 실제 LQ image를 수집하는 것이 어렵다. 만들어진 LQ image(subsampling or blurring HQ image)와 실제 LQ image는 다르다.
- Face alignment : LQ image에서는 face randmarks를 감지하기가 어렵기 때문에 alignment도 어렵게 된다. Misalignment는 recognition성능을 떨어뜨린다.
- Quality가 다른 이미지에서 feature extraction을 진행하면 같은 category의 이미지라도 feature가 달라져 matching이 잘 되지 않는다.
2.2 Resolution as an element of quality
어떤 논문에서는 16*16px이 face recognition을 위한 최소한의 image size라고 한다.
Wang et al.에서는 FR을 위한 image resolution을 두 가지 관점에서 분석했다.
- The best resolution : Recognition accuracy와 performing speed간의 trade off에서 최적의 resolution. 얻을 수 있는 highest resolution이 best resolution은 아니라고 한다.
- The minimal resolution : 성능이 급격히 떨어지기 전의 resolution. Minimal resolution은 method와 dataset에 따라 바뀐다.
Xu et al.에서는 FR을 위한 중요한 요인에 대해서 말한다.
- Camera type(high definition cameras vs. surveillance cameras)
- Camera와 object 사이의 거리
- 어떻게 LR face image를 얻었는가. High resolution image에서 down sampling하여 얻은 image는 Low resolution image를 잘 represent하지 못한다.
Image quality를 구체화하는 여러 연구도 진행되었다.
- Phillips et al.에서는 image quality upper bound를 예측하는 GPO(greedy pruned ordering)를 제안했다.
- Kim et al.에서는 automated face quality 평가를 해주는 FQA framework를 제안했다. FQA가 FR에 부정적인 영향을 줄 수 있는 이미지를 잘 제거함을 보여주었다. 인식률이 90%에서 FQA를 적용하고, 95%로 증가시킬 수 있었다.
2.3 Human vision in LQFR
CNN을 활용한 HQFR에서는 사람의 정확도를 뛰어넘었지만, LQFR에서는 아직 사람의 정확도를 뛰어넘지 못했다.
2.4 Challenges in LQFR
LQFR에는 아래와 같은 아래와 같은 문제가 있다.
- Small face region and lack of details : FR을 위해 필요한 local detail들이 LQ이미지에서는 부족하다.
- Blurriness : Caused by poor focus or movement of the subject
- Non-aligned : Caused by fail on face landmark detection
- Variety in dimension : Object와 camera사이의 거리가 달라지면 상의 크기가 달라진다.
- Scarce data sets : LQ image datasets가 한정되어있다.
3. Super-Resolution
4. LQ robust feature
5. Unified space
6. Deblurring
6.1 Background
Deblurring method는 아래의 카테고리들로 나뉜다.
- Blind image deblurring (BID) and Non-blind image deblurring (NBID)
- BID는 blurriness의 type에 대한 정보없이 clear version을 reconstruct하는 것이다.
- NBID는 blurring model을 알고있는 상태에서 reconstruct를 진행한다.
- Global deblurring and local deblurring
- Global deblurring : 전체적인 이미지가 blur되는 경우, Camera moving quickly or exposure time is long일 때 발생, PSF와 같은 blur model parameter만 예측하면 된다.
- Local deblurring : 여러 blurring kernel에 의해서 blur가 발생
- Single image deblurring and multi-image deblurring
- Single image deblurring : 하나의 이미지에 대한 deblurring
- Multi-image deblurring : 여러 이미지가 제공된 deblurring, 여러 장의 이미지로 부터 additional information을 얻을 수 있다.
7. Datasets and evaluation
두 가지 유형으로 나눈다.
- Constrained : Artificially generated LR face images
- Unconstrained : LR face images captured in the wild
