표정 분류에 기반한 감정 인식을 위한 열화상 데이터베이스의 유용성 평가
; 안영은**
; 김민구**
; 반성범***
; Young-Eun An**
; Min-Gu Kim**
; Sung Bum Pan***
초록
얼굴 표정은 인간 의사소통의 중요한 부분으로 다른 사람의 의도를 이해하는 데 도움이 되는 요소이다. 최근에는 열화상이 감정 인식 분야에서 보완적인 솔루션으로서 가시광선 영상의 단점을 보완하는 대체 수단으로 관심이 높아지고 있다. 본 논문에서는 열화상 데이터를 자체적으로 취득하여 감정 인식에 필요한 얼굴 영역만 따로 추출한 데이터베이스를 구축하고, 구축한 데이터베이스가 감정 인식을 위한 표정 분류에 활용 가능한지 인식 성능을 확인하기 위해 기존 CNN 아키텍처를 이용하여 검증정확도와 학습시간을 분석하였다. CNN 네트워크를 통한 분석 결과, ResNet-18에서 최대 81.28%의 검증정확도를 나타내었고, 평균적으로 68.13%의 검증정확도를 나타내었다. 이를 통해 자체 구축한 열화상 DB가 감정 인식 연구에 유용한 것으로 확인되었다.
Abstract
Facial expression is an important part of human communication and is an element that helps to understand other people's intentions. Recently, as a complementary solution in the field of emotion recognition, interest in thermal imaging is increasing as an alternative means to compensate for the shortcomings of visible light imaging. In this paper, thermal image data was acquired by itself and a database was established in which only facial areas necessary for emotional recognition were extracted separately. Verification accuracy and learning time were analyzed using the existing CNN architecture to confirm whether the built database can be used to classify facial expressions for emotion recognition. As a result of analysis through CNN network, ResNet-18 showed a verification accuracy of up to 81.28%, and on average, it showed a verification accuracy of 68.13%. Through this, it was confirmed that the self-built thermal imaging database is useful for emotional recognition research.
Keywords:
thermal face image, facial expression classification, emotion recognition, CNN architecture, database performanceⅠ. 서 론
얼굴 표정은 감정을 드러내어 다른 사람의 의도를 이해하는 데 도움이 되는 인간 의사 소통의 중요한 요소이다. 일반적으로 사람들은 얼굴 표정과 음성 톤을 사용하여 기쁨, 슬픔, 분노와 같은 다른 사람들의 감정 상태를 추론한다. 설문 조사[1]에 따르면, 언어적 요소는 인간 커뮤니케이션의 1/3을 전달하고 비언어적 요소는 2/3를 전달한다. 여러 비언어적 구성 요소 중 감정적 의미를 전달하는 얼굴 표정은 사람 간 커뮤니케이션의 주요 정보이다.
감정은 인간의 마음 상태를 표출하는 가장 중요한 요소로 가상 현실, 증강 현실, ADAS(Advanced Driver Assistance System)등 인간-컴퓨터 상호작용을 포함한 인공지능 기술에 중요한 부분이다. 감정의 형태를 나타내는 중요한 수단 중 하나가 얼굴 표정이고 따라서 얼굴 표정을 분류하는 기술도 반드시 필요하다[2]. 이러한 이유로 지난 수십 년간 표정 분류를 이용한 감정 인식 연구는 인지 과학뿐 아니라, 감성 컴퓨팅 및 컴퓨터 애니메이션 분야에 응용되어 왔다[3].
일반적인 표정 분류에 대한 연구는 기본적으로 가시광선 기반으로 많이 이루어졌다. 물체에서 반사된 빛을 측정하여 영상을 획득하는 가시광선 기반의 표정 분류 기술은 조명의 변화에 민감하다. 또한 감정을 숨기는 데 능숙한 사람들의 경우 원래 감정 상태와 인간의 가짜 감정 상태를 구별하는 데 어려움이 있다[4]. 인간의 피부색, 얼굴 모양, 질감, 윤리적 배경, 문화적 차이 및 눈의 다양성 역시 감정 인식의 정확도에 영향을 미칠 수 있다[5][6]. 특히, 통제되지 않은 환경에서의 가시광선 기반 표정 분류는 부정확한 감정 인식 정확도를 제공한다[7].
반면 열화상은 물체에서 방출되는 적외선 파장 형태의 에너지를 검출하여 측정된 복사열의 값을 기반으로 복사열 강도에 따라 서로 다른 색상으로 표현한다. 따라서, 조명 조건에 강하고 완전히 어두운 환경에서도 사용할 수 있다. 인간의 감정에 의해 영향을 받는 온도 변화를 포착할 수 있으므로 자발적인 감정과 가짜 감정을 구별하는 데 적용될 수 있다. 또한, 가시 광선에 비해 연기 또는 먼지 등에 의한 빛의 산란 영향도 덜 받는다. 따라서 최근에는 열화상이 정서적 감정 인식 분야에서 잠재적이고 보완적인 솔루션으로서 가시광선 영상의 단점을 보완하는 대체 수단으로 관심이 높아지고 있다[8-9].
그러나 열화상 데이터베이스는 가시광선 데이터베이스에 비해 그 숫자가 매우 적고, 공개된 열화상 데이터베이스도 거의 없다. 이에 본 연구에서는 감정 인식을 위한 열화상 얼굴 데이터베이스를 자체적으로 취득하기 위해 열화상 카메라로 16명의 피험자로부터 영상을 취득하였다. 얼굴 표정을 분류하여 감정 인식에 활용하기 위해 취득한 영상에서 얼굴 영역만 추출하여 새롭게 DB를 구성하였다. 구축한 데이터베이스가 감정 인식에 적합한지 확인하기 위해 기존 CNN 모델로 표정 분류 인식 성능을 평가하고 분석하였다.
2장에서는 열화상을 이용한 표정 분류에 대한 기존 연구를 간단히 설명하고, 3장에서 자체 취득한 열화상으로부터 감정 인식용 얼굴 영역 DB를 구축한 방법을 설명하고, 4장에서 구축된 데이터베이스 성능 평가를 위해, 각 CNN 아키텍처별로 표정 분류 인식률을 비교 분석하여, 구축된 데이터베이스의 유용성을 확인한다.
Ⅱ. 열화상의 얼굴 표정 분류 관련 연구
2.1 열화상 표정 분류 기존 연구 동향
열화상 카메라는 물체 표면으로부터 방사되는 적외선 복사열을 측정하여 복사열의 강도를 추정한 후, 서로 다른 색상으로 표현하여 이미지로 보여준다. 따라서, 가시광선 기반 이미지의 구조와 다르기 때문에 열화상 이미지의 기하학적, 외관 및 질감의 여러 특성은 이미지 향상, 노이즈 감소 및 얼굴 추출을 위한 서로 다른 전처리 방법이 필요하다.
과거 연구들의 전처리 단계에서는 열화상의 화질을 개선시키고 얼굴 영역을 추출하기 위해 여러 가지 방법을 사용했는데, Kopaczka et al.은 얼굴 감지를 위해 SVM과 함께 HOG를 적용했다[10]. Latif et al.[11]은 열화상 영상에서 CLHE(Contrast Limited Histogram Equalization)를 구현했고, Modet al.[5]는 얼굴 영역을 감지하기 위해 Haar와 유사한 특징을 가진 Viola-Jones 부스팅 알고리즘을 적용했다.
얼굴 표면의 온도는 얼굴 구성요소(눈, 코, 입 등)에 따라 달라지고, 피부 두께에 따라서도 달라진다. 또한, 다른 피부 조직에 비해 온도가 높은 혈관이 어떻게 분포했느냐에 따라 얼굴 표면 온도가 달라진다. 표정과 얼굴 표면 온도의 관계에 대한 연구들은 크게 두 가지로 나누어지는데, 하나는 눈, 코, 입, 턱과 연결된 안면 근육의 움직임에 따른 표정과 그 때의 얼굴 표면 온도 변화의 관련성으로 표정을 분류하고자 하는 연구들이다[12]-[14]. 다른 한 가지는 얼굴 표정과 관계없이 발생하는 얼굴 표면 온도의 변화와 감정 간의 관련성을 탐구한 연구들이다[15]-[17].
기존 연구의 대부분이 얼굴 일부 관심 영역을 기준으로 표정을 분류하는 연구를 진행했다. 기존 연구들은 인간의 감정을 인식하기 위해 주로 이마, 눈, 입, 눈가, 코끝, 상악, 뺨, 턱 등 얼굴 관심 영역에 초점을 맞추고 있다[11][18][19]. 여러 연구에서 인간의 표정 유형에 따른 얼굴 ROI의 온도 변화를 관찰했다. 예를 들어, Ioannou et al.는 코, 이마, 상악의 온도는 스트레스와 공포 상태에서 감소하고 안와 주위 온도는 불안한 감정 상태에서 상승한다고 했다[20].
2.2 기존 연구에 사용된 열화상 데이터베이스
열화상 데이터베이스는 감정 유형에 따라 포즈를 취한 상태에서의 감정을 획득한 유형, 유도된 감정을 획득한 유형 및 피험자가 자발적으로 드러낸 감정을 획득한 유형의 세 가지 주요 범주로 나눌 수 있다[21]. 피험자의 자발적 감정 또는 유도된 감정이 열화상으로 표현된 데이터베이스가 거의 없고, 있다 하더라도 기존 열화상 표정 분류 연구에 사용된 데이터베이스들은 공개된 것이 적으므로 기존 연구의 50%가 자체 구축한 열화상 데이터베이스로 감정 인식을 위한 표정 분류를 수행했다. 표정 분류에 사용된 데이터 셋 유형에 따라 얼굴 영역을 일부 또는 전체를 사용하였고, 분류기도 SVM, LDA, KNN등으로 다양하다.
Wang et al.는 자연 가시광선 및 적외선 얼굴 표정(NVIE) 데이터베이스를 구축하였다[22]. 이 데이터베이스는 215명의 참가자로부터 동시에 획득한 열화상 및 가시 화상으로 구성되었다. Nguyen et al는 KTFE 표정 데이터베이스를 구축했는데, 이 데이터베이스는 열화상 및 가시광선 비디오의 자연스럽고 자발적인 감정 표현에 중점을 두었다[23]. 이 두가지 데이터베이스 외에 대부분의 연구들은 자체 구축한 데이터베이스로 HOG, LBP, SIFT, SVM, KNN, BDT, LDA, NB 및 RF 분류기와 같은 다양한 유형의 기능 및 분류 알고리즘을 적용하여 데이터베이스를 평가하고 표정 분류에 이용하였다[24].
본 연구에서는 열화상 데이터베이스가 공개된 것이 거의 없고, 인간의 피부색이나, 문화적 차이가 표정 분류 인식률에 영향을 미친다는 점을 고려하여, 한국인의 감정 인식을 분류하는데 적절한 데이터베이스를 직접 구축하고, 얻어진 영상이 표정 분류에 유용한지 평가하기 위해, 기존에 알려진 Alexnet, VGG16, GoogLeNet, ResNet-18 4가지의 CNN architecture에 적용하여 비교 분석하였다.
Ⅲ. 열화상 데이터베이스 구축
열화상 얼굴 영상에서 표정을 분류하기 위해, 자체 구축한 데이터베이스는 일반인 피험자 16명을 대상으로 조명과 배경이 한정된 공간에서 표 1에서 분류한 것과 같이 4가지 감정 상태별로 각각 60초간 취득하였다. 각 감정별 가이드 영상을 제시하여, 평온함, 기쁨, 슬픔, 두려움의 4가지 감정이 유도되도록 하였다. 피험자들이 가이드 영상을 시청하면서 자연스럽게 표현되는 표정을 취득하고, 프레임별로 나눠서 정지영상으로 표 1과 같이 원본 영상 데이터베이스를 구성하였다.
Configuration of the thermal face image database
원본 영상은 FLIR 열화상 카메라를 이용하여 취득하였고, 해상도 HD(1080×1440), 열 해상도 80*60, 초당 8.57프레임, MPEG-4 파일 형식으로 저장이 되었다. 프레임별로 추출된 원본 이미지는 표정 분류에 사용하기에는 불필요한 배경과 데이터가 있으므로, YOLO 알고리즘[25]을 사용하여 얼굴 영역만 추출하여 새롭게 데이터베이스를 구축하였다.
먼저, 이미지에 대해 자동으로 얼굴 영역이 추출되도록 오토 라벨링 알고리즘을 구현한다.
Auto labeling process, (a) Original image, (b) Binary mask, (c) Distribution value by channel (d) Extract facial area
원본 영상 데이터베이스의 일부 이미지에 대해 오토 라벨링 알고리즘을 적용하여 얼굴 영역을 추출한 바운딩박스 데이터셋을 만든다.
데이터셋은 훈련 데이터(70%), 검증데이터(15%), 테스트 데이터(15%)로 구분하여 YOLO 알고리즘에 적용하였다. 테스트 데이터를 사용하여 YOLO 알고리즘을 적용한 결과, 그림 2에서 확인할 수 있는 것과 같이 원본 이미지에서 얼굴 영역만 바운딩 박스 처리하여 추출해 내는 것을 확인할 수 있었다.
Result of Yolo algorithm
데이터베이스 전체 이미지 각각을 YOLO 알고리즘을 적용하여 추출된 바운딩 박스 기준으로 잘라서 얼굴 영역만 저장하였다. 전체 1413개 이미지 중 2개를 제외한 모든 이미지가 YOLO 알고리즘을 통해 자동으로 얼굴 영역만 추출되었다. 얼굴 영역이 제대로 추출되지 않은 2개의 이미지에 대해서는 수동으로 잘라서 그림 5처럼 열화상 얼굴 데이터베이스를 다시 구성하였고, 구성된 데이터베이스의 유용성을 평가하기 위해 CNN 네트워크를 사용하여 테스트하였다.
Cropped image database
Ⅳ. 구축한 데이터베이스의 유용성 평가
구성한 DB가 표정 분류에 유용한가를 평가하기 위해, GoogLeNet, VGG16, Alexnet, ResNet-18 4가지의 CNN 아키텍처로 실험하였다. 얼굴 영역만 검출한 데이터셋 각각의 이미지는 원본 이미지에 따라 데이터 크기 차이가 있어서 224*224의 동일한 크기로 네트워크 입력에 사용하였고, 표 2에서 각 네트워크에 따른 인식 정확도와 학습 시간을 나타내었다.
Recognition accuracy of each CNN architecture with the built DB and training time
그림 4에서 보는 바와 같이 AlexNet은 2개의 GPU로 병렬연산을 수행하기 위해, 2개의 병렬 구조를 사용하기 때문에 합성곱 계층을 그룹화 시켜서 더 좋은 성능을 나타낸다. 각 그룹이 겹치지 않는 추가 정보를 제공하므로, 열화상의 온도를 나타내는 조밀한 색상 분포에 대한 특징 정보가 잘 학습될 것으로 예상할 수 있었다.
Structure of AlexNet
간단하고 직관적인 구조를 가진 VGG-16으로 구축한 데이터 셋을 학습시켰다. 표 2에서 확인할 수 있듯이, 다른 아키텍처에 비해 낮은 성능인 것을 확인할 수 있었다. 이것은 비교분석에 사용한 다른 아키텍처와 다르게 3*3 합성곱 계층만 사용하므로 1개의 커널로는 열화상 내의 다양한 밀집된 특징들을 잘 잡아내지 못했다고 판단했다. GoogLeNet을 사용하여 깊고 넓은 네트워크에서의 인식 성능을 평가하였다. 보통은 네트워크 깊이가 깊어질수록 데이터의 양이 부족하면 학습이 잘 안되는 단점이 있는데, GoogLeNet은 인셉션 모듈을 사용하여 다양한 필터를 병렬로 적용하기 때문에, 열화상 내의 다양한 특징의 상관관계까지 추출해서 더 좋은 성능을 보였다고 판단했다. 마지막으로 잔여 함수를 사용한 ResNet으로 구축된 DB의 성능평가를 진행하였다.
표 2에서 확인할 수 있듯이 ResNet의 성능이 가장 좋은 이유는 스킵 커넥션을 만들어서 LSTM과 유사하게 이전 스텝의 그레디언트를 좀 더 잘 전달되게 만드는 과정이 있고, 잔여 블록이 앙상블 모델을 구축한 것과 유사한 효과를 내기 때문이다.
표 2에서와 같이 각 네트워크별 인식 정확도와 학습시간을 비교한 결과, 표정 분류에 필요한 열 패턴 정보를 판단하는데 ResNet이 가장 좋은 성능을 나타내었다. 각 네트워크 별 평균 인식 정확도를 분석했을 때, 구축한 DB가 표정 분류 연구에 활용가능하다고 확인할 수 있었다.
표 3은 2장에서 언급한 기존 연구들에서 이용한 데이터베이스의 인식 성능과 본 연구에서 구축한 데이터베이스의 인식 정확도를 비교하여 나타내었다. NVIE 데이터베이스[24]를 이용한 기존의 표정 분류 연구에서 인식 정확도는 평균 62.63%이고, KTFE 데이터베이스[25]를 이용한 연구는 평균 인식정확도가 80.65%이다. 열화상 데이터베이스의 희소성으로 인해, 자제 구축한 데이터베이스를 이용한 기존 표정분류 연구들은 데이터셋 유형과 분류 성능을 평가한 알고리즘은 각기 다르지만, 평균 인식 정확도가 75.98%로 나타났다[26].
Recognition accuracy comparison of thermal face image DB
기존 연구들은 데이터 셋 유형에 따라 감정 인식에 사용된 방법이 얼굴 영역의 일부, 랜드마크, 얼굴 전체 등으로 달라서 단순 비교하기엔 무리가 있지만, 기존 연구에서 사용되었던 데이터베이스의 인식 정확도와 비교했을 때, 그림 5에서 확인할 수 있는 바와 같이 본 연구에서 자체 구축한 데이터베이스가 열화상 감정 상태 인식 프로세스에 적합한 기능을 제공한다고 평가할 수 있다.
Recognition accuracy comparison between DBs
Ⅴ. 결 론
본 논문에서는 열화상 카메라로 획득한 영상으로부터 얼굴 영역을 추출하여 데이터베이스를 구축하고, 기존 CNN 네트워크 구조로 표정을 분류하여 자체 구축한 열화상 데이터베이스의 유용성을 평가하는 연구를 진행하였다.
구축한 데이터베이스의 원본 영상과 얼굴 영역만 자른 영상의 성능을 비교한 결과 데이터 크기에 따라 학습시간은 약 5배 차이가 나고, 검증 정확도는 평균 11.76% 더 높게 나타나는 것을 확인할 수 있었다. 기존 연구에서 표정을 분류하는 데 사용된 열화상 데이터베이스들의 평균 인식 정확도는 73.09%이고, 본 연구에서 구축한 열화상 데이터베이스의 평균 인식 정확도는 68.13%이다.
기존 연구의 표정 분류 인식 정확도와 비교했을 때, 본 연구에서 자체구축한 데이터베이스 역시 표정 분류를 통한 감정 인식 연구에 유용할 것으로 평가된다. 열화상 얼굴 데이터의 일부만 사용하거나, 전처리를 통한 새로운 특징을 추출하는 등의 방법과 표정 분류 성능을 개선하기 위해서는 앙상블 네트워크를 구성하여 입력 데이터에 대한 상관관계를 다양하게 추출 해내는 등의 알고리즘을 적용한다면 본 연구에서 자체 구축한 데이터베이스의 인식 정확도를 더욱 개선할 수 있을 것이다.
Acknowledgments
이 논문은 2020년도 정부(과학기술정보통신부)의 재원으로 정보통신산업진흥원의 지원을 받아 수행된 헬스케어 AI 융합 연구개발사업(No. S0316-21-1001)과 2020년도 조선대학교 학술연구비의 지원으로 수행하였음
References
- A. Mehrabian, "Communication without words", Psychol. Today, pp. 53-56, Feb. 1968.
- I. K. Choi, H. E. Ahn, and J. S. Yoo, "Facial Expression Classification Using Deep Convolutional Neural Network", Journal of Broadcast Engineering, Vol. 22, No. 2, pp. 162-172, Mar. 2017.
-
K. Kaulard, D. W. Cunningham, H. H.Bülthoff, and C. Wallraven, "The MPI facial expression database—A validated database of emotional and conversational facial expressions", PLoS ONE, Vol. 73, No. 1, e32321, Mar. 2012.
[https://doi.org/10.1371/journal.pone.0032321]
-
A. Basu, A. Routray, S. Shit, and A. K. Deb, "Human emotion recognition from facial thermal image based on fused statistical feature and multi-class SVM", in Annual IEEE India Conf. (INDICON), New Delhi, India, pp. 1–5, Dec. 2015.
[https://doi.org/10.1109/INDICON.2015.7443712]
-
M. N. H. Mohd, M. Kashima, K. Sato, and M. Watanabe, "Mental stress recognition based on non-invasive and non-contact measurement from stereo thermal and visible sensors", Int. Journal of Affective Engineering, Vol. 14, No. 1, pp. 9–17, 2015.
[https://doi.org/10.5057/ijae.14.9]
-
X. Yan, T. J. Andrews, R. Jenkins, and A.W. Young, "Cross-cultural differences and similarities underlying otherrace effects for facial identity and expression", Quarterly Journal of Experimental Psychology, Vol. 69, No. 7, pp. 1247–1254, Jul. 2018.
[https://doi.org/10.1080/17470218.2016.1146312]
- C. H. Chu and S. M. Peng, "Implementation of face recognition for screen unlocking on mobile device", in Proc. of the 23rd ACM Int. Conf. on Multimedia, Brisbane Australia, pp. 1027-1030, Oct. 2015.
-
G. B. Koo, Y. H. Joo, and J. B. Park, "Design of an observer-based decentralized fuzzy controller for discrete-time interconnected fuzzy systems", Journal of Korean Institute of Intelligent Systems, Vol. 25, No. 5, pp. 451–456, Oct. 2015.
[https://doi.org/10.5391/JKIIS.2015.25.5.451]
-
S. G. Kong, J. Heo, B. R. Abidi, J. Paik, and M. A. Abidi, "Recent advances in visual and infrared face recognition – A review", Computer Vision and Image Understanding, Vol. 97, No. 1, pp. 103-135, Jan. 2005.
[https://doi.org/10.1016/j.cviu.2004.04.001]
-
M. Kopaczka, R. Kolk, and D. Merhof, "A fully annotated thermal face database and its application for thermal facial expression recognition", in IEEE Int. Instrumentation and Measurement Technology Conf. (I2MTC)., Houston, TX, USA, pp. 1–6, May 2018.
[https://doi.org/10.1109/I2MTC.2018.8409768]
-
M. Latif, M. H. Yusof, S. Sidek, and N. Rusli, "Texture descriptors based affective states recognition-frontal face thermal image", in IEEE EMBS Conf. on Biomedical Engineering and Sciences (IECBES)., Kuala Lumpur, Malaysia, pp. 80–85, Dec. 2016.
[https://doi.org/10.1109/IECBES.2016.7843419]
-
S. Jarlier, D. Grandjean, S. Delplanque, K. N'Diaye, L. Cayeux, M. L. Velazco, D. Sander, P. Vuilleumier, and K. R. Scherer, "Thermal analysis of facial muscles contractions", IEEE Transactions on Affective Computing, Vol. 2, No. 1, pp. 2-9, Jan.-Jun. 2011.
[https://doi.org/10.1109/T-AFFC.2011.3]
-
M. M Khan, M. Ingleby, and R. D. Ward, "Automated facial expression classification and affect interpretation using infrared measurement of facial skin temperature variations", ACM Transactions on Autonomous and Adaptive Systems, Vol. 1, No. 1, pp. 91-113, Sep. 2006.
[https://doi.org/10.1145/1152934.1152939]
- Y. Yoshitomi, "Facial expression recognition for speaker using thermal image processing and speech recognition system", In Proceedings of the WSEAS International Conference on Applied Computer Science, pp. 182-186, Jan. 2010.
-
B. R. Nhan and T. Chau, "Classifying affective states using thermal infrared imaging of the human face", IEEE Transactions on Biomedical Engineering, Vol. 57, No. 4, pp. 979-987, Nov. 2010.
[https://doi.org/10.1109/TBME.2009.2035926]
-
K. Kuraoka and K. Nakamura, "The use of nasal skin temperature measurements in studying emotion in macaque monkeys", Physiology & Behavior, Vol. 102, No. 3-4, pp. 347-355, Mar. 2011.
[https://doi.org/10.1016/j.physbeh.2010.11.029]
-
P. Tsiamyrtzi, J. Dowdall, D. Shastri, I. T. Pavlidis, M. G. Frank, and P. Ekman, "Imaging facial physiology for the detection of deceit", International Journal of Computer Vision, Vol. 71, pp. 197-214, Jun. 2007.
[https://doi.org/10.1007/s11263-006-6106-y]
-
T. Nguyen, K. Tran, and H. Nguyen, "Towards thermal region of interest for human emotion estimation", in 10th Int. Conf. on Knowledge and Systems Engineering (KSE), Ho Chi Minh City, Vietnam, pp. 152-157, Nov. 2018.
[https://doi.org/10.1109/KSE.2018.8573373]
-
C. B. Cross, J. A. Skipper, and D. T. Petkie, "Thermal imaging to detect physiological indicators of stress in humans", Proc. SPIE Thermosense: Thermal Infrared Applications XXXV, Vol. 8705, pp. 87050I–1-8705I-15, Baltimore, Maryland, United States, May 2013.
[https://doi.org/10.1117/12.2018107]
-
S. Ioannou, V. Gallese, and A. Merla, "Thermal infrared imaging in psychophysiology: Potentialities and limits", Psychophysiology, Vol. 51, No. 10, pp. 951–963, Jun. 2014.
[https://doi.org/10.1111/psyp.12243]
-
R. E. Haamer, E. Rusadze, I. Lüsi, T. Ahmed, and S. Escalera, "Review on emotion recognition databases", in Human-Robot Interaction-Theory and Application, 1st edition, London, UK: IntechOpen, pp. 39, 2017.
[https://doi.org/10.5772/intechopen.72748]
-
S. Wang, Z. Liu, S. Lv, Y. Lv, and G. Wu, "A natural visible and infrared facial expression database for expression recognition and emotion inference", IEEE Transactions on Multimedia, Vol. 12, No. 7, pp. 682–691, Nov. 2010.
[https://doi.org/10.1109/TMM.2010.2060716]
-
H. Nguyen, K. Kotani, F. Chen, and B. Le, "A Thermal Facial Emotion Database and Its Analysis", Image and Video Technology. PSIVT, Lecture Notes in Computer Science, Vol. 8333. Springer, pp. 397-408, Nov. 2013.
[https://doi.org/10.1007/978-3-642-53842-1_34]
-
M. M. M. Al Qudah, A. S. A. Mohamed, and S. L. Lutfi, "Affective state recognition using thermal-based imaging: a survey", Computer Systems Science and Engineering, Vol. 37, No. 1, pp. 47–62, Feb. 2021.
[https://doi.org/10.32604/csse.2021.015222]
-
Joseph Redmon, Santosh Divvala, Ross Girshick, and Ali Farhadi, "You only look once: Unified, real-time object detection", Proceedings of the IEEE conference on computer vision and pattern recognition, Las Vegas, NV, USA, pp. 779-788, Jun. 2016.
[https://doi.org/10.1109/CVPR.2016.91]
-
Al Qudah, Mustafa MM, Ahmad SA Mohamed, and Syaheerah L. Lutfi., "Affective State Recognition Using Thermal-Based Imaging: A Survey." Comput. Syst. Sci. Eng. 37.1 (2021): 47-62.
[https://doi.org/10.32604/csse.2021.015222]
2002년 2월 : 전남대학교(이학사)
2011년 2월 : 조선대학교 대학원(공학석사)
2015년 2월 : 조선대학교 대학원(공학박사-멀티미디어 신호처리)
2014년 ~ 2017년 : 아주통신(주) 기업부설연구소 연구소장
2018년 ~ 현재 : 조선대학교 초빙객원교수
관심분야 : 멀티미디어 영상처리, 인공지능, 패턴인식 등
2004년 : 조선대학교 이학사
2006년 : 조선대학교 대학원(공학석사)
2010년 : 조선대학교 대학원(공학박사)
2010년 ~ 2014년 : 조선이공대학 메카트로닉스공학과 조교수
2014년 ~ 2020년 : 조선대학교 자유전공학부 조교수
2020년 ~ 현재 : 조선대학교 IT연구소 연구교수
관심분야 : 멀티미디어 영상처리, 인공지능, 패턴인식
2010년 : 조선대학교 공학사
2013년 : 조선대학교 대학원(공학석사)
2019년 : 조선대학교 대학원(공학박사)
2019년 ~ 현재 : 조선대학교 IT연구소 연구교수
관심분야 : 생체인식, 영상처리, 인공지능, 패턴인식
1999년 : 서강대학교 대학원(공학박사)
1999년 ~ 2005년 : 한국전자통신 연구원 정보보호연구단
2005년 ~ 현재 : 조선대학교 전자공학과 교수
관심분야 : 바이오인식, 영상처리