프라이버시 침해 방지를 위한 얼굴 정보 변환 메커니즘

Ⅰ. 서 론

공공장소의 사건사고를 예방을 위해 설치되는 영상감시 시스템은 매년 증가하고 있으며, 영상감시 시스템이 증대됨에 따라 촬영되는 피사체의 프라이버시에 대한 논란이 확대되고 있다[1]. 이에 따라 개인의 정보 유출을 방지하기 위한 기술을 접목시킨 지능형 영상감시 시스템의 관심도가 증대되고 있다[2]. 지능형 영상감시 시스템은 해당 장소의 상황을 판단하기 위해서 촬영지역 내의 인물을 촬영하고, 해당 인물의 얼굴을 검출하여 판단의 근거로 사용한다[3].

하지만, 인물의 얼굴을 검출하여 사용하게 될 경우 영상에 촬영된 피사체는 촬영된 원본 데이터에 본인의 개인정보가 노출될 수 있다[4]. 지능형 영상감시 시스템은 촬영된 피사체의 프라이버시를 보호하기 위해 비식별 처리를 진행하게 된다[5][6]. 하지만 비식별 처리된 영상 정보는 통계를 내거나 영상을 복원하는데 어려움을 가진다[7].

본문에서는 미리 설정된 유사도에 따라 가상의 얼굴 영상을 생성하고, 영상 정보 내에 삽입하는 메커니즘을 제안함으로서 위의 문제를 해결하고자 한다. 2장에서는 영상 비식별화와 관련된 연구 현황을 분석하고, 3장에서 제안된 얼굴 영상 변환 메커니즘을 소개하고, 4장에서 상용화되었거나, 선행 기술과 현 시스템의 차이점을 소개하도록 한다.

Ⅱ. 기존 영상 프라이버시 보호 기법 분석

지능형 영상감시 시스템은 사용자의 프라이버시 보호를 위해 다양한 기법을 적용하게 된다[8]. 다음은 일반적으로 지능형 영상감시 시스템에서 사용되는 프라이버시 보호 기법을 서술한 것이다[9][10].

Ⅲ. 제안된 프라이버시 침해 방지를 위한 얼굴 정보 변환 메커니즘

본문에 제안된 메커니즘은 촬영된 영상정보에 존재하는 얼굴 영상을 기존의 DB에 저장되어있는 가상의 얼굴 영상으로 치환하는 방식으로 이 과정을 가상화 방식으로 명하고, DB에 저장된 가상의 얼굴정보를 가상 얼굴 정보로 축약하여 사용하도록 한다[15]. 제안된 메커니즘은 촬영된 영상 데이터에 존재하는 얼굴 정보를 검출하고, 가상화 난수를 이용하여 가상의 얼굴 정보를 생성한 뒤, 영상 데이터 내의 얼굴 정보를 유사도에 대응하는 가상의 얼굴 영상 정보로 치환시켜 성별, 나이, 인종 등의 공공 정보만을 식별할 수 있도록 한다. 이후 적법한 사용자에 의해 가상 얼굴 영상 데이터는 원본 데이터로 복원될 수 있다. 제안된 메커니즘은 얼굴 영역 검출부, 가상 얼굴 특징값 생성부, 가상 얼굴 특징 벡터 생성부, 가상 얼굴 영상 데이터 생성부, 얼굴 특징값 복원부, 복원 얼굴 특징 벡터 생성부, 얼굴 영상 데이터 복원부로 이뤄진다[16].

Ⅳ. 제안된 메커니즘과 기존 기법의 비교 분석

제안된 메커니즘은 입력된 영상 데이터에 존재하는 하나 이상의 얼굴 정보를 검출하여 가상 얼굴 정보로 치환함으로서 영상에 촬영된 대상을 특정할 수 없도록 하는 메커니즘이다. 촬영된 피사체의 얼굴 정보는 얼굴 정보 데이터베이스에 저장되며, 이후 적법한 사용자의 요청이 있을 경우 가상 얼굴 정보로 치환된 영상정보를 원본 데이터로 복원함으로서 사용자에게 제공될 수 있다. 본문에서 제안된 기술은 얼굴 영상 변환 메커니즘과 기존의 블러링, 모자이크, 영상 정보 제거 및 변형, 암호화 기법의 4개의 기법과의 차이는 다음과 같다.

Table 1.

A comparative analysis of proposed mechanisms and existing techniques

Fig. 1.

Proposed mechanism comparison image

블러링 기법은 영상 데이터의 픽셀을 가중치와 연산함으로서 영상 정보를 흐릿하게 만드는 기법으로 디블러링을 통한 복원이 가능하나 대상의 공공 정보의 식별 또한 불가능하다[25].

다음으로 모자이크 기법은 영상 데이터 내의 비식별화가 요구되는 얼굴 정보에 대해 일정 구역 내의 픽셀값을 합산하고, 평균치를 구역 내의 모든 픽셀에 동일한 값을 적용하는 것으로 대상을 식별할 수 없도록 한다. 이 경우에도 대상의 공공 정보 식별은 불가하지만 최근 구글에서 발표된 내용에 따르면 AI(Artificial Intelligence)를 이용하여 원본과 유사한 이미지를 유추해내어 복원하는 기술을 제작하였다[26].

제거 및 변경 기법은 영상 데이터 내에 존재하는 얼굴 영역에 대한 픽셀값을 제거하거나 변경함으로서 해당 정보를 식별할 수 없도록 하는 방식으로 영상 데이터가 왜곡됨에 따라 대상의 공공 정보 식별이 불가능해지며, 영상 정보 내의 데이터를 삭제하므로 복원 또한 어렵다[27].

마지막으로 암호화 기법은 영상 데이터를 암호화키를 이용하여 암호문으로 변경한 후 적법한 사용자에 의해서만 영상 데이터를 복호화하여 원본 데이터를 제공하는 기법이다. 암호화 방식에 따라 원본 정보의 형태는 유지하되, 식별이 불가능하게 하는 방식부터 영상 데이터의 단위를 조정하여 영상 데이터에 대한 식별 자체를 불가능하게 하는 방식이 존재한다. 이와 같은 암호화 기법은 복원할 경우 공공 정보를 식별할 수 있고, 복원 또한 복호화키를 가진 적법한 사용자만이 사용할 수 있다[28].

본문에서 제안된 메커니즘은 영상 데이터 내의 얼굴 정보를 가상 얼굴로 치환하는 것으로 영상 데이터의 식별이 가능하며, 피사체의 기본적인 공공 정보를 구분할 수 있다. 또한 적법한 사용자의 경우 가상 얼굴 영상 데이터를 복원하여 원본 데이터로 복원할 수 있다. 피사체의 얼굴 정보는 얼굴 정보 데이터베이스에 기록되어 얼굴 정보 데이터베이스와 가상 얼굴 영상 데이터가 유출된 경우에도 가상 얼굴 영상 데이터로 변환된 정보에서 원본 정보의 얼굴 정보를 찾아내기 힘들다는 보안상 장점을 가진다.

Ⅴ. 결 론

영상감시 시스템의 증가에 따라 1인당 촬영 노출 횟수가 증가되며 기술의 발전에 따라 영상감시 시스템은 특징적인 사람이나 사물에 대한 인식이나 움직이는 피사체의 행위를 인식하며, 분산된 기기간의 정보 공유를 통해 상황을 이해하는 수준에 이르렀다. 이로 인해 영상감시 시스템을 통한 관제는 수월해 졌으나, 영상감시 시스템에 노출되는 피사체는 사생활 침해에 대한 우려가 증대되고 있다.

본문에서는 기존 영상 프라이버시 보호 기법과 제안된 메커니즘과의 차이를 분석하고, 기존 영상 프라이버시 보호 기법이 가지는 문제점을 보완할 수 있는 메커니즘을 제안하였다. 본문의 메커니즘은 촬영된 영상 정보에 존재하는 얼굴 영역을 검출하고, 검출된 얼굴 영역의 특징 벡터를 찾아 이와 유사한 가상 얼굴로 치환하는 것을 특징으로 한다. 치환된 영상 정보의 식별 정보는 유사도 설정에 따라 변경할 수 있다.

영상감시 시스템 시장은 매년 증가하는 추세이며, 영상감시 관제소가 확대되고 있다. 하지만 프라이버시 보호 기술이 적용되지 않고 적용된 경우에도 기법에 따라 원본 데이터를 유추할 수 없거나, 암호화키 노출에 의해 원본 데이터가 유출될 수 있다. 이후 영상 유출에 의한 사생활 침해는 큰 이슈가 될 수 있으며, 이를 예방하기 위한 방법이 연구되어야 한다.

Acknowledgments

이 논문은 2019년도 정부(교육부)의 재원으로 한국연구재단의 기초연구사업 지원을 받아 수행된 것임(과제번호:NRF–2019R1I1A3A01062789). 그리고, 2019년도 정부(과학기술정보통신부)의 재원으로 정보통신기술진흥센터의 지원을 받아 수행된 연구임. [2019-0-00203,선제적 위험대응을 위한 예측적 영상보안 핵심기술 개발]

References

• Namje Park, Jin Kwak, Seungjoo Kim, Dongho Won, and Howon Kim, "WIPI Mobile Platform with Secure Service for Mobile RFID Network Environment", Advanced Web and Network Technologies, and Applications, p741-748, Jan.), (2006. [https://doi.org/10.1007/11610496_100]
• Donghyeok Lee, and Namje Park, "Institutional Impro vements for Security of IoT Devices", Journal of KIISC, 27(3), p607-615, Jun.), (2017.
• Donghyeok Lee, and Namje Park, "Electronic identity information hiding methods using a secret sharing scheme in multimedia-centric internet of things environment", Personal and Ubiquitous Computing, 22(1), p3-10, Feb.), (2018. [https://doi.org/10.1007/s00779-017-1017-1]
• Namje Park, Hongxin Hu, and Qun Jin, "Security and Privacy Mechanisms for Sensor Middleware and Application in Internet of Things (IoT)", Journal of Distributed Sensor Networks, 2016(1), p1-3, Jan.), (2016. [https://doi.org/10.1155/2016/2965438]
• Donghyeok Lee, and Namje Park, "A Study on Metering Data De-identification Method for Smart Grid Privacy Protection", Journal of KIISC, 26(6), p1593-1603, Dec.), (2016. [https://doi.org/10.13089/jkiisc.2016.26.6.1593]
• Donghyeok Lee, and Namje Park, "Legislative Reform of Smart Grid Privacy Act", Journal of KIISC, 26(2), p415-423, Apr.), (2016. [https://doi.org/10.13089/jkiisc.2016.26.2.415]
• Donghyeok Lee, and Namje Park, "Smart Grid Privacy Protection Measures According to the Change of IT Paradigm", Journal of MSCAH, 6(3), p81-90, Mar.), (2016. [https://doi.org/10.14257/ajmahs.2016.03.30]
• Donghyeok Lee, and Namje Park, "A Study on COP-Transformation Based Metadata Security Scheme for Privacy Protection in Intelligent Video Surveillance", Journal of KIISC, 28(2), p417-428, Apr.), (2018.
• Namje Park, "Privacy-Enhanced Deduplication Technique in Closed Circuit Television Video Cloud Service Environment", Journal of KINGC, p65-66, May), (2018.
• Donghyeok Lee, and Namje Park, "Privacy Enhanced CCTV Video Security Framework using Metadata De-identification", Journal of ICICT, p199-200, (2018).
• Hyungil Kim, "A Data Blurring Method for Dollaborative Filtering", Department of Computer Engineering, The Graduate School of Dongguk University.
• Seokjin Hong, Seokho Lee, and Jinwook Bae, "Efficient Execution of Range Mosaic Queries", Journal of KIISE, 32(5), p487-497, Oct.), (2005.
• Byounghyun Jeon, Sangho Shin, Kihyun Jung, Joonho Lee, and Keeyoung Yoo, "Reversible Secret Sharing Scheme Using Symmetric Key Encryption Algorithm in Encrypted Image", Journal of KMS, 18(11), p1332-1341, Nov.), (2015. [https://doi.org/10.9717/kmms.2015.18.11.1332]
• Shouqiang Liu, Mengjing Yu, Miao Li, and Qingzhen Xu, "The research of virtual face based on Deep Convolutional Generative Adversarial Networks using TensorFlow", Journal of Physica A:SMA, 521, p667-680, May), (2019. [https://doi.org/10.1016/j.physa.2019.01.036]
• Jinsu Kim, Namje Park, Geonwoo Kim, and Seunghun Jin, "CCTV Video Processing Metadata Security Scheme Using Character Order Preserving-Transformation in the Emerging Multimedia", Journal of Electronics, 8(4), Apr.), (2019. [https://doi.org/10.3390/electronics8040412]
• Donghyeok Lee, Namje Park, Geonwoo Kim, and Seunghun Jin, "De-identification of metering data for smart grid personal security in intelligent CCTV-based P2P cloud computing environment", Journal of Peer-to-Peer Networking and Applications, 11(6), p1299-1308, Nov.), (2018. [https://doi.org/10.1007/s12083-018-0637-1]
• Donghyeok Lee, and Namje Park, "Geocasting-based synchronization of Almanac on the maritime cloud for distributed smart surveillance", Journal of Supercomputing, 73(3), p1103-1118, Mar.), (2017. [https://doi.org/10.1007/s11227-016-1841-5]
• Namje Park, and Namhi Kang, "Mutual Authentication Scheme in Secure Internet of Things Technology for Comfortable Lifestyle", Journal of Sensors (Basel), 16(1), p1-16, Dec.), (2015. [https://doi.org/10.3390/s16010020]
• Donghyeok Lee, and Namje Park, "ROI-based efficient video data processing for large-scale cloud storage in intelligent CCTV environment", Journal of IJET, 7(2.33), p151-154, Mar.), (2018.
• Donghyeok Lee, and Namje Park, "Differential Level CCTV Video Access Control based on RFID", Conference of ICCT, p224-225, Jul.), (2018.
• Namje Park, and Hyochan Bang, "Mobile middleware platform for secure vessel traffic system in IoT service environment", Journal of Security and Communication Networks, 9(6), p500-512, Nov.), (2014. [https://doi.org/10.1002/sec.1108]
• Donghyeok Lee, and Namje Park, "CCTV Privacy Protection Method using Similarity based Virtual Face", Conference of ICCT, p267-268, Jul.), (2018.
• Donghyeok Lee, and Namje Park, "Multi-Object Recognition Access Control based on CCTV Video Learning", Conference of KCC 2018, Jun.), (2018.
• Donghyeok Lee, and Namje Park, "Similarity-based Virtual Facial Generation Method for Privacy Protection of Intelligent CCTV Environment", Journal of CISC 2017, Jun.), (2017.
• Minso Jeong, and Jechang Jeong, "Uniform Motion Deblurring using Shock Filter and Convolutional Neural Network", Journal of KSBE, 23(4), p484-494, Jul.), (2018.
• Ryan Dahl, Mohammad Norouzi, and Jonathon Shlens, "Pixel Recursive Super Resolution", Journal of ICCV, Mar.), (2017. [https://doi.org/10.1109/iccv.2017.581]
• Dongeun Leeoung, and Kyu Choi, "Background Subtraction Algorithm Based on Multiple Interval Pixel Sampling", Journal of KIPS, 2(1), p27-34, Jan.), (2013.
• Namjin Kim, Donghwan Seo, Sunggeun Lee, Changmok Shin, Kyubo Cho, and Soojoong Kim, "Hierarchical image encryption with orthogonality", Journal of KJOP, 17(3), p231-239, Jun.), (2006.