Home

동영상 마스킹 처리방법 및 장치는 영상정보에 존재하는 프레임을 촬영하여 촬영된 프레임에 존재하는 하나 이상의 식별정보를 마스킹하고, 마스킹에 대한 정보를 프레임 내에 삽입하여 삽입된 프레임으로 영상정보를 저장하는 방법이다. 해당 특허는 녹화된 영상정보에 대해 마스킹을 진행하며, 마스킹에 사용된 특정 키값은 이후 언마스킹 과정에서 사용하게 된다. 마스킹 정보는 마스킹된 해당 프레임에 저장된다[7].

보행자의 얼굴 검출 기반의 동적 객체 영상 프라이버시 보호 장치 및 그 방법은 동적으로 촬영되는 영상정보 중 마스킹을 진행할 영상정보를 프레임단위로 해당 프레임 내의 객체를 추출하여 마스킹하는 방법이다. 해당 특허에서 원본 영상정보는 마스킹된 영상정보로 치환되며, 마스킹에 대한 복호화키는 DB에 저장된다. 마스킹 영역은 원거리인 경우 보행자를 근거리인 경우에는 얼굴 검출을 통해 동적 객체를 자동적으로 검출하여 해당 영역에 마스킹을 진행한다. 마스킹된 영상은 DB에 인증키를 저장하고, 저장된 인증키는 워터마킹을 추출하여 영상을 복원하는데 사용된다[8].

개인정보 보호를 지원하는 영상정보 처리기기 및 방법은 다수의 영상감시 시스템에 의하여 녹화된 영상이 영상감시 장치를 벗어나 외부로 전송되어야 할 경우 프라이버시를 침해하지 않도록 하는 방법으로 수사기관의 요청 등에 의해서 영상정보가 요구될 경우 해당 제어신호를 전송받았을 때 마스킹을 적용하며, 동작신호가 수신된 경우에는 카메라의 동작 상태를 규칙정보와 비교하여 일치 여부를 확인한 후, 불일치하는 경우 관리자에게 해당 내용을 전송한다. 해당 특허에서 마스킹은 저장부에 별도의 저장영역을 생성함으로서 마스킹 영상을 저장하고, 사용자에게 제공한다. 마스킹 영역은 식별정보가 포함되는 영역이나, 수동적으로 지정하는 방식을 사용한다[9].

영상 수집 모듈은 영상정보를 전송하는 영상촬영매체로부터 영상정보를 수집하며, 영상정보에는 동영상과 이미지가 포함될 수 있다. 영상정보를 전송하는 대상에는 영삼감시 시스템에 포함되는 다수의 CCTV나 USB(Univeral Serial Bus), IP(Internet Protocol) 카메라 등이 사용될 수 있다[13][14].

영상 DB 모듈은 영상 수집 모듈의 영상촬영매체로부터 수신된 영상정보를 저장하는 스토리지로 이후 마스킹 처리를 위한 영상정보를 저장하며, 영상정보 내의 개인정보를 식별할 수 있는 객체의 인식을 위해 원본 영상정보를 가진다. 해당 모듈은 마스킹 처리된 영상정보를 영상 DB에 저장되지 않으므로 사용자의 요청에 의해 마스킹 처리된 영상정보를 저장하지 않으므로 추가적인 저장공간을 요구하지 않는다[15][16].

영상 서비스 모듈은 적법한 사용자에 의한 영상정보 재생요청을 수신할 경우, 영상정보에 대한 재생을 요청한 사용자의 접근 권한에 따라 마스킹 처리 모듈에서 영상정보에 포함된 요청한 사용자의 접근권한을 벗어나는 식별정보를 마스킹 처리 모듈로부터 마스킹 처리받은 영상정보를 제공받아 사용자에게 응답으로서 전송하는 역할을 가진다. 영상 서비스 모듈은 사용자의 접근권한에 따라 제공되는 영상정보의 개수, 접근 가능한 영상감시 장치를 조절할 수 있다[17]-[19].

오브젝트 추출 모듈은 사전에 정의된 특정한 개인임을 유추할 수 있는 개인 식별정보를 추출하며, 식별정보에는 피사체의 얼굴 영역이나 차량의 번호판을 포함될 수 있다. 오브젝트 추출 모듈에서는 정지된 영상 내에서 영상정보에 존재하는 피사체에 대해 식별정보에 대한 특징점을 찾아 해당 영역에 존재하는 피사체의 식별정보가 포함된 것으로 추정되는 모든 객체를 추출한다. 이때, 사용 가능한 특징 추출 기법에는 지식기반 방법, 특징기반 방법, 템플릿 매칭 방법(Template based matching), 외형기반 방법 등이 있으며, 이 방법을 적용하여 영상정보 내에 존재하는 개인 식별정보를 추출한다[20][21].

오브젝트 식별 모듈은 오브젝트 추출 모듈에서 특정한 개인을 식별할 수 있다고 추측되는 식별정보로서 추출된 객체에 대한 데이터를 식별정보를 저장하고 있는 식별 DB 모듈에 저장된 데이터와 비교함으로서 오브젝트 추출 모듈에서 추출된 영상정보 내의 식별정보에 대한 영역과 식별 DB 모듈에 저장되어 있는 식별정보의 유사성을 계산하고, 일정 이상의 유사도를 가지는 객체를 식별한다. 오브젝트 식별 모듈은 오브젝트 추출 모듈에 의해 추출된 모듈에 대해서만 식별을 진행함으로 영상정보 전체에 대한 식별을 진행하는 방식보다 적은 시스템 리소스를 사용한다.

식별 DB 모듈은 객체와 비교하여 특정한 개인임을 유추 가능한 영상정보를 식별할 수 있는 식별 데이터가 저장된 스토리지이다. 식별 DB 모듈에 저장되는 식별정보는 오브젝트 추출모듈에서 추출된 특징점에 비교하여 특정 오브젝트임을 인식할 수 있도록 하는 정보를 말하며, 식별할 수 있는 특정한 인물, 범죄자로 등록된 인물 혹은 남자나 여자를 구분하기 위한 정보, 특정 번호의 자동차 번호판에 대한 정보 등을 포함하여 오브젝트에 대한 식별정보를 제공한다.

마스킹 처리 모듈은 권한 DB 모듈에 대해 사용자의 접근 권한을 확인하기 위한 권한 조회의 권한을 가지며, 접근하는 사용자의 접근 권한을 추출된 오브젝트 각각에 대해 권한 DB 모듈에서 확인하고, 접근 권한에 따라 객체에 대한 개별적인 마스킹 처리를 진행할 수 있다. 마스킹 처리 모듈은 영상 서비스 모듈에서 영상 요청이 인가된 경우 접근한 사용자의 접근 권한을 권한 DB 모듈에 적시되어 있는 접근 권한을 벗어난 객체에 대해 마스킹 처리를 진행하고, 마스킹된 영상을 영상 서비스 모듈로 반환한다. 마스킹 처리 기법에는 색상 처리, 음영 처리, 명도 처리, 채도 처리, 그림자 처리, 모자이크, 블렌딩, 블러링 기법이 사용될 수 있다. 마스킹 처리 모듈에서 진행하는 마스킹 처리는 추출된 모든 객체에 대하여 사용자의 권한에 따른 허가 여부를 판별하며, 사용자에게 허가되지 않은 객체에 대해서만 마스킹을 진행한다. 마스킹 처리 모듈에서 진행되는 마스킹은 기존의 기법과 달리 접근권한에 따라 단계적으로 영상정보에 존재하는 식별정보를 마스킹하는 과정을 진행한다.

권한 DB 모듈은 인가된 사용자의 접근 권한을 가지고 있는 스토리지로, 접근 권한에 따라 제공되는 영상에 대한 마스킹 처리 규칙을 가진다. 권한 DB 모듈은 마스킹 처리 모듈에서 오브젝트 식별 모듈에 의해 식별된 오브젝트에 대한 마스킹 처리를 진행하는 과정에서 각각의 오브젝트에 대한 사용자의 접근 허가 또는 불가를 선별하기 위한 권한 정보를 가지고 있으며, 마스킹 처리 모듈의 요청에 따라 각각의 오브젝트에 대해 권한 정보를 제공한다. 권한 DB 모듈에 저장되어있는 접근권한에 의해 영상정보 요청자들은 같은 영상정보에 대해 서로 다른 마스킹 영역을 가진 영상정보를 얻을 수 있다.

영상정보 내에 존재하는 식별정보를 자동적으로 추출하여, 해당 정보를 마스킹하고, 영상정보를 마스킹된 영상정보로만 저장하게 된다. 또한 해당 메커니즘은영상의 원본을 마스킹된 영상으로 저장하므로 추가적으로 저장하기 위한 스토리지가 요구되며, 접근권한에 관계없이 모든 식별정보를 마스킹 처리한다.

해당 메커니즘은 사용자의 요청이 없는 경우 촬영되는 영상정보를 자동적으로 마스킹하고, 언마스킹키를 별도의 DB에 저장한 뒤, 마스킹된 영상정보만을 저장한다. 이후 사용자의 영상정보 요청이 들어올 경우, 마스킹 영상을 저장되어있는 언마스킹키를 이용하여 복호화한 뒤 사용자에게 제공한다. 이 과정에서 언마스킹 영역은 요청된 영상정보의 모든 식별정보에 대해 진행되므로 요청자에게 요구되는 최저한의 식별정보 이상을 제공하게 된다.

해당 메커니즘은 식별정보가 포함된 영상정보가 외부에 유출되어야하는 경우 영상정보 내의 식별정보를 마스킹한 후 전송하는 방식이다. 이 과정에서 마스킹된 영상은 마스킹되지 않은 원본 영상정보와 별도로 저장되며, 이에 따른 추가적인 저장소가 요구된다. 이 과정에서 마스킹 영역은 영상정보 요청자의 권한에 관계없이 이뤄지게 된다.

제안된 메커니즘은 앞선 방법론과 같은 영상정보 내의 식별정보 마스킹 메커니즘이나 기존의 메커니즘과는 달리 영상정보 요청 예상자의 접근권한을 별도의 모듈에 저장하여 저장하며, 접근권한 외의 요청자에게 영상이 유출되지 않도록 한다는 차별성이 존재한다. 또한, 허가된 요청자의 경우에만 접근이 허가된 식별정보만을 획득할 수 있도록 허가되지 않은 식별정보에 대한 마스킹을 진행한다.

표 1은 기존의 선행기술과 제안된 메커니즘의 차이를 보이는 것이다.