Current Issue

DSEM-Traj2018은 국내의 한 대학의 대학생들을 대상으로 스마트 워치만을 사용하여 수집한 라이프로그 데이터셋이다[12].

DSEM-Trajectory는 DSEM-Traj2018을 확장하여 2018년 7월부터 2020년 1월까지 수집된 라이프로그 데이터셋으로, 스마트워치로부터 수집될 수 있는 사용자의 이동 경로, 심박수, 행동 유형, 3축 가속도 데이터 등을 수집하였다. 이 데이터셋은 사용자 이동 경로 예측을 위해 이동하는 연속적인 점들을 수집한 이동 궤적 데이터이며, 다양한 정제 기법들이 적용되었다[13][19][20].

데이터셋의 정제는 다음과 같은 순서로 진행된다. 스마트 워치를 이용해 수집된 파일 데이터를 서버로 전송하고, 전송된 데이터는 데이터베이스에 저장하기 전 시간 필터와 범위 필터를 이용해 정제한 후 궤적 식별자를 생성한다. 이동 경로 중 머무르는 지점인 POI(Point of Interest)를 파악하여 주변 노이즈를 제거하였으며, 스마트 워치로 수집한 행동 분류가 정확하지 않다고 판단하여 랜덤 포레스트를 활용해 사용자의 행동을 분류하였다. 또한, 더 정확한 학습을 위해 데이터를 확인하며 수작업 정제를 진행하였다.

구축된 데이터셋의 컬럼은 id, userid, time, set_id, set_seq, x, y, z, HR, lat, lon, alt, acttype으로 구성되어 있으며, 정의와 특징은 표 1과 같다.

하지만, 다양한 정제 기법 적용 및 수작업 정제를 통해 데이터셋을 구축했음에도 불구하고, 데이터셋의 품질을 보장하기 어렵다. 따라서 데이터 프로파일링 기법을 통한 DSEM-Trajectory 데이터셋의 특징 및 현상을 분석하고 품질평가 기법을 통하여 명확한 데이터 품질을 진단하는 것이 요구된다.

데이터 프로파일링은 통계적 기법을 사용하여 데이터셋의 데이터 현상을 파악하고 잠재적 오류를 발견하기 위한 기법이다. 데이터 프로파일링을 위해 형식, 데이터 총 개수, 최소값, 최대값, 최소길이, 최대길이, 유일값수, null 개수, 최소빈도값, 최소빈도수, 최대빈도값, 최대빈도수를 측정한다[21][22].

최소값과 최대값을 통해 수집된 데이터의 범위 파악할 수 있으며, 최소길이와 최대길이를 통해 데이터 형식이 다른 일부분을 파악할 수 있다. 유일값수를 통해 중복된 데이터의 개수를 파악할 수 있으며, null 개수를 통해 공백 데이터의 개수를 파악할 수 있다. 또한, 최소빈도값과 최대빈도값을 통해 데이터 중 가장 적게 나온 값과 가장 많이 나온 값을 파악할 수 있다.

그림 1은 DSEM-Trajectory 데이터셋을 프로파일링 한 결과이며, 이를 통해 데이터 현상을 파악할 수 있다. userid의 최소값, 최대값, 유일값수를 통해 59명의 데이터 수집자가 1부터 59까지의 번호를 부여받았음을 알 수 있다. time의 최소값과 최대값을 통해 수집 기간이 2018년 7월 10일부터 2020년 1월 2일까지 수집되었고, set_id의 유일값수를 통해 35,107개의 이동 경로가 수집되었음을 알 수 있다. HR의 최소값과 최대값을 보아 이상 수치가 존재함을 알 수 있고, lat, lon을 통해 가장 많이 방문한 지점을 유추할 수 있다. 또한, acttype을 통해 사용자가 가장 많이 하는 행동과 가장 적게 하는 행동을 알 수 있다.

Fig. 1. 
Data Profiling results of DSEM-Trajectory dataset

데이터 품질평가를 진행하기 위해 기준마련이 필요하다. 이를 위하여 국내에서 활용되고 있는 4가지 기법 및 표준들[14]-[17]에서 정의된 데이터 품질평가 기준을 통합한다. 표 2는 본 논문에서 정리한 10가지의 데이터 품질평가 기준과 그 정의를 보인다. 또한, 표 3은 각 기법이 어떤 데이터 품질평가 기준을 사용하는지에 대한 범위를 비교한 결과이다.

정의된 모든 기준이 DSEM-Trajectory 데이터셋 품질평가에 활용되기 어려우므로, 해당 데이터셋의 품질평가를 위한 적절한 기준을 선정해야 한다. 이후, 선정된 기준들은 진단 대상에 맞게 데이터 값 진단과 데이터 운영 진단으로 분류한다.

데이터 값 진단은 데이터 값 자체의 신뢰를 위한 품질진단으로 데이터셋 자체의 값만을 이용해 품질을 측정하며, 데이터 운영 진단은 데이터베이스 활용을 위해 데이터 수집부터 모니터링까지의 품질을 측정한다. 표 4는 데이터 값 진단과 데이터 운영 진단으로 분류된 기준들과 그 세부기준을 보인다.

완전성 평가의 세부기준은 데이터의 누락(Missing)이 존재하는지를 확인하는 것이다. 누락은 필수 컬럼에서 데이터의 값이 없는 것을 의미한다.

누락의 측정 방법은 진단 대상 컬럼에서 null 또는 공백의 수를 확인하여 진단 대상들이 누락이 얼마나 존재하는지를 측정한다.

측정 대상은 데이터셋 전체 컬럼인 id, userid, time, set_id, set_seq, x, y, z, HR, lat, lon, acttype으로 선정한다. 측정 결과 모든 컬럼의 누락은 없는 것으로 확인되었다.

유일성의 세부기준은 데이터의 중복(Redundancy)이 발생하는지를 확인하는 것이며, 중복은 데이터셋 내에서 대상 컬럼이나 컬럼들의 집합에서 동일한 값이 존재하는 것을 의미한다.

중복의 측정 방법은 진단 대상의 값의 수에서 값의 종류의 수를 빼는 것으로 측정한다. 진단 대상은 id, (userid, time), (set_id, set_seq)로 선정한다.

Id는 행 번호로 고유한 번호를 가져야 하며, (userid, time)은 같은 사용자가 같은 시간에 여러 개의 데이터를 수집할 수 없으므로 중복되지 않아야 한다. (set_id, set_seq)은 하나의 이동 궤적에서의 점의 순서이므로 중복되지 않아야 한다. 측정 결과 중복 오류는 없는 것으로 확인되었다.

일관성은 데이터 타입과는 다른 의미를 가지며 문자열 타입을 대상으로 진행된다. 따라서, 일관성의 첫 번째 세부기준은 데이터가 정해진 구조(Pattern)를 따르는지 확인하는 것이다. 예를 들어, 주민등록번호는 ‘999999-9999999’와 같은 구조를 지니며 데이터들은 이러한 구조를 따라야 한다.

구조의 측정 방법은 사전에 지정한 구조와 대조하여 다른 구조를 확인하는 것으로 측정한다. 진단 대상은 userid와 set_id로 선정한다. userid는 ‘GAH0000’구조를 지니며, set_id는 ‘GAH0000-0000-00-00-0000000’구조를 지닌다. 측정 결과 구조 오류는 없는 것으로 확인되었다.

일관성의 두 번째 세부기준은 데이터가 정해진 표현(Expression)을 사용하는지 확인하는 것이다. 예를 들어, 데이터의 값 표현 시 긍정은 1, 부정은 0과 같이 정의할 수 있다.

표현의 측정 방법은 문자열 중 사전에 정의한 내용과 다른 표현을 찾는 것으로, 진단 대상은 acttype으로 선정한다. acttype은 STATIONARY, WALKING, RUNNING, IN_CAR, IN_VEHICLE 5가지로 표현된다. 측정 결과 표현 오류는 없는 것으로 확인되었다.

유효성의 세부기준은 데이터가 정해진 범위(Range) 안에 존재해야 하는 것이며, 범위는 데이터가 존재할 수 있는 시작 값과 끝 값의 사이를 의미한다.

범위의 측정 방법은 진단 대상의 유효범위 외의 값을 찾는 것으로 측정하며, 유효범위는 데이터 프로파일링의 결과와 데이터셋 구축 시 정한 규칙을 이용하여 정의하다. 진단 대상은 id, userid, time, set_seq, HR, lat, lon이다.

Id는 행 번호이기 때문에 1 이상의 값을 가져야 하며, userid는 59명의 수집자로 ‘GAH0001’와 ‘GAH0059’사이의 값을 가져야 한다. time은 수집 기간인 ‘2018-07-01 00:00:00.000’과 ‘2020-01-0223:59:59.999’ 사이의 값을 가져야 하며, set_seq는 궤적 번호로 1 이상의 값을 가져야 한다. HR은 사람의 심박수인 느린맥 40에서 빠른맥 180 사이의 값을 가져야 한다. lat과 lon은 수집 구역인 위도 35.9404700397269와 35.9517589630128, 경도 126.677071880745와 126.689 57293113624 사이 값을 가져야 한다. 측정 결과 범위 오류 중 HR의 오류가 337,900개 확인되었다.

정확성의 첫 번째 세부기준은 데이터의 선후 관계(Order)가 정확한지 확인하는 것이며, 선후 관계는 시간을 기준으로 조건에 맞는 데이터의 순서가 올바른 것을 의미한다.

선후 관계의 측정 방법은 time을 기준으로 조건 내에서 해당 값이 과거의 값 보다 이전의 값인 수를 확인하는 것으로 측정한다. 진단 대상은 (userid, set_id), (set_id, set_seq)다. 같은 userid 그룹에서 set_id는 필터를 통해 생성한 궤적으로 순서가 정확해야 하며, 같은 set_id 그룹에서 set_seq는 궤적 내에 이동한 점의 순서를 나타낸 것으로 순서가 정확해야 한다. 측정 결과 선후 관계 오류 중 (userid, set_id)의 오류가 500개 확인되었다.

정확성의 두 번째 세부기준은 데이터의 계산/집계(Calculation/aggregation)가 정확한지 확인하는 것이며, 계산/집계는 조건에 맞는 계산 또는 집계가 오류 없이 수행된 것을 의미한다.

계산/집계의 측정 방법은 다른 컬럼에서의 계산 또는 집계 값이 해당 컬럼의 값과 일치하는지 확인하는 것으로 측정한다. 진단 대상은 (set_id, set_seq)로 선정한다. (set_id, set_seq)는 같은 set_id의 개수는 해당 set_id 그룹 내의 set_seq 중 가장 큰 수와 일치해야 한다. 측정 결과 계산 집계 오류의 (set_id, set_seq) 오류가 5,612개 확인되었다.

적시성의 세부기준은 데이터가 최신값(Up-to-date)을 가지는지 확인하는 것이며, 최신값은 데이터 사용자가 현실 세계에서 일어나는 일을 바로 확인할 수 있는 것과 같은 의미이다.

최신값의 측정 방법은 데이터 수집부터 모니터링까지의 시간을 확인하는 것으로 측정한다. 진단 대상은 데이터 수집 시작 날짜부터 모니터링할 수 있는 날짜까지의 시간으로 선정한다. 표 5는 데이터 수집부터 정제까지 한 사이클의 수집 일정을 보인다. 데이터는 2주 동안 수집한 후 서버로 전송하여 2주간 전처리를 진행한다. 이후 1주 동안 데이터베이스를 수정하는 과정을 거치므로 데이터 사용자는 수집한 날짜의 데이터를 3~5주 후 모니터링을 할 수 있다.

유용성의 첫 번째 세부기준은 데이터의 정보 가치(Information value)가 있는지 확인하는 것이며, 정보 가치는 사용자가 이용할 만한 수준의 데이터를 가지는 것을 의미한다. 정보 가치의 측정 방법은 데이터 수집자의 1일 평균 이동 개수를 확인하는 것으로 측정한다. 그림 2는 수집 개수 구간별 데이터 수집자 수를 보인다. 이때, 1인 평균 이동 개수는 3.4개이며, 가장 적게 수집한 사람의 개수는 1.3개 가장 많이 수집한 사람의 개수는 5.958개이다.

Fig. 2. 
Number of collectors in each collection count interval

유용성의 두 번째 세부기준은 데이터 사용 시 편의성(Convenience)이 있는지 확인하는 것이며, 편의성은 데이터 수집자, 관리자, 사용자의 이용이 편리해야 하는 것을 의미한다. 편의성의 측정 방법은 데이터 수집자, 관리자, 사용자를 대상으로 한 설문조사를 분석하는 것이다. 진단 대상은 수집과정, 데이터베이스 사용, 모니터링 툴에 대한 설문조사 응답지로 선정한다.

불편함을 느낀 비율은 식 (1)과 같이 계산되며, 그 결과는 표 6과 같다. 수집과정 중 불편함은 평균 31.386%이며, 데이터베이스와 모니터링 툴의 불편함은 존재하지 않는다.

보안성의 첫 번째 세부기준은 정보에 암호화(Encryption)가 이루어졌는지 확인하는 것이며, 암호화는 로그인 없이 데이터의 열람 및 삭제를 할 수 없는 것을 의미한다.

암호화의 측정 방법은 스마트 워치, 서버, 데이터베이스의 로그인을 확인하는 것으로 측정한다. 진단 대상은 스마트 워치의 수집 파일, 서버에 저장된 raw 데이터 파일, 데이터베이스 데이터셋으로 선정한다. 진단 대상들은 DSEM-Trajectory을 구축하기까지의 모든 데이터로 기계학습을 위한 중요한 데이터이다. 측정 결과 워치 수집 파일은 서버로 전송할 경우 파일의 암호화가 이루어지지 않아 열람 및 삭제를 할 수 있지만, 서버 파일과 데이터베이스 데이터셋의 경우 암호화로 파일 및 데이터 열람 및 삭제가 불가능하다.

보안성의 두 번째 세부기준은 데이터에 접근 통제(Access control)가 존재하는지 확인하는 것이며, 접근 통제는 사용자에 따른 데이터베이스 접근 수준이 다른 것을 의미한다.

측정 방법은 데이터베이스에 로그인 별로 데이터 접근을 시도하는 것으로 측정한다. 진단 대상은 데이터베이스로 선정한다. 측정 결과 데이터베이스는 관리자 계정과 사용자 계정 두 가지로 관리하고 있으나, 데이터 삽입, 삭제 등과 같은 모든 접근이 가능하다.

보안성의 세 번째 세부기준은 데이터를 비식별화(De-identification)하는 것이며, 비식별화는 데이터 수집자의 개인정보 식별이 불가능한 것을 의미한다.

측정 방법은 데이터 수집자와 데이터의 연관성을 확인하는 것으로 측정한다. 진단 대상은 데이터베이스와 데이터 수집자의 정보이다. 측정 결과 데이터 수집 후 전처리 시점에서 피실험자를 아이디화 하여 저장하며, 테이블에 피실험자의 인적사항을 등록하지 않아 사용자를 특정하기 어렵다.

본 논문은 DSEM-Trajectory 데이터셋의 품질평가를 위하여 데이터 값 진단 평가와 데이터 운영진단 평가를 실시하였다.

표 7은 데이터 값 진단 평가의 진단 결과를 보인다. 데이터 값 진단 평가는 총 5개의 기준으로 진행하였고, 완전성, 유일성은 데이터 품질에 이상이 없어 개선할 사항이 없으며, 일관성, 유효성, 정확성은 개선이 필요하다고 분석된다. 자세한 분석 결과는 다음과 같다.

유효성 분석 결과 HR 범위에서 오류가 전체 2,220,511개 중 33,790개로 0.015%가 확인되었다. HR 오류는 데이터는 수로만 보면 큰 오류이지만, 전체 비율로 봤을 경우 적은 오류이며, 이는 데이터 수집 시 스마트 워치 측정값 이상으로 발생한 것으로 판단된다. HR 오류 데이터를 개선하기 위해서는 크게 삭제와 대체가 있지만 삭제를 진행할 경우 학습에 영향을 줄 수 있으므로 주변 값의 사이 값을 사용하여 대체한다.

정확성 분석 결과(userid, set_id) 선후 관계에서 오류가 전체 35,107개의 이동 경로 중 500로 0.014%가 확인되었다. 이는 전처리 후 시간순으로 정렬하지 않고 파일을 받은 순서대로 set_id를 설정하여 발생한 것으로 판단된다.

선후 관계는 데이터셋 구축 목적인 이동 경로 예측을 위한 중요한 요소 중 하나이며, 순서가 다르면 이동 경로에 대한 예측도 달라질 수 있으므로 시간순으로 정렬한 후 수집된 파일과 비교하며 set_id와 set_seq를 재설정하여 품질을 개선해야 한다. (set_id, set_seq) 계산/집계에서 오류가 35,107개의 set_id 중 5,612개로 15.985%가 확인되었다. 궤적 생성 후 이동 좌표 중 근접한 좌표들을 제거하고 set_seq를 다시 설정하지 않아 발생한 것으로 판단된다. 선후 관계가 명확하여 학습에 큰 영향을 주지 않으나 품질을 떨어뜨리고 있으며, set_seq의 번호를 사용할 수 없다는 문제가 있다. 이를 개선하기 위해서는 set_seq의 재설정이 필요하다.

한편, 표 8은 데이터 운영 진단 평가의 진단 결과를 보인다. 데이터 운영 진단 평가는 총 3개의 기준으로 진행하였고, 유용성은 개선할 사항이 없으나 적시성, 보안성은 개선이 필요하다고 분석된다. 자세한 분석 결과는 다음과 같다.

적시성 분석 결과 데이터 수집 후 모니터링하기 위한 시간이 오래 걸리는 것으로 확인되었다. 데이터 확인을 위한 실시간성이 떨어져 사용자의 편의에 영향을 미치며, 모니터링을 위한 시간을 단축하기 위해서는 자동화된 전처리를 통해 최신값의 품질을 향상시킨다. 유용성 분석 결과 정보 가치는 이동 경로를 학습하기 위해 ‘집→학교’와 ‘학교→집’을 기본 경로로 선택하여 1일 이동 개수가 2개 이상인 경우 가치가 있다고 판단하였다.

1일 평균 이동 개수가 3.4개이며, 2개 이상인 경우가 91.525%로 정보로서 가치가 있으며 경로 예측에 적합하다고 판단된다.

편의성 중 수집과정의 편의성은 낮은 편이지만 차수가 진행되며 수집 앱의 발전, 수집자의 적응, 수집 방법 개선을 통해 불편함이 감소한 것을 통해 문제가 없음을 확인할 수 있다.

보안성 분석 결과 암호화는 서버와 데이터베이스의 암호화가 잘 이루어지지만, 워치에서 서버로 파일을 전송할 시 암호화가 이루어지지 않아 모든 데이터가 공개되므로 파일 자체의 암호화를 통해 보안성을 강화해야 한다. 접근 통제의 경우 데이터베이스 관리를 root와 관리자 두 가지 계정으로 관리하고 있으며, 다른 사용자가 확인 시 관리자 계정으로 접근하여 모든 권한을 가지고 있으므로 VIEW 기능만을 위한 사용자 계정 생성이 필요하다.