공공데이터의 신뢰성 확보를 위한 평가모델 연구

Ⅰ. 서 론

현재 정부의 공공데이터 품질관리는 행정안전부에서 총괄로 진행한다. 데이터 품질관리 평가는 2개 영역, 11개 지표에 대하여 중앙행정기관, 지자체, 공기업 등으로 구분하여 평가하고 그 결과를 관리하고 있다. 공공데이터 품질관리 평가는 「공공데이터의 제공 및 이용 활성화에 관한 법률」 제22조(공공데이터의 품질관리) 및 같은 법률 시행령 제17조(공공데이터의 품질진단 및 개선)를 근거로 시행되고 있다[1]-[6].

정부에서 실시하고 있는 공공데이터 품질관리 평가의 중요한 목표는 공공기관이 생성·취득하여 관리하고 있는 공공데이터에 대하여 평가 대상 기관들이 자체적으로 적절하게 품질관리 활동을 하고 있는지를 평가하는 것이다. 정부에서 공공데이터 품질관리 평가를 실시함으로서 공공데이터 품질관리 체계 확립 및 고품질의 공공데이터를 생성·개방·활용으로 이어지는 선순환 체계를 구축하는데 목적이 있다.

이에 본 논문에서는 정부 주도로 평가되고 있는 공공데이터품질관리 평가 방법에 대한 문제점이 없는지를 파악하기 위해 2021년 정부에서 실시한 공공데이터품질관리 평가 결과를 2개 영역별, 11개 지표별 세부점수로 분석하였다.

특히 공공데이터 품질관리 평가항목 중 데이터 값 관리영역의 데이터오류율에 대한 평가는 가장 중요한 부분이다. 데이터오류율 평가를 미수행하더라도 데이터관리체계와 데이터 값 관리 영역별 합산 점수만으로도 우수등급을 받을 수 있다. 이러한 이유로 일부 공공기관에서 개방하는 데이터에는 오류가 많아 신뢰하지 않는 원인이 된다. 이러한 문제점을 분석하였고 그 문제를 해결하기 위해 새로운 공공데이터품질 관리 평가 모델을 제안하였다.

Ⅱ. 공공데이터 품질관리 평가 모델

표 1은 행정안전부에서 제시한 공공데이터 품질관리 평가모델이다. 표 2는 공공데이터 품질관리 평가 합계 점수별 등급기준을 나타낸다[4].

Table 1.

Public data quality management evaluation model

Table 2.

Public data quality management evaluation total score rating criteria

2.1 데이터 관리체계 영역 분석

2.1.1 기관 데이터 품질관리 계획수립 및 이행

표 3과 같이 각 기관이 데이터 품질관리계획을 수립하고 이행했는지를 평가한다.

Table 3.

Data quality management plan establishment evaluation criteria

2.1.2 예방적 품질관리 진단

각 기관은 정보시스템(DB) 구축 계획수립 시 예방적 품질관리 진단을 수행하여야 한다. 예방적 품질관리 진단을 수행했는지를 식 (1)과 같이 평가한다.

$\[ \begin{array}{c}\mathrm{달}\mathrm{성}\mathrm{률}\left(\mathrm{\%}\right)=\hfill \\ \frac{\mathrm{예}\mathrm{방}\mathrm{적}\mathrm{품}\mathrm{질}\mathrm{관}\mathrm{리}\mathrm{진}\mathrm{단}\left(\mathrm{수}\mathrm{행}\right)\mathrm{사}\mathrm{업}\mathrm{수}}{\mathrm{예}\mathrm{방}\mathrm{적}\mathrm{품}\mathrm{질}\mathrm{관}\mathrm{리}\mathrm{진}\mathrm{단}\left(\mathrm{대}\mathrm{상}\right)\mathrm{사}\mathrm{업}\mathrm{수}}\times 100\hfill \end{array} \]$

(1)

2.1.3 데이터 표준 확산

각 기관은 평가 대상 DB에 대하여 기관표준 및 범정부 표준을 적용하여 데이터 표준을 정의하고 있는지와 데이터 표준을 어느 정도 수준으로 적용하고 있는지를 식 (2)와 같이 평가한다.

$\[ \begin{array}{c}\mathrm{적}\mathrm{용}\mathrm{률}\left(\mathrm{\%}\right)= \hfill \\ \frac{\mathrm{대}\mathrm{상} DB\mathrm{의} \mathrm{표}\mathrm{준}\mathrm{이} \mathrm{적}\mathrm{용}\mathrm{된} \mathrm{컬}\mathrm{럼} \mathrm{수}}{\mathrm{전}\mathrm{체} \mathrm{컬}\mathrm{럼} \mathrm{수}}\times 100\hfill \end{array} \]$

(2)

2.1.4 데이터 구조 안정화

각 기관은 평가대상 DB의 데이터 구조 관련 산출물인 데이터베이스 정의서, 테이블정의서, 칼럼정의서 및 ERD(또는 관계정의서)를 관리하고 있는지와 평가대상 DB의 구조 산출물이 실제 DB의 구조에 맞게 현행화하여 관리하고 있는지를 식 (3)과 같이 평가한다.

$\[ \begin{array}{c}\mathrm{산}\mathrm{출}\mathrm{물}\mathrm{현}\mathrm{행}\mathrm{화}\left(\mathrm{\%}\right)=\hfill \\ \frac{\mathrm{테}\mathrm{이}\mathrm{블}\left(\mathrm{컬}\mathrm{럼}\right) \mathrm{정}\mathrm{보} \mathrm{일}\mathrm{치} \mathrm{개}\mathrm{수}}{\mathrm{테}\mathrm{이}\mathrm{블}\left(\mathrm{컬}\mathrm{럼}\right) \mathrm{전}\mathrm{체} \mathrm{개}\mathrm{수}}\times 100\hfill \end{array} \]$

(3)

2.1.5 데이터 연계 관리

데이터 연계 시 발생 할 수 있는 문제점들에 대해 신속히 대응하기 위하여 송수신 데이터에 대한 기관 내·외부의 연계정보를 정의하고, 관리하고 있는지를 평가한다. 또한 연계데이터 송‧수신 현황을 주기적으로 점검하고, 오류발생 시 조치결과 등을 관리하고 있는지를 평가한다.

2.2 데이터 값 관리 영역 분석

2.2.1 데이터 품질진단

각 기관의 DB 품질진단 수행에 필요한 대상 테이블과 칼럼을 식별하고, 진단대상 칼럼에 대한 진단기준을 정의하여 품질진단을 수행하였는지를 평가하며 업무규정·법령·지침 등에 위배되는 데이터 검증을 위한 품질진단을 수행하고 있는지를 평가한다.

2.2.2 품질진단 결과 조치

각 기관의 DB 품질진단 수행에 따른 오류의 원인을 분석하고, 오류 정제를 위한 개선계획을 수립하고 있는지를 확인하며 품질진단 개선계획에 따라 수행한 개선조치이행률을 식 (4)와 같이 평가한다.

$\[ \begin{array}{c}\mathrm{개}\mathrm{선}\mathrm{조}\mathrm{치}\mathrm{이}\mathrm{행}\mathrm{률}\left(\mathrm{\%}\right)= \hfill \\ \frac{\mathrm{수}\mathrm{행} \mathrm{과}\mathrm{제} \mathrm{건}\mathrm{수}}{\mathrm{개}\mathrm{선} \mathrm{계}\mathrm{획} \mathrm{과}\mathrm{제} \mathrm{건}\mathrm{수}}\times 15\hfill \end{array} \]$

(4)

2.2.3 데이터 오류율

각 기관의 DB 품질진단을 수행하여 식 (5)와 같이 데이터품질 오류율을 측정 평가한다. 표 4는 식 (5)의 결과를 적용하여 데이터품질 오류율을 평가하는 기준이다.

$\[ \begin{array}{c}\mathrm{오}\mathrm{류}\mathrm{율}\left(\mathrm{\%}\right)= \hfill \\ \frac{\mathrm{오}\mathrm{류}\mathrm{데}\mathrm{이}\mathrm{터} \mathrm{건}\mathrm{수}}{\mathrm{진}\mathrm{단}\mathrm{대}\mathrm{상}DB\mathrm{전}\mathrm{체} \mathrm{데}\mathrm{이}\mathrm{터} \mathrm{건}\mathrm{수}}\times 100\hfill \end{array} \]$

(5)

Table 4.

Rating criteria for each data quality error rate evaluation score

2.2.4 오류신고 요구사항 분석 및 개선

각 기관의 개방된 공공데이터를 활용하는 수요자로부터 신고·접수된 데이터 품질오류 내역 및 처리결과 분석, 요구사항을 파악하여 문제점을 발굴하고 개선하는 활동을 수행하는지를 평가한다.

2.2.5 개방 데이터셋(Dataset) 오류조치

각 기관의 공공데이터 포털에 등록된 개방 데이터셋 및 OpenAPI의 오류를 진단하고, 진단결과 식별된 오류를 개선하였는지를 식 (6)과 같이 평가한다.

$\[ \begin{array}{c}\mathrm{오}\mathrm{류}\mathrm{조}\mathrm{치}\mathrm{율}\left(\mathrm{\%}\right)= \hfill \\ \frac{\mathrm{오}\mathrm{류}\mathrm{데}\mathrm{이}\mathrm{터} \mathrm{개}\mathrm{선}\mathrm{건}\mathrm{수}}{\mathrm{오}\mathrm{류}\mathrm{데}\mathrm{이}\mathrm{터} \mathrm{건}\mathrm{수}}\times 100\hfill \end{array} \]$

(6)

2.2.6 개방 데이터셋 현행 관리

각 기관의 공공데이터 개방 표준으로 고시된 개방표준 데이터셋의 주관기관이 소관 개방표준 데이터셋을 공공데이터포털에 등록하고 현행화하여 제공하고 있는지 를 평가한다.

Ⅲ. 새로운 품질관리 평가모델 제안 및 시뮬레이션

3.1 품질관리 평가모델의 문제점 분석

본 논문에서는 표 1에 의해 진행되고 있는 공공데이터 품질관리 평가의 문제점을 살펴보고 그 개선점을 제시하고자 한다. 현행 공공데이터 품질관리 평가모델은 평가항목 전체 합계(100점)를 합산하여 기관별 평가등급을 부여하고 있다.

표 5는 2021년도에 실시한 공공데이터 품질관리 평가결과이다. 중앙행정기관 45개 중 35개, 광역지자체 17개 기관 중 9개 기관이 우수등급을 받았음을 알 수 있다. 중앙행정기관과 광역지자체의 경우 기초단체와 공공기관에 비해 공공데이터 품질관리에 투입되는 인력이 많아 50%이상의 기관들이 우수등급을 받고 있음을 알 수 있다[7].

Table 5.

Public data quality management evaluation results (2021)

그림 1은 표 5의 결과에서 데이터 오류율 점수가 평가대상 공공기관별 등급판정에 미치는 영향을 파악하기 위해 오류율 평가점수를 0점~15점까지 변화시키면서 평가한 결과이다. 그림 1에서 데이터 오류율 점수 15점을 제외한 나머지 세부 항목 평가점수는 85점으로 가정하였다. 데이터오류율 평가를 제외한 2개 영역 10개 세부항목별 평가는 서류제출만으로도 85점을 받을 수 있기 때문이다. 그림 1에서 데이터오류율 점수가 0점, 즉 미수행하는 경우에도 공공데이터 품질관리 평가 합계점수가 80점 이상을 받을 수 있어 1등급을 받을 수 있는 문제가 있음을 알 수 있었다.

Fig. 1.

Public data quality management level evaluation result

표 6은 2021년도 공공데이터 품질관리 평가 결과 점수가 80점 이상을 받은 4개, 80점 이하를 받은 4개 기관 총 8개 기관을 선정하여 2개 영역, 11개 지표별 세부점수를 분석한 결과이다.

Table 6.

Public data quality management evaluation results of 8 institutions(2021)

표 6에서 공공데이터관리 품질평가결과 80점 이상(1등급)을 받은 4개 기관 중 데이터 값 관리 영역의 세부항목 데이터오류율 평가 결과 6점(4등급) 이하를 받은 기관은 2개, 공공데이터관리 품질평가결과 80점 이하(2등급 이하)를 받은 4개 기관 중 데이터 값 관리 영역의 세부항목 데이터오류율 평가 결과 15점(1등급)을 받은 기관은 3개 기관 이었다. 데이터오류율 평가 결과 15점(1등급)을 받았음에도 공공데이터관리 품질평가에서는 1등급을 받지 못했음을 알 수 있었다.

3.2 새로운 품질관리 평가모델

본 논문에서는 공공데이터 품질관리 평가에 대한 신뢰성 확보를 위해 새로운 공공데이터 평가모델을 표 7, 데이터 오류율 평가 등급별 등급기준을 표 8과 같이 제안한다.

Table 7.

New public data evaluation model

Table 8.

New dimensions by error data class

표 7에서는 표 1의 공공데이터 품질관리 평가모델 2개 영역 11개 평가지표에서 평가지표가 중복되는 부분을 통합하여 2개 영역 6개 평가지표로 간소화하였다. 중복된 평가 지표를 통합함으로서 평가대상 기관별 공공데이터 관리에 소요되는 비용을 최소화 하고자 하였다.

3.3 새로운 공공데이터 품질 평가모델 적용한 시뮬레이션

본 논문에서 제안한 공공데이터 품질관리 평가모델을 적용하여 2021년 공공데이터 품질관리 평가를 받은 8개 기관 중 데이터오류율 점수가 1등급(0,01%이하)인 기관 4개, 2등급(0.1%이하)인 기관 1개, 3등급(0.5%이하)인 기관 1개, 4등급(1.0%미만)인 기관 1개, 5등급(1.0%이상)인 기관 1개에 대하여 시뮬레이션 하였다. 그 결과는 표 9와 같다. 표 9에서 데이터오류율 점수가 50점(1등급)을 받은 기관은 A, C, D, H, 40점(2등급)을 받은 기관은 F, 30점(3등급)을 받은 기관은 E, 10점(5등급) 이하를 받은 기관은 B, G였다.

Table 9.

Quality control evaluation results of organization(2021)

표 10은 현재 정부에서 공공데이터품질 관리 평가에 사용하고 있는 표 1모델과 본 논문에서 제안한 표 7 모델을 적용하여 시뮬레이션 한 결과를 비교 평가하였다.

Table 10.

Rating of proposed public data quality evaluation model

표 1모델에 의한 공공데이터 품질관리 평가결과 1등급 기관은 A, B, F, G이고 데이터오류율 평가 결과 A는 1등급(15점), B는 미수행(0점), F는 2등급(12점), G는 4등급(6점)이었다. 표 1에서 데이터오류율 평가결과 B 미수행(0점), G 4등급(6점)을 받았음에도 공공데이터 품질관리 평가결과 1등급을 받았다.

표 1모델에 의한 공공데이터 품질관리 평가결과 2등급 기관은 C, E, H이고 데이터오류율 평가 결과 C, H는 1등급(15점), E는 3등급(9점)이었다.

표 1모델에 의한 공공데이터 품질관리 평가결과 3등급 기관은 D이고 데이터오류율 평가 결과 D는 1등급(15점)이었다.

표 7 모델에 의한 공공데이터 품질관리 평가결과 1등급 기관은 A, C, D, F, H이고 데이터오류율 평가 결과 A, C, D, H는 1등급(50점), F는 2등급(40점)이었다. 표 1에서 데이터오류율 평가결과 B 미수행(0점), G 4등급(6점)을 받은 기관은 공공데이터 품질관리 평가결과 3등급을 받았다.

E는 표 1과 표 7 모델에 의한 공공데이터 품질관리 평가결과 2등급, 데이터오류율 평가 결과 2등급이었다.

Ⅳ. 결 론

본 논문에서는 현재 정부에서 시행하고 있는 공공데이터 품질관리 평가에 대한 문제점을 살펴보고 그 개선점을 제시하였다. 제안된 새로운 평가모델은 중복된 평가 지표를 통합하여 기관별 공공데이터 관리에 소요되는 비용을 최소화 하였다.

또한 표 10에서와 같이 데이터오류율 평가점수가 0점(미수행)이여도 서류작업만으로 평가가 이루어지는 2개 영역 10개 세부항목별 평가에서 80점 이상을 받을 수 있는 문제점이 개선됨을 확인하였다.

본 논문에서 제안한 새로운 평가 모델에서는 데이터 오류율 평가 등급이 높을수록 평가 대상기관의 공공데이터 품질관리 평가등급도 우수 판정을 받을 수 있음을 확인하였다. 공공데이터 품질관리 평가를 준비하는 기관에서는 데이터 오류율 관리에 많은 인력이 투입되어야 한다.

References

• Todaykorea, "9 trillion won invested in digital new deal project in 2022", Jan. 2022. http://www.todaykorea.co.kr/news/articleView.html?idxno=296461, [accessed: oct. 03, 2022]
• Korea Information Society Agency, "Open Government Data Quality Management Manual", 2018.
• Ministry of the Interior and Safety, "2020 Public Data Quality Management Level Assessment Manual", pp. 6-11, 2020.
• Ministry of the Interior and Safety, "2021 Public Data Quality Management Level Assessment Manual", pp. 2-4, 2021.
• Ministry of the Interior and Safety, "2020 Public Data Quality Management Level Evaluation Promotion Plan", pp. 1-9, 2020.
• Ministry of Government Legislation, "act on promotion of the provision and use of public data", pp. 6-9, 2020.
• Ministry of the Interior and Safety, "Increased number of excellent public data provision and operation institutions for 3 consecutive years", Mar. 2022. https://url.kr/o2rgwd, [accessed: oct. 03, 2022]
• Ministry of the Interior and Safety, "Public data preventive quality management guide", pp. 10-17, Mar. 2021.
• Ministry of the Interior and Safety, "Error data diagnosis according to the government-wide quality diagnosis standard(basic education on public data quality diagnosis in 2020)", pp. 6-11, 2020.
• J. Kim and S. Kim, "Analyzing the effectiveness of the public data quality management evaluation system according to the Digital New Deal policy and presenting an improved evaluation model", Korean institute of information technology symposium, pp. 1-4, 2021.
• R. Y. Wang, "A product perspective on total data quality management", Communications of the ACM, Vol. 41, No. 2, pp. 58-65, Feb. 1998. [https://doi.org/10.1145/269012.269022]