블록체인 기반 자격증 관리 시스템의 정성적 평가 요소에 대한 통계 데이터 기반 성능 분석

2.1 문제 정의

위조는 많은 사회적 문제를 일으키기 때문에 위조 방지 및 진위확인을 위한 QR 코드, 워터마킹 등 다양한 기술을 이용한 연구 및 서비스 개발이 진행되어 왔다[1]-[7]. 그러나 여전히 보안성, 처리 성능, 편의성 등의 측면에서 여러 가지 한계와 문제점을 지닌다. 이러한 단점을 해결하고 개선하기 위해 [8]에서는 블록체인 기반의 새로운 자격증 관리 시스템을 제안하였다. 블록체인 기술은 이미 보안성 측면에서 인정받은 기술로, 금융 분야는 물론 다양한 분야에 적용되어 활용되고 있다[9]-[12]. 이러한 블록체인 기술의 중요성과 안전성은 국제적으로도 인정받고 있으며 국제 표준화를 위한 노력이 이루어지고 있다[13]. 제안 시스템은 블록체인 기술을 적용하고 있기 때문에 탈중앙화가 가능하고 블록체인 기술 자체의 높은 보안성 특성으로 안전성이 배가되는 특징을 지닌다. 제안 시스템은 보안성 측면은 물론 사용자 편의성, 처리 속도, 신뢰성 측면에서 개선된 성능을 보인다. [8]에서는 실험을 통한 정량적인 평가와 정성적인 평가를 통해 장점을 기술하였다. 처리 속도 측면, 즉 진위확인에 소요되는 시간에 대한 평가를 위해 프로토타입을 구현하고 실험 평가를 통해 정량적인 평가 결과를 보였다. 그러나 처리 속도를 제외한 나머지 평가 항목에 대해서는 정성 평가 결과만을 제시하였다.

정성적인 평가 결과만으로 제안 시스템의 장점을 설명할 수 있다. 그러나 사용자 편의성과 같은 평가 항목을 정성적으로 평가하여 결과를 제시할 경우, 객관성이 결여된, 주관적인 평가 결과로 보여질 수 있다.

사용자 편의성과 같은 평가 항목에 대한 평가 결과의 객관성을 담보하기 위해서는 계량화를 통한 정량 평가 결과를 제시해야 한다. 따라서 이 논문에서는 이러한 기존 연구 결과의 한계를 극복하고 연구의 객관성을 확보할 수 있는 연구를 수행한다.

2.2 대상 평가 항목 및 접근 방법

정성 평가 항목에 대한 계량화는 평가 항목에 따라 다양한 접근 방법을 적용할 수 있다. 기존 연구에서 제안한 시스템의 가장 중요한 특징은 빠른 진위확인 속도, 편의성 그리고 보안성이다. 이 중에서 빠른 진위확인 속도에 대한 평가 항목은 구현 및 실험을 통해 정량적 평가 내용을 제시하였기 때문에 대상에서 제외한다. 나머지 주요 정성 평가 항목에 대해서는 정성 평가 결과만을 제시하였다. 따라서 이 논문에서는 이 평가 항목들을 대상으로 정량 평가 연구를 수행한다.

정성 평가 항목에 대한 평가 결과에 객관성을 부여하기 위해서는 사용자의 의견이 중요하다. 따라서 이 논문에서는 사용자로부터 통계 데이터를 수집하고 이를 분석하여 그 결과를 기술한다. 통계 데이터를 기반으로 평가 항목별 분석 결과를 기술하며, 상세한 분석 결과를 도출하기 위해 변수 간 연관 분석을 수행하고 그 결과를 기술한다. 이 논문에서 연관 분석의 목적은 집단 간 유의성 또는 우위성 분석이 아니다. 따라서 집단 간 유의성 분석을 위하여 T-검정과 같은 통계 분석 기법을 적용한 연구는 이 연구의 범위에서 제외한다.

3.1 수집 및 분석 절차

일반적인 설문 조사 방법과 동일한 방법을 통해 통계 데이터를 수집하며, 수집한 통계 데이터를 분석하는 분석 절차 또한 일반적인 통계 분석 절차를 따른다.

그림 1은 통계 데이터 수집과 분석을 위한 전체적인 프로세스를 보여준다.

Fig. 1.

Overall process

데이터 수집 및 분석을 위한 첫 번째 단계는 정성 평가 요소를 결정하는 작업이다. 이 논문의 목적은 블록체인 기반 자격증 관리 시스템의 정성 평가 요소에 대한 평가를 계량화하여 장점을 정량적으로 제시하는데 있다. 따라서 통계 데이터 수집을 위해 어떠한 정성 평가 요소에 대해 정량적으로 평가할 것인지를 결정한다.

정성 평가 요소가 결정되면, 데이터 수집을 위한 방법을 결정한다. 다양한 방법으로 데이터를 수집이 가능하며, 이 논문에서는 연구의 목적과 특성을 고려하여 설문조사를 실시하고 데이터를 수집하며, 설문조사를 실시하기 위해 설문지를 작성한다. 설문지 작성을 위해서는 질문 유형과 질문 순서를 결정해야 한다. 이 논문에서는 연구의 목적과 특성을 고려하여 자격증 발급경험과 발급방식을 질문 유형에 포함시킨다. 사용자의 자격증 발급의 중요성 및 기술적 이해도는 설문조사 결과의 정확성에 영향을 주기 때문에 참여자의 직장 유무와 직종을 설문 유형에 포함시킨다.

정성 평가 요소 결정과 수집 방법 그리고 설문지 작성이 완료되면 앞서 결정한 수집 방법에 따라 데이터를 수집한다. 이 연구에서는 사용자의 설문 참여를 위해 사회망서비스(SNS, Social Network Service)를 이용하며, 이러한 방법을 통해 수집한 데이터를 이용하여 데이터 정제, 분석 및 해석 프로세스를 수행한다.

3.2 가설, 질의문 작성 및 분석 방법

이 연구의 목적은 정성 평가 항목에 대한 정량 평가를 통해 기존 연구의 기여도를 검증하기 위한 것으로, 세 가지 정성 평가 항목인 사용자 편의성, 보안성, 신뢰성에 대한 정량 평가를 수행한다. [8]에서 제안한 시스템이 기존 시스템에 비해 우수하다고 평가한 내용을 토대로 다음과 같은 가설을 정의한다.

• 가설 1. 제안 시스템은 높은 사용자 편의성을 제공한다.
• 가설 2. 제안 시스템의 높은 보안성을 제공한다.
• 가설 3. 제안 시스템은 높은 신뢰성을 제공하다.

설문지 작성을 위한 질의문은 크게 참여자의 경험 데이터를 수집하기 위한 질의 부분과 정성 평가 항목에 대한 참여자의 응답 데이터를 수집하는 질의 부분으로 구분된다. 설문 내용 중 일부 평가 항목은 해당 분야의 기술에 대한 이해가 필요하며, 이러한 기술 도메인에 대한 이해 정도를 분석하기 위해 경험 데이터를 수집한다.

이 연구에서는 리커트 척도(Likert scale)를 이용하여 사용자 데이터인 통계 데이터를 수집한다[14]. 5단계 리커트 척도를 사용하고 측정 값은 1~5점으로 부여하며, ‘매우 그렇지 않다’와 ‘매우 그렇다’에 각각 1점과 5점을 부여한다.

질문지는 총 7개의 질문으로 구성되어 있으며, 사용자의 경험 데이터를 수집하기 위한 4개의 질문과 정성 평가 항목에 대한 평가 데이터를 수집하기 위한 3개의 질문으로 구성된다.

통계 데이터 수집이 완료되면, 정성 평가 항목에 대한 참여자의 응답에 대한 단순 통계 분석을 수행한다. 앞서 언급하였듯이, 일부 정성 평가 항목에 대한 설문은 해당 기술에 대한 이해가 요구된다. 따라서 응답 결과를 단순하게 통계 처리할 경우 높은 정확도를 도출하기 어렵다. 이 논문에서는 수집된 경험 데이터와 정성 평가 항목에 대한 응답 데이터를 연관 분석함으로써 정성 평가 항목에 대한 세부적인 정량 평가 결과를 도출한다.

데이터 분석을 위한 다양한 연관 관계가 존재하며, 이 논문에서는 다양한 연관 관계를 고려하여 데이터를 분석한다. 그림 2는 경험 데이터 부분에서 연관 분석 결과에 영향을 미치는 연관 관계도를 보여준다.

Fig. 2.

Association diagram by variables

그림 2에 묘사한 연관 관계도는 질문 순서에 따라 계층적으로 표현한 것으로, 이 논문에서는 단일 변수에 따른 분석 작업을 일차적으로 수행하고 복수 변수에 의한 분석 결과를 기술한다. 앞서 기술한 분석 방법을 의사코드로 표현하면 다음과 같다.

4.1 수집 데이터 분류

3장에서 기술한 절차와 방법을 통해 총 58명의 데이터를 수집하였으며, 이를 정리하면 표 1과 같다. 표 1에서, 전체 참여자, 즉 응답자는 총 58명으로, 직장인은 19명, 비직장인은 39명이다. 직장인은 모두 IT 업종에 종사하는 것으로 나타났으며, 이는 해당 분야 기술에 대한 이해도가 높아 분석 결과에 대한 신뢰도를 향상시킬 것으로 예상된다.

Table 1.

Summary of the data collection result

응답자 중 발급 경험자는 45명, 미경험자는 10명으로 나타났으며, 온라인 발급 경험자는 35명, 오프라인 경험자는 10명으로 나타났다. 이 중에서 3명은 온라인과 오프라인 발급경험이 있으며, 모집단 수가 적기 때문에 유의미한 결과를 얻을 수 없다. 따라서 발급방식에 따른 분석 연산에서 이 데이터를 제외한다.

4.2 단일 변수별 분석 결과

그림 3은 정성 평가 항목별 전체 응답자의 평균 값을 보여준다. 그림 3에서, 사용자 편의성에 대한 응답자의 평균은 4.17, 보안성에 대한 응답자의 평균은 4.19이며, 진위확인에 대한 신뢰성에 대한 응답자의 평균은 4.07이다. 그림 3에서 알 수 있듯이, 세 가지 정성 평가 항목에 대한 사용자 평가는 ‘그렇다’와 ‘매우 그렇다’의 사이에 분포하며, ‘그렇다’에 가까운 분포 값을 보였다. 분석 결과에서 보안성이 다른 정성 평가 항목에 비해 가장 높은 값을 보였으며 특이점으로 보안성과 신뢰성 간의 관계이다. 보안성은 진위확인의 신뢰성과 직결되는 요소이며, 일반적으로 보안성이 높은 경우 신뢰성이 향상되는 경향을 보인다. 그럼에도 불구하고, 이번 조사에서 진위확인의 신뢰성에 대한 평가 점수는 가장 낮은 4.07이다. 그러나 전체적으로 ‘그렇다’에 해당하는 4.0보다 높은 평균 점수를 보였으며, 따라서 보안성과 신뢰성이 높은 시스템이라는 평가 결과를 도출할 수 있다.

Fig. 3.

Overall averages by each evaluation item

그림 4는 직장 유무에 따른 분석 결과를 보여준다. 이 연구에서는 연구 목적의 특성을 고려하여 직종을 IT 분야 종사자와 비IT 종사자로 구분하였다. 수집된 결과에서 직장인이라고 답변한 응답자가 모두 IT 분야 종사자이며, 따라서 직종 구분에 따른 분석 결과는 직장 유무에 따른 분석 결과와 동일하다. 분석 결과를 살펴보면, 사용자 편의성 측면에서 직장인과 비직장인의 평균은 각각 4.42와 4.05이고 보안성 측면에서 각각 4.53과 4.03을 보였으며, 신뢰성 측면에서는 각각 4.47과 3.87을 보였다. 분석 결과에서, 직장인과 비직장인 응답자 모두 제안 시스템의 성능에 대해서는 ‘그렇다’에 해당한다고 판단하였으나 두 그룹 간에 격차가 존재함을 알 수 있다. 이러한 격차는 직장인과 비직장인의 자격증 발급경험의 차이에서 비롯된 경우로 보이며, 아울러 직장인의 직종이 해당 기술에 대한 이해도가 높은 IT 업종에 종사하기 때문인 것으로 추정된다. 이에 대한 확인은 자격증 발급경험 변수만을 고려한 분석 결과에서 확인할 수 있으며, 직장인이라고 응답한 응답자 모두 IT 업종에 종사하기 때문에 IT 업종에 대한 변수와의 상관 관계는 확인할 수 없다.

Fig. 4.

Analysis results by the employed and the unemployed

그림 5는 자격증 발급경험에 따른 분석 결과를 보여준다. 분석 결과에서, 사용자 편의성 측면에서 발급 경험자와 미경험자의 응답 값의 평균은 각각 4.42와 3.92를 보였고 보안성 측면에서 각각 4.24와 4.00을, 그리고 신뢰성 측면에서는 각각 4.09와 4.00을 나타냈다. 경험자와 미경험자 모두 제안 시스템의 성능에 대해서는 ‘그렇다’에 해당하는 결과를 얻었으며, 앞서 기술한 직업 유무에 따른 분석 결과와 유사하게 경험자 그룹과 미경험자 그룹 간에 격차가 존재함을 알 수 있다. 경험자에 의한 평가 결과가 높다는 측면에서 [8] 연구 결과의 우수성을 입증할 수 있다고 판단된다.

Fig. 5.

Analysis results by the issuance experience

그림 6은 발급방식에 따른 분석 결과를 보여준다. 분석 결과에서, 사용자 편의성 측면에서 온라인 방식과 오프라인 방식을 경험한 경험자의 응답 값의 평균은 각각 4.34와 4.30을 보였고, 보안성 측면에서 각각 4.32와 4.50을 보였으며, 신뢰성 측면에서는 각각 4.23과 4.10을 보였다. 발급 경험이 없는 미경험자의 조사 결과는 앞서 기술한 내용과 동일하며 분석 결과 비교를 위해 도표에 추가하였다. 온라인 발급 경험자와 오프라인 발급 경험자 모두 제안 시스템의 성능에 대해서는 ‘그렇다’에 해당 수준 이상의 결과를 보였다.

Fig. 6.

Analysis results by the issuance methods

보안성의 경우 오프라인 발급 경험이 있는 응답자의 평균이 4.50으로 매우 높은 점수를 보였다. 특이한 결과로서, 사용자 편의성 측면에서 오프라인 발급 경험자의 응답이 온라인 발급 경험자의 평균보다 낮다는 점이다. 이는 오프라인 발급에 비해 온라인 발급이 편리하다는 일반적인 통념과 대치되는 결과로서, 이 연구를 통해 그 원인 또는 이유를 확인할 수 없는 부분이다. 발급방식에 의한 분석 결과에서, 앞서 기술한 직업 유무, 발급경험에 의한 분석 결과와 유사하게 온라인 발급 경험자, 오프라인 경험자 그리고 추가로 보여준 미경험자 그룹 간에 격차가 존재함을 알 수 있다. 그러나 전체적으로 ‘그렇다’ 이상의 값을 지닌다는 점과 특히 오프라인 발급 경험자의 보안성에 대한 평가가 매우 높게 나타난 점을 미루어 [8]에서 기술한 연구 결과의 우수성을 확인하였다.

4.3 복수 변수를 고려한 연관 분석 결과

이 절에서는 연관 관계를 고려한 데이터 분석을 통해 앞서 서술한 분석 결과를 세밀하게 분석하고 정성 평가 항목에 대한 정량 평가 결과를 상세하게 다룬다. 그림 2에서, 직장인 응답자는 모두 발급경험이 있으며, 따라서 이 연관 관계 분석은 의미를 지니지 못한다. 직종의 경우 직장인 응답자 모두가 IT 업종 종사자이기 때문에 이 또한 분석의 의미를 지니지 못한다. 발급경험과 발급방식 간 연관 관계는 그림 6에서 보여준 발급방식에 의한 분석 결과에 포함되기 때문에 추가적인 분석 결과 기술이 필요하지 않다. 따라서 이 논문에서는 그림 2에서 정의한 연관 관계 중에서 앞서 언급한 무의미한 연관 관계들을 제외하고 유의미한 연관 관계만을 분석한다.

그림 7은 직장인과 발급방식과의 연관 관계를 분석한 결과를 보여준다. 직장인 중에서 온라인 발급 경험이 있는 응답자가 오프라인 발급 경험이 있는 응답자에 비해 사용자 편의성, 보안성 및 신뢰성 측면에서 높은 평균을 보였다. 특히 사용자 편의성, 보안성, 신뢰성에 대한 전체 평균이 4.17, 4.19, 4.07인데 반해 매우 높은 점수를 보였으며, 무엇보다 모든 부분에서 ‘매우 그렇다’에 해당하는 5.0에 가까운 평균 분포를 보였다. 이는 기술에 대한 이해도가 높은 직장인이면서 온라인 발급 경험을 지닌 응답자들이 제안 시스템을 높게 평가한 것으로 풀이된다. 직장인 중에서 오프라인 발급 경험을 지닌 응답자의 평균 또한 4.5에 가까운 분포를 보였으며, 이러한 결과를 토대로 [8]의 정성 평가 부분에서 기술한 내용이 연구자의 주관만이 아닌 객관적인 평가임을 확인할 수 있다.

Fig. 7.

Association analysis: the employed and the issuance methods

그림 8과 그림 9는 비직장인과 발급경험과의 관계 및 비직장인과 발급방식과의 연관 관계를 분석한 결과를 보여준다. 비직장인의 경우에도 모든 정성 평가 항목에 대해 발급 경험자의 평균이 대부분 높은 점수를 보였다.

Fig. 8.

Association analysis: the unemployed and the issuance experience

Fig. 9.

Association analysis: the unemployed and the issuance methods

그림 8에서 발급 경험이 있는 응답자의 사용자 편의성과 보안성에 대한 평균은 각각 4.12와 4.04를 나타냈으며 발급 경험이 없는 응답자는 각각 3.92와 4.00을 보였다. 신뢰성 정성 평가 요소의 경우 비직장인이면서 발급 경험이 없는 응답자의 평균이 발급 경험자에 비해 높게 나타났으며 경험자의 평균이 4.0에 못미치는 3.81을 보였다.

그림 9의 비직장인의 발급방식에 대한 분석 결과에서, 온라인 발급 경험이 있는 응답자의 답변이 모든 정성 평가 항목에 대해 높은 평균을 보였다.

4.4 분석 결과에 대한 종합 해석

이 논문에서는 사용자 데이터를 수집하여 통계 분석을 수행하였으며 분석 결과를 통해 가설을 검증하였다. 검증 결과에서 사용자 편의성, 보안성 그리고 진위확인의 신뢰성 측면에서 높은 결과를 나타냈다. 모든 정성 평가 요소에 대해 비직장인보다 직장인의 평가 결과가 더 높은 점수 분포를 보였으며, 특히 보안성에 대한 직장인 응답자의 평균은 4.53으로 매우 높은 점수를 보였다. 발급 경험자와 비경험자의 경우, 발급경험이 있는 응답자의 평가 결과가 높은 점수 분포를 보였다. 직장인의 점수 분포가 높은 이유로서, 발급경험과 함께 IT 기술에 대한 이해가 있는 IT 분야 종사자라는 특성이 반영된 것으로 판단된다.

직장인-발급방식과 비직장인-발급방식의 분석 결과에 대한 비교에서, 두 집단 간의 평균이 많은 차이를 보였다. 사용자 편의성, 보안성, 신뢰성 측면에서 두 집단 간 온라인 발급 경험자 간 차이는 각각 0.52, 0.83, 0.82를 보였다. 또한 직장인-발급방식과 비직장인-발급경험의 분석 결과에 대한 온라인 발급 경험자 간 비교에서도 사용자 편의성, 보안성, 신뢰성 측면에서 각각 0.55, 0.79, 0.86의 차이를 보였다. 이러한 차이점을 통해 발급 경험에 대한 동일한 경험을 지닌 경우라도 직장인이 지니는 특성이 응답 결과의 차이를 가져온 것으로 보이며, 특히 이 연구에 참여한 직장인 응답자 모두가 IT 업종에 종사하며 이러한 특징이 분석 결과에서의 차이로 나타난 것으로 판단된다.

결과적으로, 다양한 세부 분석 결과와 함께 전체 응답 값에 대한 평균이 4.14점으로서 ‘그렇다’에 해당하는 4.0을 초과하는 평균 값을 보였다. 따라서 제안 시스템의 사용자 편의성, 보안성, 신뢰성에 대한 가설을 검증하였고 [8]에서 제안한 블록체인 기반 자격증 관리 시스템에 대한 정성 평가 결과를 정량적으로 입증하였다. 기존 연구에서는 응답 시간을 제외한 사용자 편의성, 보안성, 신뢰성에 대해 정성적인 평가만을 제시하였다. 정성적 평가는 주관적일 수 있으며, 따라서 연구 결과의 객관적인 평가 측면에서 보완이 요구된다. 반면, 이 연구에서는 연구자가 아닌 사용자의 다양한 의견을 기반으로 계량화된 정량적 평가 결과를 제시하였다. 따라서 기존 연구에 비해 평가 결과에 대한 객관성을 향상시킨다.

마지막으로, 자격증, 학위 등의 위조는 사회적으로 심각한 문제를 발생시킨다. 또한 기존 연구 및 이 연구 결과에서 알 수 있듯이 보안성, 사용자 편의성 및 신뢰성 등이 강화된 시스템 개발이 필요하다. 따라서 국가 자격증, 다양한 학위 등을 통합적으로 관리하고 운영할 수 있는 시스템 개발이 요구되며, 특히 특정 기관이 아닌 국가 차원에서 시스템을 개발하고 유지할 수 있는 통합적인 관리 체계 마련이 필요하다.