Home

공개 데이터셋 제공 사이트가 증가하면서 데이터셋 검색 지원을 위한 메타데이터 분석 연구도 활발해지고 있다. W. Y. Choi 연구[6]에서는 데이터셋 항목의 특성을 고려하여 차별화된 가중치를 부여하는 방식의 데이터셋 검색 연구를 수행하였다. J. J. Jung[7]은 데이터셋 검색을 위해 텍스트, 이미지, 비디오 형태 별로 데이터들의 주요 특징들을 추출하고 군집화하여 메타데이터를 자동 추출하는 시스템을 제안하였다. H. L. Kim의 연구[8]에서는 메타데이터 분석을 통해 데이터 목록의 특성을 파악하고 서로 다른 데이터 사이의 연결 가능성을 판별하여 데이터의 품질을 개선하였으며, R. Miller[9]는 유사도 측정 방식을 활용하여 대용량 데이터 저장소에서 높은 정확도를 제공하는 데이터셋 검색 기법을 제안하였다. 기존 연구는 공통적으로 개별 사이트에서 초점을 맞추고 있으며 다중 사이트에서의 데이터셋 통합 검색에 대한 연구는 미흡한 실정이다.

표 1은 기존 연구와 제안 연구의 특징을 비교한 것이다. 기존 연구는 단일 데이터셋 포털을 대상으로 분석하였으나, 본 연구에서는 국내·외 다수의 데이터 포털에서 수집한 데이터셋을 대상으로 진행하였다. 또한 개별 카테고리를 사용하는 기존 연구와 달리, 제안 연구는 딥러닝 모델을 사용하여 데이터셋을 통합 카테고리로 자동 분류하였으며, 데이터셋 통합 검색을 위해 다중 언어 검색을 지원한다.

그림 1은 본 연구에서 제안하는 메타 데이터셋 검색 시스템의 전체 구조 및 처리 과정이다.

Fig. 1. 
Architecture of metadata search systems

1) 오픈 데이터셋 사이트에서 웹크롤링을 통해 데이터셋과 메타 정보를 수집한다.

2) 수집한 메타 데이터를 바탕으로 LSTM을 사용하여 통합 카테고리로 자동 분류를 진행한다.

3) 분류한 데이터셋을 MongoDB에 저장한다.

4) Papago API를 사용한 검색어 번역을 통해 한영 변환 검색 기능을 제공한다.

5) Streamlit으로 사용자 인터페이스를 구현하여 데이터셋 검색과 데이터셋 시각화 분석 기능을 제공한다.

데이터셋 수집을 위해 대표적인 오픈 데이터셋 사이트 중 국내(공공데이터포털, 서울열린데이터광장, AI-Hub) 3곳과 국외(Kaggle, Data.gov) 2곳을 선정하여 크롤링을 진행하였다. 이들 사이트는 데이터셋 다운로드가 가능하고 메타 데이터 정보가 공개되어 메타 데이터셋 구축에 적합하다. 웹크롤링은 웹 애플리케이션 자동화 테스트 프레임워크인 셀레니움(Selenium)을 활용하였다. 표 2는 각 사이트별로 크롤링한 최근 3년간 데이터셋 수치 자료이다(2023년 11월 기준).

크롤링한 총 데이터셋의 수는 5,835개로, 메타 데이터로 데이터셋 제목, url, 생성날짜, 수정날짜, 태그, 제공자, 조회수, 다운로드수, 포맷, 카테고리를 수집하였다.

카테고리 분류를 위해 크롤링한 메타데이터를 이용하여 전처리를 진행하였다. 국내 사이트, 국외 사이트로 분리하여 형태소를 분석하였고, 국내 사이트인 공공데이터포털, 서울열린데이터광장, AI-Hub은 KoNLPy 패키지를 사용하였다.

형태소 분석기의 성능 비교 연구의 결과[7]에 따라 공백 삽입 기능과, 신조어 처리가 가능한 Okt를 분석에 사용하였다. 국외 사이트인 Kaggle와 Data.gov는 NLTK를 사용하여 단어를 토큰화하고 불용어를 제거하였다. NLTK는 다양한 클래스와 함수를 응용하여 언어의 분류, 토큰화 등이 가능한 라이브러리로 영문 형태소 분석에 광범위하게 사용된다.

본 연구에서는 데이터셋 카테고리 자동 분류 모델로 LSTM을 채택하였다. LSTM은 RNN 모델의 그래디언트 소실문제(Gradient Vanishing Problem)를 개선하기 위해 Hochreiter와 Schmidhuber가 제안한 머신러닝 모델이며, RNN 모델보다 형태소 기반 텍스트 데이터에서 높은 성능을 보인다[12]. 셀 값의 유지 기간을 결정하는 게이트를 통해 입력 길이에 상관없이 필요한 정보만 가질 수 있다는 장점이 있으며, 분류 및 예측 문제에 뛰어난 정확도를 제공한다[8].

모델 적용을 위해 형태소 분석과 원핫인코딩을 이용하여 입력 값에 대한 전처리를 진행하였다. 이후 각 포털별로 구축한 데이터를 8:2의 비율로 나누어 훈련, 검증 데이터셋으로 사용하였다. 이진 분류를 위한 출력층이 시그모이드 함수일 때 성능이 가장 높은 것을 고려하여 활성화 함수로 선택하였다. 모델을 최적화하기 위해 GridSearchCV를 이용하여 하이퍼 파라미터 튜닝을 진행하였다. 에포크는 50으로, 임베딩층은 256개로, 은닉층은 64개로 설정하였을 때 시험 데이터셋의 성능이 제일 높아 해당 파라미터를 최적으로 설정하였다.

대상 데이터셋 사이트에 따라 데이터를 분류하는 카테고리명에 차이가 존재하였다. 각 포털 별로 Public Data Portal(PDP)는 17개, Seould Open Data Square(SDS)는 10개, AI-hub(AIH)는 14개의 고유 카테고리를 사용하고 있으며, Kaggle(KAG)과 Data.gov(DAG)는 별도의 카테고리가 사용하지 않는다. 데이터셋 분류를 위하여 기존 카테고리를 분석하여 12개의 통합된 표준 카테고리를 선정하여, LSTM으로 데이터셋을 자동 분류하였다. 표 4는 각 사이트별로 12개의 표준 카테고리에 매핑된 결과를 나타낸 것이다.

표 4는 LSTM을 사용하여 데이터셋을 표준 카테고리로 분류한 정확도를 측정한 결과이다. PDP의 경우 82%로 가장 높은 정확도를 보여준다.

데이터셋 통합 검색 시스템 구현을 위해 MongoDB에 카테고리 분류 결과를 메타 데이터셋으로 저장하였다. MongoDB는 NoSQL(Not Only SQL) 데이터베이스로 테이블 대신 도큐먼트를 사용하여 유연한 확장이 가능하다는 장점이 있다. 사용자 인터페이스는 데이터 분석에서 시각화를 간편하게 출력할 수 있는 Streamlit을 통해 구현하였다. 데이터셋 검색 기능은 기간별 검색, 조회순, 다운로드순, 최신순 검색, 오픈 데이터셋 사이트별 검색, 제목 키워드 검색, 카테고리 검색을 제공한다(그림 2). 국내 및 국외 사이트 통합 검색을 위해 Papago API를 사용하여 한국어, 영어 데이터셋이 모두 결과로 출력된다. 또한 Kaggle 사이트에서는 데이터셋 처리 알고리즘 기반 검색이 지원되며, 표준 카테고리 기반 검색이 제공된다. 또한 검색 기준을 설정하여 조회순, 최신순, 다운로드순으로 검색할 수 있다.

Fig. 2. 
Search sidebar

그림 3은 최근 6개월간의 데이터셋 중 교육, 환경, 과학기술 카테고리를 가진 캐글, 공공데이터포털 데이터셋을 다운로드순을 기준으로 검색한 결과 화면이다. 사용자는 출력된 테이블에서 데이터셋의 메타데이터 정보를 확인할 수 있다.

Fig. 3. 
Screen of dataset search results

사용자는 메타데이터를 분석하여 시각화한 그래프를 생성할 수 있다. 그림 4는 전체 사이트에서 카테고리 상위 3개의 월별 데이터셋 개수를 그래프로 나타낸 것이다. ‘보건의료’ 분류는 증가하다가 최근 급격히 감소하는 경향을 보이며, ‘사회복지’, ‘교통물류’는 꾸준히 증가하는 패턴을 확인할 수 있다.

Fig. 4. 
Number of datasets for top categories per month