Home

웹 스크래핑(Web scraping)이란 웹페이지에서 필요한 데이터만을 추출하여 활용 가능한 데이터셋 형태로 생성하는 작업을 의미한다. 대표적인 웹 스크래핑 프레임워크인 Selenium은 웹드라이버를 통해 특정 웹페이지에서 검색 키워드를 입력하거나 특정 버튼 클릭 행위를 자동화하여 원하는 데이터가 포함된 웹페이지를 생성한다. 그 다음, 생성된 페이지의 HTML 소스를 추출하는 동적 웹 스크래핑 작업을 수행한다. Beautiful Soup은 HTML과 XML 문서들의 구문을 분석하고 필요한 데이터를 추출하는 Python 패키지이다[2]. 제안 시스템에서는 사용자의 직접적인 조작 없이 동적 웹페이지의 데이터를 추출하고, 효율적인 파싱을 위해 Selenium과 Beautiful Soup을 함께 사용한다[6].

장동훈의 연구(DH)[7]에서는 사용자 정의에 따라 동작하는 Selenium 기반 웹 크롤링 시스템을 제시하였다. 이는 사용자가 입력한 키워드를 기준으로 동작하기 때문에 제안 시스템보다 사용자 요구사항의 처리 범위가 제한적이다. 장종욱의 연구(JW)[8]에서는 Selenium을 통해 신문 기사를 웹 스크래핑하고 시각화하였다.

ScrapeStorm(SS)[3]은 GUI에서 입력된 URL에 대해 인공지능 알고리즘을 기반으로 웹페이지 구조를 자동 인식하여 데이터를 추출하고 CSV, HTML 등 다양한 형태로 웹 스크래핑 결과를 제공한다. Listly(LT)[4]는 웹 브라우저 플러그인 방식의 프로그램으로, 사용자가 선택한 웹페이지 영역의 데이터를 추출한다.

표 1은 기존 웹스크래핑 서비스 및 선행 연구와 제안 시스템을 비교한 결과이다. 비교 항목은 인터페이스 방식, 데이터셋 생성, 편집, 시각화 기능, 결측치(Null value) 여부와 지원 사이트 범위이다.

김나영의 연구[9]와 박예나의 연구[10]에서는 자연어 질의를 기반으로 데이터 분석 시스템을 구현하였지만, 이는 각각 주식과 부동산이라는 특정 도메인에 한정되어 있다. 반면, 제안 시스템은 자연어 프롬프트를 분석하여 도메인을 결정하므로 다양한 도메인으로 확장이 용이한 장점이 있다.

그림 1은 본 시스템에서 자연어 프롬프트를 이용하여 데이터셋을 생성, 편집하고 시각화하는데 필요한 처리 모듈과 데이터의 흐름을 나타낸 그림이다.

Fig. 1. 
Dataset creation system based on NL prompt

1) 데이터 시각화 및 사용자와의 상호작용을 지원하는 Streamlit 파이썬 라이브러리를 통해 개발한 사용자 인터페이스로 자연어 프롬프트(NL Prompt)를 입력받는다.

2) 입력받은 자연어 문장을 전처리하고 필요한 키워드를 추출한다.

3) 프롬프트 유형 분석기(Prompt type analyzer)를 활용하여 입력 문장을 분류하여 데이터셋 생성, 편집, 시각화 중 적합한 모듈에 전달한다.

4) 각 모듈별로 처리한 결과를 화면에 출력한다.

자연어 프롬프트를 전처리하기 위해 한국어 모호성 처리 성능이 좋은 바른(Bareun) 형태소 분석기 엔진[11]을 사용하여 문장을 토큰화하고 불용어 토큰을 제거한다. 다음으로 구글의 BERT 모델에 기반한 양방향 문장 학습으로 문맥을 파악하는 KeyBERT[12] 모델을 활용하여 키워드를 추출한다. 사전을 정의하여 추출된 키워드와 도메인, 장르, Pandas 메서드 이름과 같은 특징(Feature)을 매핑한다. 프롬프트 유형 분류기를 구현하기 위해 이미지 분류와 텍스트의 지역적인 특징 학습에 효과적인 심층 신경망 CNN 모델[13]과 문장을 벡터로 표현하여 유사성을 측정하는 코사인 유사도를 활용하였다. 프롬프트 유형 분류를 위하여, AI Hub 사이트[14]에서 자연어 기반 질의(NL2SQL) 검색 생성 데이터를 활용하여 78,244개의 한국어 질의문을 생성/편집/시각화 유형으로 라벨링한 데이터셋을 구축한 후 CNN 모델로 학습하였다. 표 2는 라벨링한 데이터셋의 예시이고, 표 3은 분류된 프롬프트 유형의 예시이다.

(1) 데이터셋 생성 : 프롬프트에서 추출된 도메인이 ‘도서’일 경우, 키워드 리스트에서 장르, 기간, 데이터 수 키워드를 웹 스크래핑 코드의 파라미터로 전달한다. 이때, 존재하지 않는 키워드는 기본값으로 대체되며, 이 정보를 포함한 동적 URL을 생성한다. 그 다음, Selenium을 통해 해당 URL에 접근하여 HTML 소스를 추출하고, Beautiful Soup으로 파싱하여 도서 데이터셋을 생성한다.

(2) 데이터셋 편집 : 과정 (1)에서 생성된 데이터셋의 칼럼 이름에 해당하는 키워드와 하위 프롬프트 유형에 적합한 Pandas 라이브러리를 결정하여 정렬, 필터링과 같은 데이터셋 편집 작업을 수행하고 그 결과를 출력한다.

(3) 데이터셋 시각화 : 데이터셋 시각화는 편집과정과 유사한 방식으로, 선택된 칼럼을 하위 프롬프트 유형에 적합한 차트로 시각화하여 제공함으로써 데이터의 분석 결과를 직관적으로 파악할 수 있다.

ScrapeStorm(SS), Listly(LT), 제안 시스템(NTD)을 각각 사용하여 각 도메인별로 사용자 수가 많고 최신 데이터 수집이 용이한 교보문고 베스트셀러, 네이버 뉴스, 유튜브 ‘AI’ 검색 웹페이지를 스크래핑하였다. 표 4는 생성된 데이터셋의 크기(행x열)와 결측치(Null value)를 중심으로 정량적 비교한 결과이다. SS는 유튜브에서 257개, LT는 네이버 뉴스를 제외한 모든 경우에 결측치가 발생한 반면, NTD는 모든 사이트에서 결측치가 발생하지 않았다.

다음은 제안 시스템의 정성적 성능 분석 결과이다.

(1) 데이터 유용성 : SS는 웹 스크래핑을 할 때 웹사이트 구조에 따라 파싱이 불가능하여 결측치가 발생하는 경우가 있으며, 생성되는 데이터셋 크기를 지정할 수 없다. 반면, 제안 시스템은 원하는 크기의 데이터셋을 결측치 없이 생성할 수 있다. LT를 사용한 스크래핑의 경우, 교보문고 웹페이지에 로드된 모든 데이터를 추출하여 최대 32개 칼럼의 데이터셋를 생성하게 된다. 이는 제안 시스템과 달리 불필요한 데이터를 포함한 것으로 별도의 정제 과정이 필요하다.

(2) 사용 편의성 : SS와 LT를 활용하기 위해서는 먼저 웹페이지 구조를 이해하고 프로그램의 컴포넌트를 조작해 직접 웹 스크래핑 시나리오를 구성해야 하므로 사용 방법이 복잡하다고 할 수 있다. 반면 제안 시스템은 필요한 정보를 자연어 프롬프트 형식으로 입력하기 때문에 사용 편의성이 우수하다고 할 수 있다.

(3) 시스템 확장성 : 제안 시스템은 데이터 분석을 위해 평균, 정렬과 같은 편집 기능과 시각화 기능을 제공하고 있다. 반면, SS와 LT는 추출할 칼럼 선택 기능 외에 추가 기능을 제공하지 않는다.

그림 2, 그림 3, 그림 4는 본 시스템의 수행 결과이다.

(1) 데이터셋 생성 : 프롬프트를 통하여 교보문고 IT 도서 웹페이지를 스크래핑하여 데이터셋을 생성한 결과이다(그림 2).

Fig. 2. 
Creation of an IT book dataset

(2) 데이터셋 편집 : IT 도서 데이터셋에서 ‘선호도’ 칼럼을 기준으로 내림차순 정렬 결과이다(그림 3).

Fig. 3. 
Sorting result of dataset

(3) 데이터셋 시각화 : 종합 카테고리 도서 데이터셋의 장르별 비율을 파이 차트로 시각화한 결과이다(그림 4).

Fig. 4. 
Visualization result of dataset