Korean Institute of Information Technology

Current Issue

The Journal of Korean Institute of Information Technology - Vol. 20 , No. 11

[ Article ]
The Journal of Korean Institute of Information Technology - Vol. 20, No. 10, pp. 39-45
Abbreviation: Journal of KIIT
ISSN: 1598-8619 (Print) 2093-7571 (Online)
Print publication date 31 Oct 2022
Received 17 Oct 2022 Revised 01 Sep 2022 Accepted 04 Sep 2022
DOI: https://doi.org/10.14801/jkiit.2022.20.10.39

적대적 데이터 생성 기반 단락 재순위화 학습 프레임워크
배용진* ; 이공주**
*한국전자통신연구원 선임연구원(교신저자)
**충남대학교 전파정보통신공학과 교수

Training Framework for Passage Re-ranking based on Generating Adversarial Data
Yongjin Bae* ; Kong-Joo Lee**
Correspondence to : Yongjin Bae Language Intelligence Research Section, ETRI, Yuseong-gu, Daejeon, Republic of Korea Tel.: +82-42-860-6879, Email: yongjin@etri.re.kr

Funding Information ▼

초록

본 논문에서는 적대적 데이터 생성에 기반한 단락 재순위화 모델 학습 프레임워크를 제안한다. 질의응답 시스템 관점에서 적대적 단락은 질문과 의미상으로 유사하여 정답 단락으로 제출될 가능성이 크지만, 정답은 포함하고 있지 않아 시스템의 정확률을 하락시키는 단락을 의미한다. 학습 프레임워크에는 적대적 데이터 생성을 위한 듀얼 인코더 모델과 재순위화를 위한 크로스 인코더 모델을 포함하고 있으며, 초기 학습 후에는 기 구축된 학습데이터와 듀얼 인코더로 생성한 적대적 데이터를 기반으로 크로스 인코더 모델을 반복적으로 학습하였다. 실험 결과 위키피디아 컬렉션에서 재순위화 성능은 MRR 0.8573, MAP 0.8152로 베이스라인 대비 MRR 0.0866, MAP 0.0862가 향상되었다.

Abstract

In this paper, we proposed the training framework for passage re-ranking based on generating the adversarial data. From a QA(Question Answering) system of view, the adversarial passage is semantically similar to the question, so it is more likely to be submitted as a correct passage, but it does not contain the correct answer, which is the cause of lowering the accuracy of the QA system. The training framework includes a dual-encoder model for generating the adversarial data and a cross-encoder model for re-ranking, After the initial training, the cross-encoder model was repeatedly trained based on the training data and the adversarial data generated from the dual-encoder. As a result of the experiment, the re-ranking model achived MRR 0.8573 and MAP 0.8152 in the wikipedia collection, which improved MRR 0.0866 and MAP 0.0862 compared to the baseline.


Keywords: information retrieval, deep learning, neural retrieval, question answering system

Ⅰ. 서 론

단락 재순위화 모델을 학습하기 위해서는 질문과 정답단락 뿐 아니라 오답단락이 필요하고, 오답단락의 종류와 난이도에 따라 성능의 차이가 있기 때문에 학습데이터를 선별할 때 다음 두 가지 내용을 고려해야 한다. 첫째는 질문과의 관련성이다. 초창기 재순위화 연구[1]에서 오답단락으로 랜덤 샘플링하여 학습하였으나, 후속 연구[2]가 진행되면서 초기검색의 결과를 활용하여 질문과 관련도 있고 유사한 단어가 포함된 단락들을 사용하기 시작하였다. 둘째는 오답단락의 난이도이다. 질의응답 시스템의 관점에서 난이도는 질문과 단락이 의미상 유사하나, 정답은 포함하고 있지 않을 때 차이를 구분할 수 있는 능력을 말하며, 오답단락을 구분하기 위해 학습 진행 정도에 따라 난이도를 높여 모델[3]의 효율적인 학습이 필요하다.

본 논문에서는 학습데이터의 난이도와 대상을 학습 진행 상황에 따라 조절하여 재순위화 모델 성능을 향상시키는 학습 방법을 제안한다. 적대적 데이터 생성을 위해 듀얼 인코더를 기반으로 검색을 수행하였다. 뉴럴 검색 모델도 학습 단계에 따라 성능이 향상되는 것을 확인함으로써 적대적 학습데이터 생성에 적합한 것을 확인하였고, 생성된 오답단락 학습데이터를 재순위화 모델에 반영하였을 때 재순위화 모델 성능이 향상되는 것을 확인하였다. 실험 결과 위키피디아 컬렉션에서 재순위화 베이스라인 성능인 MRR 0.7707, MAP 0.7290과 비교했을 때 제안한 방법은 MRR 0.8573, MAP 0.8152로 향상되어 효과적인 것을 확인하였다. 추가로 재순위화 학습 프레임워크에 포함된 뉴럴 검색의 성능도 베이스라인 성능인 MRR 0.6520, MAP 0.5651에서 최종적으로 MRR 0.7123, MAP 0.6200으로 성능이 향상되어 적대적 학습데이터 생성뿐 아니라 검색 성능 개선에도 도움이 되는 것을 확인하였다.

본 논문의 구성은 다음과 같다. 2장에서는 관련 연구에 대해 간략히 설명하고, 3장에서는 본 논문에서 소개하는 적대적 데이터에 기반한 재순위화 모델 학습 프레임워크에 대해 설명한다. 4장에서는 실험환경과 성능을 비교하여 우수성을 검증하고, 5장에서는 본 논문의 결론을 내린다.


Ⅱ. 관련 연구

사전학습 모델 소개 이후 단락 재순위화와 관련하여 두 가지 접근 방법으로 연구가 진행되어왔고, 두 방법의 구조적 차이는 그림 1과 같다. 첫째는 듀얼 인코더에 기반하여 순위화하는 방법이고, 두 번째는 크로스 인코더에 기반하여 순위화하는 방법이다. 두 접근 방법 모두 기계학습으로 순위화할 때 보다 미스매칭 문제를 해결하고 성능적으로도 우수한 장점이 있으며, 각 방법의 특징은 다음과 같다.


Fig. 1. 
Comparison of dual-encoder and cross-encoder

듀얼 인코더 방법은 질문과 단락의 유사도를 계산할 때 단락을 미리 인코딩할 수 있다. 검색 과정에서 색인과 유사하며, 질문이 입력되었을 때 빠른 연산이 가능하다는 장점이 있다. DPR[4]은 대표적인 듀얼 인코더 기반의 검색 모델이며, 단순한 구조이지만 전통적인 검색 방법보다 우수하다고 설명하였다.

선행연구[5]는 DPR모델을 개량하여 듀얼 인코더를 사용하지만, 단락 인코더 결과 토큰들과 질문의 토큰들을 교차 연산하여 적은 연산으로 유사도 정확률을 높이는 효율적인 방법을 제안하였다.

선행연구[6]은 듀얼 인코더의 인코딩 이후 질문, 단락의 토큰 전체를 사용하여 유사도 계산을 하는 것 보다, 문맥적으로 일치하는 단어들만 고려하여 매칭 하는 방법을 제안하였다. 선행연구[7]은 듀얼 인코더의 효과적인 학습을 위해 오답단락의 크로스 배치학습과 오답단락의 선별 및 데이터 증강 방법을 제안하였다. 선행연구[8]은 듀얼 인코더에서 기본적으로 학습하는 질문과 정답단락, 질문과 오답단락간의 관계뿐 아니라, 정답단락과 오답단락 간의 관계를 고려하여 학습하였을 때 유사도 계산시 견고하고, 오답단락의 구분이 더 명확하다고 제안하였다.

크로스 인코더는 유사도 계산시 출력되는 인코딩 결과가 질문과 단락을 함께 고려한 결과이기 때문에 정확도가 높으나, 비교해야 할 대상이 많으면 연산량이 많아져 응답 속도가 떨어지는 단점이 있다. 사전학습 모델에 기반한 크로스 인코더 기반의 재순위화와 관련된 연구[1]는 기존의 기계학습이나 딥러닝 알고리즘을 사용하는 것보다 높은 성능을 나타내어 재순위화의 새로운 방향을 제시하였다.

선행연구[9]는 크로스 인코더 기반으로 질문과 단락을 순위화한 이후 질문과 순위가 모호한 단락 2건씩 같이 학습하여 단락의 상대적 순위 조정을 수행하였다. 선행연구[10]은 길이가 긴 문서를 단락으로 나누거나, 단락을 문장으로 구분하여 개별로 유사도를 측정하여, 결합하는 방법을 제안하였다. 선행연구[2]는 학습시 질문과 단락을 개별단락으로 셋을 만들어 학습시키는 것 보다, 질문과 관련된 여러 개의 단락을 하나의 학습 그룹으로 생성하여 배치 학습하는 것을 제안하였다. 선행연구[11]은 초기 검색 이후 2단계 랭킹 모델을 추가하여 순위화를 수행하였으며, 마지막 단계에서는 단락의 리스트를 질문과 함께 사용하여 단락 간의 관계까지 고려하여 재순위화를 수행하였다. 본 논문에서는 재순위화 모델의 성능에 영향을 미치는 양질의 적대적 데이터를 생성하여 학습하는 프레임워크를 제안한다. 프레임워크에는 뉴럴 인코더와 듀얼 인코더를 포함하여 학습 데이터를 자동으로 생성하고, 반복 학습하여 성능을 향상시켜 우수성을 증명하였다.


Ⅲ. 제안 방법
3.1 프레임워크

적대적 데이터 생성에 기반한 재순위화 학습 프레임워크는 그림 2와 같다. 학습 프레임워크에는 검색을 위한 듀얼 인코더와 재순위화를 위한 크로스인코더가 포함되어있다. 기 구축된 학습데이터를 기반으로 두 모델의 초기 학습 단계 이후 듀얼 인코더는 학습데이터의 질문으로 뉴럴 검색을 수행하게 되고, 검색된 단락 중 상위랭킹에 있는 단락에서 정답단락과 오답단락을 구분하여 크로스 인코더 모델의 학습데이터로 사용한다. 뉴럴 검색된 오답단락은 질문과 의미적으로 유사하나, 정답이 포함되어있지 않은 단락이며, 상위랭킹으로 검색되었기 때문에 적대적 단락으로 간주하였다. 본 논문에서 크로스 인코더의 학습데이터로는 기 구축된 학습데이터의 질문과 정답단락, 뉴럴 검색으로 생성된 정답단락과 적대적 오답단락을 포함한다. 이 과정을 반복적으로 수행하면서 뉴럴 검색의 성능은 향상되고, 크로스 인코더에서는 점진적으로 난이도가 높은 적대적 데이터를 학습하면서 모델의 성능이 향상된다.


Fig. 2. 
Training framework for passage re-ranking based on generating adversarial data

듀얼 인코더의 학습은 크로스 인코더와는 다르게 초기 학습데이터 구축에서 생성한 -pQ만 사용하여 학습하였고, 본 논문에서는 텀 기반의 검색으로 -pQ 100건을 구축하여 다양한 데이터로 학습이 가능하게 사용하였다. 프레임워크에 대한 설명과 그림 2를 알고리즘으로 나타내면 알고리즘1과 같다.



Algorithm 1 Re-ranking training framework
Input
   C: Collection
   T: Original traindata
   Pθ: Pre-trained language model
Output
   Tgen : Generated adversarial traindata
   DθITERATION: Dense retrieval(dual encoder)
   RθITERATION: Re-ranking(cross attention encoder)
1: Initialize the pre-trained model Pθ
2: Train the initial model Dθ1 and Rθ1 on T
3: STEP=2
4: Build ANN index on C
5: while STEP <= ITERATION do
6:   Retrieval N documents from ANN
7:   generate TGen from N
8:   Update parameters of RθSTEP on TGen and T
9:   Update parameters of DθSTEP on T
10:   Build ANN index on C
11:   STEP+=1
12: end while

프레임워크의 입력으로는 적대적 데이터와 신규 정답단락을 검색하기 위해 사용되는 컬렉션과 기 구축된 학습데이터, 사전학습 모델이 필요하다. 프레임워크의 출력은 반복 학습 횟수만큼 파라미터들이 업데이트되어 출력된 뉴럴 검색 모델과 재순위화 모델이 있다. 알고리즘의 라인 1~2는 초기모델의 학습으로 본 논문에서 성능 비교 대상이 되는 베이스라인 모델이며, 일반적으로 사전학습 모델을 기반으로 사후학습하는 방법에 해당한다. 라인 5~12는 업데이트되는 뉴럴 검색 모델을 기반으로 반복하는 학습 과정이고, ITERATION은 반복 학습 횟수이다.

본 논문에서 제안한 적대적 학습데이터 생성은 알고리즘1의 7번째 라인이며, 이 단계에서 검색된 N개의 단락에서 정답/오답단락을 선별하여 라인 8번에서 재순위화 모델 학습에 사용한다. 검색모델의 성능이 향상되면서 기 구축된 정답단락 이외의 추가 정답 단락이 포함되면, 학습데이터에 포함하여 사용하였다. 최종적으로 라인 8에서 사용되는 학습단락은 기 구축된 학습데이터의 질문과 정답단락, 라인 7에서 선별된 정답단락과 오답단락이다.

3.2 학습모델

학습 대상 모델은 듀얼 인코더에 기반한 뉴럴 검색 모델과 크로스 인코더에 기반한 재순위화 모델이다. 두 모델의 사전학습에 사용한 모델은 한국어 형태소분석 결과를 기반으로 한 KorBERT[12]이며 각 모델의 출력값 중 [CLS]토큰을 인코딩 결과 벡터로 사용하였다.

뉴럴 검색은 DPR(Dense Passage Retrieval)[4]알고리즘을 사용하였다. DPR은 듀얼 인코더를 기반으로 입력되는 질문과 단락을 사전학습된 언어모델을 기반으로 인코딩하여 두 벡터 간의 거리를 통해 유사도를 측정하는 방법이다. 유사도 계산은 식 (1)과 같으며 EQ는 질문 인코더, EP는 단락 인코더, qp는 각각 질문과 단락을 의미한다.

simq,p=EQqTEPp(1) 

재순위화 모델은 크로스 인코더를 기반으로 질문과 단락의 유사도를 측정하였고, 식 (2)와 같다.

scoreq,p=vpTclsKorBERTq,p(2) 

q, p는 질문과 단락을 의미하고, cls는 질문-단락을 인코딩한 [CLS] 토큰이다. KorBERT의 입력으로는 [CLS] 질문 [SEP] 단락 [SEP]로 구성하여 입력한다. vp는 학습 파라미터인 단일 뉴럴층이다. 재순위화 모델의 학습시 사용한 손실함수는 지역적 대비 손실[2] 방법으로 동일한 질문으로 검색된 단락 결과를 사용하여, 단락 간의 관계를 고려하였다.


Ⅳ. 평가 결과
4.1 컬렉션 및 학습/평가 데이터

실험에 사용한 컬렉션은 위키피디아 단락이다. 단락은 문서마다 소제목을 기준으로 분리하여 생성하였고, 볼륨은 519,509건의 위키 문서로부터 생성한 8,238,177건의 단락을 사용하였다. 학습데이터는 질문, 정답, 단락 쌍 86,553건을 사용하였다. 학습데이터에는 KorQuadv1.0데이터[13]의 학습/개발용 66,301건과 위키피디아 도메인을 기반으로 구축한 학습데이터 20,252건을 모두 포함하였다. 학습 프레임워크를 통해 반복 학습 과정 중에는 자동으로 학습용 오답단락 데이터가 생성되기 때문에 구축할 필요는 없지만, 초기모델의 학습과 DPR 모델 학습에 사용되는 오답단락은 미리 구축이 필요하다. 오답단락은 위키피디아 컬렉션으로부터 학습용 질문을 대상으로 BM25 랭킹모델을 사용하여 검색을 수행하고, 정답의 포함 여부로 오답단락을 구분하여, 최종적으로 질문당 오답 단락은 100건을 추가하여 학습데이터 쌍을 생성하였다. 평가에 사용한 데이터는 한국어 위키피디아를 대상으로 생성한 질문 2,000건을 평가하였고, 정답 단락은 질문당 평균 2.70개를 포함하고 있다.

4.2 실험 환경 및 평가 측정 방법

실험에 사용된 주요 파라미터는 다음과 같다. ITERATION은 7로 설정하여 실험하였으며, 초기모델 학습 횟수를 포함하고 있다. 뉴럴 검색 모델은 학습 할 때 epoch 10, 학습율 2e-5, 배치사이즈 14로 학습하였으며, 학습데이터는 질문, 정답단락, 오답단락 1:1:1 비율로 학습을 수행하였다. 재순위화 모델은 학습 시 epoch 3, 학습율 1e-5, 배치사이즈 9로 학습하였으며, 학습데이터는 질문, 정답단락, 오답단락을 1:1:9 비율로 생성하여 학습을 수행하였다. 질문에 정답단락이 2개 이상인 경우 정답 단락만 변경하고 동일한 질문과 오답단락을 사용하여 학습데이터를 추가 구축하여 학습을 수행하였다.

본 논문에서 제안한 방법을 평가하기 위해 3가지 평가 척도를 사용하였다. 질의응답 시스템에서는 정답을 포함하는 단락이 상위에 위치하는 것이 중요하기 때문에 BR(BinaryRecall)@TopN을 평가하였고, 식 (3)과 같다. 또한, 질문 당 정답 단락이 1개 이상인 환경이라 다양한 평가를 위해 MAP(Mean Average Precision), MRR(Mean Reciprocal Rank)로 성능 비교를 함께하였고, 식은 (4), (5)와 같다.

BinaryRecall@TopN  .BinaryRecall=                #of Q  including correct passage# of total Q .TopN=Ranked top N passages(3) 
MAP=1Qq=1QAvgPq(4) 
MRR=1Qi=1Q1Ranki(5) 
4.3 평가 결과

적대적 데이터에 기반한 재순화 학습 프레임워크평가 결과이다. 적대적 학습데이터를 생성하기 위해 사용된 뉴럴 검색의 성능은 그림 3과 같다. 3가지 평가 방법을 사용하였고, 반복 학습이 진행되면서 성능이 향상되는 것을 알 수 있다. ITERATION 1은 초기 학습 모델로 베이스라인 성능이고, 베이스라인 성능 대비 최대 MRR은 0.0603, MAP는 0.0549가 향상되었다. 검색 성능이 향상되는 것은, 오답 단락을 검색하더라도 질문과 의미적으로 유사하다고 가정할 수 있기 때문에 재순위화 모델을 학습할 때 적대적 오답 학습 데이터로 사용가능하다.


Fig. 3. 
Performance of neural retrieval on the number of training iteration

표 1은 뉴럴검색의 학습 단계에 따른 BR@TopN을 평가한 결과이다.

Table 1. 
BR@TopN of neural retrieval on the number of training iteration
Iteration BR@Top1 BR@Top50 BR@Top100
1 0.5350 0.9570 0.9725
2 0.5615 0.9560 0.9740
3 0.5605 0.9495 0.9730
4 0.5815 0.9515 0.9695
5 0.6090 0.9480 0.9695
6 0.5920 0.9555 0.9680
7 0.6140 0.9560 0.9700

학습 단계 중 베이스라인 모델의 성능과 ITERATION이 종료된 모델을 성능을 비교해보면 BR@Top1의 성능은 계속 향상되나, BR@Top50, BR@Top100의 성능은 미세하게 낮아졌다. 계속해서 학습이 진행되면서 검색의 정확률이 향상되어 정답단락과 오답단락이지만 질문과 문맥상 유사한 단락이 상위에 검색되고 있음을 알 수 있다.

다음은 뉴럴 검색에서 생성한 데이터를 기반으로 재순위화 모델을 학습하였을 때 성능을 평가한다. 재순위화 모델에 사용되는 단락들은 표 1에서 베이스라인 모델에서 검색된 Top100개의 단락을 대상으로 수행하였다. 반복되는 학습 단계에 따른 성능 평가 결과는 그림 4와 같고, ITERATION 1은 초기 학습모델의 성능이다.


Fig. 4. 
Performance of re-ranking on the number of training iteration

학습 과정에 따른 성능을 비교했을 때 초기모델의 성능 대비 최종 모델의 성능은 MRR은 0.0866, MAP는 0.0862가 향상되었다. 성능 향상은 적대적 학습이 시작되는 ITERATION 2일 때 가장 큰 폭으로 성능이 향상되었으며, 그 이후로는 상대적으로 소폭으로 향상되었다. ITERATION 2~7에서 MRR은 0.0125, MAP는 0.0125향상 되어 반복 학습에 따라 3가지 평가 척도에서 성능이 모두 향상되는 것을 확인하였다.

추가적으로 표 2는 알고리즘1의 8라인에서 적대적 데이터 구축과 관련한 추가 실험 결과이다. 적대적 데이터 구축시 오답단락만 포함하는 경우가 일반적이나, 본 논문에서는 검색 성능 향상에 따라 추가되는 정답단락을 기 구축된 정답단락에 추가하여 학습하였다. 실험에 사용한 평가 데이터에도 정답단락이 평균 2개 이상인 점과 위키피디아 도메인 특성상 사람이 찾지 못한 다양한 곳에서 정답단락이 있다는 것을 고려하여 실험을 수행하였다.

Table 2. 
Comparison of re-ranking model performance according to whether or not correct passage are added
BR@Top1 MRR MAP
Only adversarial psg. 0.7830 0.8503 0.8110
Adversarial psg. + correct psg. 0.7945 0.8573 0.8152

표 2는 적대적 오답단락만 추가하였을 때와 새로 발견된 정답단락을 추가하였을 때 상황을 구분하여 실험하였다. 실험 결과 정답단락을 추가하는 것이 그렇지 않은 경우 보다, BR@Top1, MRR, MAP에서 각각 0.0115, 0.0070, 0.0042 향상되어 효과적인 것을 확인하였다.


Ⅴ. 결론 및 향후 과제

본 논문에서는 적대적 학습데이터 생성에 기반한 재순위화 학습 프레임워크를 제안하였다. 학습 프레임워크는 적대적 데이터 생성을 위한 듀얼 인코더 기반 뉴럴 검색모델과 재순위화를 위한 크로스 인코더 모델을 사용하였다. 제안한 방법은 매번 학습할 때마다 향상된 뉴럴 검색에 기반하여 새로운 적대적 데이터와 신규로 추가된 정답단락을 사용하여 학습을 수행하였다. 뉴럴 검색모델은 초기 베이스라인 모델 대비 MRR 0.0603, MAP 0.0549가 향상되어, 적대적 데이터 생성과 난이도가 고려된 학습데이터 생성이 가능하다는 것을 확인하였다. 신규로 추가되는 정답단락도 오답단락만 사용하는 것 보다 MRR 0,0070 MAP 0.0042가 향상되어 재순위화 모델의 성능 향상에 도움이 되는 것을 확인하였다. 실험 결과 재순위화 모델은 MRR 0.8573, MAP 0.8152를 획득하여 베이스라인 성능 대비 MRR 0.0866, MAP 0.0862가 향상되는 것을 확인할 수 있었다. 후속 연구로 소규모 학습데이터로 재순위화 모델을 학습하는 방법을 연구할 계획이다.


Acknowledgments

이 논문은 2022년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구임 (No. 2022-0-00369, (4세부) 전문지식 대상 판단결과의 이유/근거를 설명가능한 전문가 의사결정 지원 인공지능 기술개발)


References
1. R. Nogueira and K. Cho, "PASSAGE RE-RANKING WITH BERT", https://arxiv.org/pdf/1901.04085, Apr. 2020.
2. L. Gao, Z. Dai, and J. Callan, "Rethink Training of BERT Rerankers inMulti-Stage Retrieval Pipeline", Proc. of the ECIR 2021, LUCCA, Italia, pp. 280-286, Mar. 2021.
3. H. Zeng, H. Zamani, and V. Vinay, "Curriculum Learning for Dense Retrieval Distillation", Proc. of the SIGIR 2022, Madrid, Spain, pp. 1979-1983, Jul. 2022.
4. V. Karpukhin, B. Oguz, S. Min, L. Wu, S. Edunov, D. Chen, and W. Yih, "Dense Passage Retrieval for Open-Domain Question Answering", Proc. of the EMNLP 2020, pp. 6769-6781. Nov. 2020.
5. O. Khattab and M. Zaharia, "ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT", Proc. of the SIGIR 2020, Xi'an, China, pp. 39-48, Jul. 2020.
6. L. Gao, Z. Dai, and J. Callan, "COIL: Revisit Exact Lexical Match in Information Retrieval with Contextualized Inverted List", Proc. of the NAACL 2021, Online, pp. 3030-3042, Jun. 2021.
7. Y. Qu, Y, Ding, J. Liu, K. Liu, R. Ren, W. Zhao, D. Dong, H. Wu, and H. Wang, "RocketQA: An Optimized Training Approach to Dense Passage Retrieval for Open-Domain Question Answering", Proc. of the NAACL 2021, Online, pp. 5835–5847. Jun. 2021.
8. R. Ren, S. Lv, Y. Qu, J. Liu, W. Zhao, Q. She, H. Wu, H. Wang, and J. Wen, "PAIR: Leveraging Passage-Centric Similarity Relation for Improving Dense Passage Retrieval", Proc. of the ACL-IJCNLP 2021, Bangkok, Thailand, pp. 2173–2183, Jan. 2021.
9. R. Nogueira, W. Yang, K. Cho, and J. Lin, "Multi-Stage Document Ranking with BERT", https://arxiv.org/pdf/1901.04085. Oct. 2019.
10. L. Canjia, Y. Andrew, M. Sean, H. Ben, and S. Yingfei, "PARADE: Passage Representation Aggregation for Document Reranking", https://arxiv.org/abs/2008.09093, Jun. 2021.
11. Y. Zhang, D. Long, G. Xu, and P. Xie, "HLATR: Enhance Multi-stage Text Retrieval with Hybrid List Aware Transformer Reranking", https://arxiv.org/abs/2205.10569, May 2022.
12. ETRI AIOpen, http://aiopen.etri.re.kr/service_dataset.php. [accessed: Aug. 8, 2022]
13. KorQuad1.0, https://korquad.github.io/KorQuad%201.0. [accessed: Aug. 8, 2022]

저자소개
배 용 진 (Yongjin Bae)

2012년 : 목원대학교 컴퓨터교육과(학사)

2014년 : 과학기술연합대학원(UST) 컴퓨터소프트웨어 및 공학(석사)

2014년 ~ 현재 : 한국전자통신연구원 선임연구원

관심분야 : 정보검색, 질의응답, 딥러닝

이 공 주 (Kong-Joo Lee)

1992년 : 서강대학교 전자계산학과(학사)

1994년 : 한국과학기술원 전산학과(공학석사)

1998년 : 한국과학기술원 전산학과(공학박사)

1998년 ~ 2003년 : 한국마이크로소프트(유) 연구원

2003년 : 이화여자대학교 컴퓨터학과 대우전임강사

2004년 : 경인여자대학 전산정보과 전임강사

2005년 ~ 현재 : 충남대학교 전파정보통신공학과 교수

관심분야 : 자연어처리, 기계번역, 정보검색, 정보추출