Home

온톨로지는 지식(정보)의 개념, 지식과 지식의 관계, 속성 등을 컴퓨터가 이해하고 처리할 수 있도록 표현하는 모델을 말한다[11]. 온톨로지는 의료, 기계, 금융 등 다양한 분야에서 응용이 가능하도록 정보들을 개념과 개념의 관계를 정의하고 구조화시킴으로써 컴퓨터와 사람이 지식의 공유가 가능하도록 도움을 주는 역할을 한다. 그러나 다른 사람이나 조직 또는 다른 데이터 셋이나 언어에서 일반적으로 다른 개념화를 요구하기 때문에 단일 온톨로지를 사용하는 것이 항상 가능한 것이 아니다. 따라서 다른 온톨로지를 사용할 경우, 서로 다른 온톨로지 간 엔티티가 중복되거나 엔티티 불일치가 포함될 수 있다.

그림 1은 간단한 자동차 관련 온톨로지 예를 통해 온톨로지의 이질성 문제를 보여준다. 여기서 온톨로지 매칭 분석 결과 다음과 같이 두 쌍의 매칭된 결과를 추출할 수 있다.

O1.Vehicle ↔ O2.Means of TransportationO1.Car ↔ O2.Automobile

Fig. 1. 
Example of ontology heterogeneity problem

기존의 신경망을 활용한 온톨로지 매칭 기법을 이용하여 매칭을 수행한 결과 온톨로지 O1의 Vehicle과 O2의 Means of Transportation 개념이 매칭되었고, O1의 Car와 O2의 Automobile 개념이 매칭되었다. 하지만 그림에서 O1의 ‘Benz E 250’과 O2의 ‘Mercedes Benz E class 250’은 매칭이 되지 않았다. 이는 기존의 온톨로지 매칭 기법들이 동의어 집합을 사용하여 매칭을 수행하는데, ‘Benz E 250’과 ‘Mercedes Benz E class 250’은 같은 동의어 집합에 속하게 하지 않았기 때문에 매칭이 되지 않은 것이다.

온톨로지 이질성 문제를 해결하기 위해서 온톨로지 매칭(정렬)을 해야 한다. 온톨로지 매칭 분야는 지난 수년간 광범위하게 연구가 되어 왔으며 온톨로지의 스키마를 매칭시키는 온톨로지 매칭 시스템과 인공지능을 활용하여 지식 그래프의 엔티티를 매칭시키는 두 방향으로 크게 나뉘었다. 온톨로지 스키마를 매칭시키는 대표적인 모델들로는 LogMap[12], AML[13], ALIN[14] 등이 있다.

이 기법들은 데이터의 유형과 값, 그리고 관련 엔티티와 같은 속성 및 정의를 비교하는데, 여기에 관계 구조를 활용하여 매칭을 한다. 대부분의 방법들은 데이터 셋의 그래프 구조를 통해 유사한 하위 그래프 또는 상위 그래프를 찾는다. 하지만 구조 기반의 매칭 방법은 단독으로는 적용이 쉽지 않고 정확도가 낮기 때문에 대부분 문자열 유사성 측정 방법들과 함께 사용한다.

머신러닝 분야의 발전에 따라 신경망을 활용하여 그래프 구조를 학습시켜 두 지식 그래프의 대응 관계를 발견하는 것과 같은 작업이 성공적으로 이루어졌다. 또한 기술의 발전으로 인해 방대한 양의 데이터를 학습시키는 것이 가능해져 큰 데이터 셋에서 더 복잡한 모델을 훈련시키는 것이 가능해졌다. MtransE[15] 모델과 IPTransE[16] 모델은 지식 그래프의 엔티티 매칭을 위한 좋은 방법임을 보였다. 그 중에서도 GCN을 활용한 지식 그래프 엔티티 매칭이 최근 활발히 연구되고 있다.

GCN은 그래프의 노드와 노드 사이의 상관관계를 모델링하는 GNN(Graph Neural Networks)[17]의 convolutional 연산을 사용하는 기법으로 새로운 방향을 제시하였다. 하지만 이 접근 방법은 관계 정보를 적절히 모델링 하는데 한계점이 존재하는데, 일반적인 GCN은 방향성이 존재하지 않으며, 레이블이 지정되지 않은 그래프에서 작동되기 때문에 지식 그래프의 유용한 관계 정보가 적절하게 활용하지 못하고 누락되는 경우가 존재한다. R-GCN(Relational GCN)[18]을 사용하여 다중 관계 그래프를 모델링할 수 있지만, 이는 단순히 각 관계에 대해 각각의 가중치 행렬을 사용하여 너무 과도한 매개변수 세트가 필요하다. DPGCNN(Dual-Primal Graph CNN)[19]은 정점(Vertex) 중심의 원본 그래프와 엣지(Edge)에 해당하는 이중 그래프에서 컨볼루션 연산을 교대로 수행하여 정점과 엣지 특징(Feature)을 모두 학습하고, 그래프 주의(Attention) 메커니즘을 반복적으로 적용하여 엣지 표현을 향상시켰다.

한편, DPGCNN의 영감을 받아 관계를 더 잘 표현하고 다른 지식 그래프 간의 관계를 특징화할 수 있는 RDGCN(Relation-aware Dual-Graph Convolutional Network)[20]이 제안되었다. 하지만 DPGCNN과 RDGCN은 좋은 출발점 역할은 할 수 있지만 딥러닝 기능만 활용할 경우 매칭 정확도는 아직 떨어지기 때문에 단어 및 의미론적 유사성을 함께 고려하여 정확도를 보다 더 높일 필요가 있다.

본 논문에서는 기존의 딥러닝 방법을 통한 지식 그래프 엔티티 매칭의 단점을 보완하여 의미론적 유사성을 함께 고려하는 확장된 GCN 모델 기법을 제안한다. 이는 방향성을 가지고 있지 않는 일반적인 GCN 모델보다 복잡한 엣지 구조와 관계를 더욱 더 잘 표현하게 하는 이중 그래프 컨볼루션 네트워크를 사용한다. 여기서 이중 그래프란 이중 관계 그래프를 의미하는데 대부분의 지식 그래프의 임베딩은 기본 구조로 head + relation = tail의 Trans 시리즈를 사용하게 된다. 하지만 이 구조는 복잡한 다중 관계형 그래프에서는 비효율적이다.

그림 2는 삼각형 데이터 구조의 한 예를 보여준다. V는 Vertex로 정점을 의미하고 R은 Relation 으로 정점과 정점 사이의 관계를 의미한다. 이와 같은 데이터는 v1+ra=v2, v2+ra=v3, v1+ra=v3를 만족해야 한다. 하지만 v1+2ra=v3, v1+ra=v3가 모순이 되기 때문에 예시와 같은 복잡한 구조가 많으면 많을수록 딥러닝 모델의 정확성은 떨어지게 된다.

Fig. 2. 
Example of triangular data structure

이러한 문제를 해결하기 위해 본래의 그래프로부터 이중 관계에 있는 데이터의 그래프를 구성한 다음, 이들 그래프를 함께 처리하는 이중 그래프 처리를 활용하여 기존의 본래 그래프와 함께 상호 작용을 통한 메커니즘으로 학습을 한다.

이중 관계 그래프의 역할은 기존 그래프의 표현에 더 잘 통합이 되도록 도움을 준다. 그림 3은 이중 관계 그래프의 학습 모델의 개요를 보여준다. Dual Awareness Layer는 Primal Layer에서 그래프의 표현에 더욱 정확한 관계 통합을 위한 상호 작용을 통해 영향을 준다.

Fig. 3. 
Learning model of relation-aware dual graph

식 (1)의 Dir~는 이중 정점 vir에서 d차원의 출력 표현을 나타내고 Nir은 이웃하는 인덱스의 집합을 나타낸다. αijr는 이중 집중 점수이며, α_r는 2d^' 차원의 입력을 스칼라로 매핑하는 완전 연결 계층이다. λ^r는 활성화 함수 ReLU를 나타내며, c_i는 이전의 Primal Layer로부터 생성된 r_i의 관계 표현을 나타낸다.

Primal Layer에서는 Dual Layer에서 생성되는 관계 표현을 사용하여 정점 임베딩에 영향을 준다. 식 (4)와 식 (5)는 Primal Layer에서의 Primal 주의 점수를 나타낸다. 여기에서 xqtr~는 관계 그래프로부터 얻은 이중 표현을 나타내며, σ^e는 Primal Layer의 활성화 함수이다.

이중 관계 그래프와 Primal 그래프 사이의 여러 라운의 상호 작용 후 관계 인식 엔티티 표현을 얻을 수 있다. 마지막으로 인접 구조 정보 통합을 위해 highway gate가 존재하는 GCN을 적용한다. 최종적으로 GCN 계층 l에서 생성하는 출력 표현 R^(l)은 다음과 같다.

여기서 A~=A+I는 본래의 그래프 G의 인접 행렬이며 I는 단위행렬이고 ξ는 활성화 함수 ReLU이다.

식 (8)은 계층별 학습이 가능한 가중치의 행렬이다. 그리고 마지막으로 GCN 계층의 출력에서 생성되는 최종 엔티티 표현을 두 개체 간의 거리를 통해 정렬을 진행한다.

딥러닝의 방법으로 지식 그래프 엔티티 매칭을 할 경우, 그래프 구조를 기반으로 매칭을 하기 때문에 세밀하고 정확한 끝 노드에 대한 매칭에서 정확성이 떨어진다. 매칭의 정확도를 높이기 위해 단어의 유사도 점수를 함께 측정하여 정확도를 높인다. 지식 그래프 엔티티를 구성하는 URI(Uniform Resource Identification)는 어휘적인 정보를 담고 있는 경우가 대다수이기 때문에 유용하게 사용할 수 있다. 또한, 단순히 레이블만 비교하는 것은 예외와 오류가 발생할 수 있기 때문에 본 논문에서는 단어유사도 점수와 WordNet 유사도 점수를 함께 고려하여 비교한다.

우선, 단어 유사도 점수는 가장 보편적으로 사용되면서 높은 정확도를 보이는 코사인 거리(Cosine similarity)(즉, 식 (9))를 사용한다. 코사인 유사도는 기존의 유클리드 거리 계산 방식의 단점을 보완한다. 코사인 유사도는 벡터의 크기가 아닌 벡터의 방향에 중점을 두기 때문에 정확한 매칭이 가능하다.

이에 더해 단어의 유사성과 함께 의미의 유사성으로 더욱 정확한 매칭을 위해 WordNet 유사도 기법을 활용한다. WordNet은 영어의 대규모 어휘 데이터베이스로서 명사, 동사, 형용사 및 부사의 각각 별개의 개념을 표현하는 동의어(Synsets)들의 집합으로 이루어져 있다. 동의어는 개념의 의미와 어휘들의 관계를 통해 서로 연결이 되어 있으며 의미 있는 관련된 단어와 개념들을 네트워크를 통해 탐색할 수 있다. 또한 단어와 단어들의 관계를 상/하 위계 구조로 구성한다. 이 구조를 활용하여 단어와 단어 간의 의미 유사도를 측정할 수 있다. 측정 방법에는 여러 가지가 존재하지만 여러 실험 끝에 가장 성능이 좋다고 판단되는 Wu-Palmer 유사도(즉, 식 (10))를 사용한다.

여기서 depth는 단어의 위계 구조에서 단어의 깊이를 나타낸다. LCS는 Least Common Subsumer로서 단어 간의 최소 공통 포함 수를 의미한다. Wu-Palmer 유사도를 활용하여 두 엔티티 사이의 의미적 유사도를 최종적으로 나타낼 수 있도록 프로그래밍한다. WordNet 의미 유사도를 구하는 과정은 다음과 같다. 먼저 토큰화를 통해 문장을 단어들로 나눈 뒤 품사에 따라 분류를 한다. 그리고 동의어 집합 중 가장 대표되는 단어를 반환하고 Wu-Palmer 유사도를 계산해서 최종값을 생성한다. 그림 4는 위에서 언급한 딥러닝 기법과 유사도 기법을 결합한 확장된 GCN 모델의 전체 개요를 보여준다.

Fig. 4. 
Overview of extended GCN model

이 모델에서 이중 그래프 컨볼루션 네트워크의 딥러닝 기법으로부터 만들어지는 두 지식 그래프 엔티티의 거리를 기준으로 정렬을 한다. 이때 거리가 가장 가까운 엔티티가 바로 딥러닝이 찾은 매칭 값이 된다. 우리는 딥러닝이 찾은 이 매칭 값을 기준으로 아직 정밀하게 찾지 못한 나머지의 엔티티들을 유사도 기법과 함께 측정하여 가중치들을 통해 최종적으로 모델이 찾은 엔티티를 매칭시킨다.

본 논문에서 제안한 확장된 GCN 모델의 성능을 평가하기 위하여, 본 실험에서는 실제 데이터 셋을 활용하여 확장된 GCN 모델을 통해 실험을 진행하고 성능을 비교, 분석, 평가한다. 실험을 위해서 한 가지 데이터 셋보다는 다양한 유형의 지식 그래프 엔티티 매칭을 위해 표 1과 같이 DBP15K의 데이터 셋을 기반으로 지식 그래프의 엔티티 매칭에 맞게 변형했다. 데이터 셋에는 정치, 사회, 산업, 지명, 문화 등의 다양한 지식 정보들과 관계 정보들이 포함되어 있다. 엔티티들은 URI 형식으로 구성되어 있다.

실험은 다음과 같이 구성한다. 우선 데이터 셋을 활용하여 확장된 GCN 모델을 통해 엔티티 매칭을 하여 2개의 지식 그래프의 엔티티들이 정확히 일치하는지 평가한다. 예를 들어, KG 1의 ‘Benz E 250’과 KG 2의 ‘Mercedes Benz E class 250’이 매칭되는지 확인한다. 실험의 결과 값들은 엔티티 매칭 연구에서 보편적으로 사용되는 Hit@K rate를 사용하였다. Hit@K는 매칭 후보군들 중 K번째 만에 정답을 찾았는지를 나타낸다.

표 2는 현재까지 가장 성능이 좋은 것으로 알려져 있는 RDGCN 모델과 우리의 확장된 GCN 모델에 대한 실험 결과를 표로 나타내고 있다. 엔티티 매칭을 한 번에 찾은 Hit@1에서는 기존의 69.99%에서 79.04%로 약 10%의 성능 향상을 보여주었다. Hit@10에서는 기존의 84.5% 정확도에서 87.77%의 소폭 향상이 나타났다. 또한 Hit@50과 Hit@100에서는 큰 향상 폭은 나타나지 않았지만 약간의 향상을 보여주었다. 그림 5는 표 2의 성능 분석 결과를 그래프로 표현한 그림이다.

Fig. 5. 
Experimental result graph of extended GCN model