Korean Institute of Information Technology
[ Article ]
The Journal of Korean Institute of Information Technology - Vol. 24, No. 4, pp.1-10
ISSN: 1598-8619 (Print) 2093-7571 (Online)
Print publication date 30 Apr 2026
Received 22 Jan 2026 Revised 20 Feb 2026 Accepted 23 Feb 2026
DOI: https://doi.org/10.14801/jkiit.2026.24.4.1

근사적 등변 프레임 평균화를 통한 결정질 재료용 CGCNN 향상

이호* ; 김상태** ; 이광희***
*한양대학교 원자력공학과 공학박사과정
**한양대학교 원자력공학과 교수
***국립금오공과대학교 컴퓨터공학부 교수(교신저자)
Enhancing CGCNN for Crystalline Materials via Approximate Equivariant Frame Averaging
Ho Lee* ; Sangtae Kim** ; Kwanghee Lee***

Correspondence to: Kwanghee Lee School of computer engineering Kumoh national institute of Technology, Korea Tel.: +82-54-478-7543, Email: kwanghee@kumoh.ac.kr

초록

딥러닝 기반 재료 데이터 계산 모델링은 ab initio 방법에 비해 높은 계산 효율성과 경쟁력 있는 정확도로 주목받고 있다. CGCNN은 간결한 아키텍처를 기반으로 한 그래프 신경망 모델로, 다양한 확장이 가능하다는 장점이 있으나, 재료 구조 정보 중 원자 간 거리만을 활용하기 때문에 3차원 기하학적 구조를 충분히 반영하지 못해 예측 성능에 한계가 있다. 본 연구에서는 CGCNN을 확장하여 원자의 좌표와 상대 좌표를 각각 노드 및 엣지 임베딩에 포함한 FACGCNN을 제안한다. 또한 좌표계 변화에 따른 대칭성 문제를 해결하기 위해 근사적 등변 프레임 평균화 기법을 적용하였다. 무기물 결정 구조로 구성된 Carolina 데이터셋을 활용한 실험에서 제안 방법이 기존 CGCNN보다 우수한 예측 성능을 보였다.

Abstract

Deep learning-based computational modeling of materials data has gained attention for offering significantly higher computational efficiency and competitive accuracy compared to ab initio methods. CGCNN, a graph neural network model with a simple and extensible architecture, has shown promising performance; however, its reliance solely on interatomic distances limits its ability to capture full three-Dimensional (3D) geometric structures, resulting in constraints on prediction accuracy. In this study, we propose Frame Averaging-based CGCNN (FACGCNN), an extension of CGCNN that incorporates atomic coordinates and relative positions into node and edge embeddings, respectively. To address the issue of sensitivity to coordinate system transformations we apply an approximate equivariant frame averaging technique. Experiments conducted on the Carolina dataset, which consists of inorganic crystal structures, demonstrate that the proposed method outperforms the original CGCNN in terms of predictive accuracy.

Keywords:

graph neural network, crystal graph convolutional neural network, frame averaging, equivariance

Ⅰ. 서 론

최근 재료 과학 분야에서 신소재 탐색 및 물성 예측을 효율화하기 위한 방안으로 딥러닝 기반 계산 모델링이 주목받고 있다. 특히 딥러닝 모델은 형성 에너지(Formation energy)와 같은 물성을 예측함에 있어 기존 ab initio(제일원리) 방법(예: 밀도 범함수 이론: DFT, density functional theory)에 준하는 정확도를 유지하면서 훨씬 빠른 계산 속도를 제공할 수 있다는 점에서 경쟁력을 갖는다.

이러한 흐름 속에서, 재료 구조 데이터를 그래프 형태로 표현하고 이를 그래프 신경망(GNN, Graph Neural Network)에 적용하는 방식이 활발히 연구되고 있다. CGCNN(Crystal Graph Convolutional Neural Network)[1]은 그래프 신경망을 활용한 대표적인 초기 모델 중 하나로, 우수한 예측 성능과 계산 효율성을 보여주었다. 또한, CGCNN은 간결한 아키텍처로 인해 다양한 확장이 용이하다는 장점이 있다.

그러나, 최근 제안된 구면 조화 함수(Spherical harmonics) 기반 모델[2]과 비교하면 예측 성능이 상대적으로 낮은 것으로 보고되고 있다. 구면 조화 함수 기반 모델과 비교했을 때 CGCNN에 부족한 요소는 기하학적 정보라 할 수 있다. CGCNN은 두 원자 간의 거리(1차원 값)만을 입력으로 사용하여, 물질의 3차원 구조적 특성을 충분히 반영하지 못한다. 동일한 거리를 갖는 원자쌍이라도, 방향과 배치에 따라 전자 밀도 분포 및 상호작용의 강도가 달라질 수 있으므로, 거리 정보만으로는 물성을 정밀하게 예측하기 어렵다.

본 연구에서는 CGCNN을 확장하여 3차원 좌표 및 상대 좌표 정보를 활용하는 모델인 FACGCNN(Frame Averaging-based CGCNN)을 제안한다. FACGCNN은 기존 CGCNN 아키텍처를 기반으로, 노드 임베딩에 원자의 3차원 좌표를, 엣지 임베딩에 원자 간 상대 좌표를 추가함으로써 보다 풍부한 기하학적 정보를 모델에 반영한다. CGCNN 아키텍처가 가진 유연함이 이런 확장을 손쉽게 만들어 준다. 반면, 구면 조화 함수 기반 모델에서는 3차원 기하 정보를 반영할 경우, 3차원 회전군 SO(3)의 표현 이론에 따라 정교한 설계와 계산이 요구되므로 FACGCNN과 같은 방식으로 유연하게 확장하기는 쉽지 않다.

그러나 이러한 좌표 정보는 입력 좌표계의 변화(회전, 이동, 반사 등)에 따라 모델의 출력이 달라지는 문제가 생긴다. 예를 들어, 좌표계가 z축을 기준으로 90도 회전하더라도 물질의 형성 에너지는 본질적으로 변하지 않아야 하지만, 좌표를 직접 사용하는 딥러닝 모델은 이러한 대칭성을 학습하지 못하면 잘못된 예측을 할 위험이 있다.

이런 문제를 해결하기 위해 프레임 평균화(Frame averaging)[3] 기법을 적용한다. 프레임 평균화는 그래프 신경망의 표현력이 구조적 대칭성에 민감하다는 점을 극복하기 위한 일반적인 프레임워크로, 모델의 보편 근사 성질(Universal approximation property)을 유지하면서 주어진 군(Group)에 대해 불변(Invariant) 또는 등변(Equivariant)한 함수를 구성할 수 있게 해주어 최근 관심을 받고 있다. 이는 일종의 데이터 증강(Data augmentation) 방식으로 볼 수 있으며, 본 연구에서는 프레임 평균화 기법에 추가적으로 계산 효율을 고려해 샘플링 기반의 근사 프레임 평균화를 사용한다.

본 연구의 주요 기여는 다음과 같다. 1) CGCNN 아키텍처에 3차원 기하학적 구조를 반영하고 E(3)군 대칭성을 만족하도록 확장한 프레임 평균화 기반 예측 모델 FACGCNN을 제안하였다. 2) 무기물 결정 구조로 구성된 Carolina 데이터셋[4]을 활용한 실험을 통해, 제안 모델 FACGCNN이 기존 CGCNN 대비 형성 에너지 예측에서 우수한 성능을 보인다는 것을 입증했다.


Ⅱ. 관련 연구

2.1 등변 딥러닝 모델

등변 딥러닝 모델은 크게 구면 조화 함수 기반 방법과 프레임 평균화 기반 방법으로 구분할 수 있다. TFN(Tensor Field Network)[5]을 필두로 하여, 구면 조화 함수를 딥러닝 모델과 결합하려는 다양한 시도가 이루어졌다. 이 방식은 구면 조화 함수가 본질적으로 SO(3)군에 대하여 등변인 성질을 갖는다는 점에 기반하며, 추가적인 기법을 통해 SE(3)군(회전 및 평행이동)[6] 또는 E(3)군(회전, 평행이동, 반사 변환)[7] 으로 확장되기도 한다. 구면 조화 함수는 컴퓨터 비전 분야에서도 폭넓게 사용되어 왔고[8], 최근에는 재료과학 데이터에도 활발히 적용되고 있다.

그러나 이 방식은 텐서곱(Tensor product) 연산을 포함하고 있어 계산 복잡도가 높다는 단점이 있다. 예를 들어, 구면 조화 함수의 차수 L에 따라 계산복잡도는 OL6이며, 이는 효율적인 학습과 추론에 큰 걸림돌이 된다. 최근 연구에서는 이를 OL3 수준으로 축소시키는 방법이 제안됐지만[9], 여전히 높은 계산 비용이 부담이 된다. 또한, 구면 조화 함수 기반 모델은 E(3) 부분군에 대해서 잘 작동하지만, 다른 군, 예: 순열군(Permutation group), 에는 적합하지 않으며, 반드시 구면 조화 함수를 활용해야 한다는 제약으로 인해 딥러닝 아키텍처 설계의 유연성이 떨어진다는 한계가 있다.

한편, 프레임 평균화[3] 기반 방법은 모델 독립적(Model-agnostic) 방식으로 그룹 평균화(Group-averaging)[10] 개념에서 출발한다. 관심있는 대칭(Symmetry)을 나타내는 군이 주어질 때, 해당 군의 모든 원소에 대해 군 작용(Action)을 적용한 결과를 평균내면, 해당 군에 불변인 모델을 얻을 수 있으며, 등변 모델도 비슷하게 유도할 수 있다. 프레임 평균화는 입력 데이터마다 관련된 부분군(Subgroup)만 모아서 평균을 계산하는 방식이며, 이러한 부분군을 프레임이라고 한다. E(3)군, 순열군, 로렌츠(Lorentz) 군[11] 등 다양한 군에 대해 프레임 평균화 방식이 연구되고 있다.

최근에는 프레임 크기를 줄이기 위한 연구가 활발하게 진행중이며, 그중 프레임 크기를 1로 만드는 방식은 정준화(正準化; Canonicalization)라고 한다. E(3)군에 대한 프레임 계산에서 PCA(Principal Component Analysis)를 사용하게 되는데, 고유벡터(Eigenvector)에 나타나는 부호의 모호성(Sign ambiguity; 고유값 λ에 대한 고유벡터 v의 부호를 변경한 -v도 고유값 λ에 대한 고유벡터가 됨), 기저의 모호성(Basis ambiguity; 중복되는 고유값이 있을 때, 해당 고유공간에서 임의의 정규 직교를 뽑아도 고유벡터가 됨) 문제로 인해 이론적으로 정준화가 불가능한 경우가 존재하며, 이를 해결하기 위해 다양한 휴리스틱에 기반한 방법들이 제안되고 있다[12].

또 다른 접근으로는 통계적 기반 기술이 있으며, 예를 들어 E(3)군을 대상으로 한 FAENet[13]에서는 학습 및 추론 과정에서 프레임의 원소 중 하나를 무작위로 선택하는 확률적 프레임 평균화 기술을 제안하였다. 본 연구에서 사용한 방법은 FAENet과 유사하지만, FAENet에서는 결정 구조에 있는 원자들의 상대 좌표만을 사용한 반면, 본 연구에서는 원자들의 상대 좌표뿐 아니라 기본 좌표도 함께 활용하였고, CGCNN을 활용했다는 점에서 차별성이 있다.

2.2 재료 데이터를 위한 딥러닝 모델

재료 과학에서의 딥러닝 모델, 특히 그래프 신경망 기반 접근은 주로 입력 구조의 대칭성을 고려하여 설계된다. 이들은 주로 E(3)군, SE(3)군, SO(3)군에 불변 모델과 등변 모델로 나뉜다. 불변 모델의 대표적인 예로는 CGCNN[1], SchNet[14], DimeNet[15], GemNet-T[16] 등이 있다. CGCNN과 SchNet은 원자 간 거리 정보만을 활용하여 계산 효율성이 높지만, 구조적 정보를 충분히 반영하지 못한다는 단점이 있다. DimeNet과 GemNet-T는 3개 원자 간 각도 정보를 추가로 활용하여 정확도를 향상시켰으나, 계산 복잡도가 원자 수 n에 대해 O(n3)으로 증가해 연산 비용이 높아졌다.

등변 모델은 주로 구면 조화 함수 기반으로 구성되며, 대표적으로 TFN[5], SE(3)-Transformer[6], NequIP[7], SEGNN[17], eSCN[9], Equiformerv2[2] 등이 있다. 프레임 평균화 기반 모델은 FA-GNN[3], FAENet[13], MFA-GNN [11], PNA+OAP[12] 등이 있으며, 모델 설계의 자유도가 높고 다양한 군에 확장 가능하다는 장점이 있다.


Ⅲ. 사전 지식

3.1 기하학적 그래프를 이용한 재료 데이터 입력 포맷

본 연구에서는 n개의 원자로 구성된 재료를 기하학적 그래프(Geometric graph)로 표현하고, 이를 모델의 입력값으로 사용한다. 이때, 기하학적 그래프는 각 원자를 노드(node)로, 인접한 두 노드를 연결한 선을 엣지(edge)로 나타낸다. 이러한 그래프는 다음 세 가지 요소로 구성된다. 1) 인접행렬(adjacency matrix) A0,1n×n, 2) 노드의 스칼라 속성 행렬 SRn×s (예: 원자 번호, 원자 부피, 원자 반지름 등), 3) 노드의 3차원 좌표 행렬 XRn×3. 따라서 하나의 기하학적 그래프는 (A,S,X)로 표현할 수 있다. 두 노드가 인접하다는 것은 사전에 정의된 거리 임계값 c를 기준으로 판단한다. 즉, 노드 i와 j의 3차원 좌표 xi,xjR3에 대해 dij:=xi-xjc이면 인접행렬 A의 (i,j)번째 원소 aij = 1이고, 그렇지 않으면 aij = 0으로 정의한다. 재료 구조가 주기경계조건(periodic boundary condition)을 가질 경우, 두 노드 사이의 거리는 격자 벡터 l1,l2,l3R3를 고려하여 식 (1)과 같이 계산한다.

dij:=mink1,k2,k3xi-xj+k1l1+k2l2+k3l3(1) 
  • (ki∈{-1, 0, 1}, i=1,2,3)

3.2 CGCNN

CGCNN[1]은 기하학적 그래프로 표현된 물질을 입력으로 받아, 해당 물질의 특성을 예측하는 함수 f:A,S,Xy^R를 학습한다. 모델 내부에서는 그래프 합성곱(Convolution) 레이어를 반복적으로 적용하여 각 원자 i에 대한 특성 벡터 vit를 업데이트한다. t는 레이어 인덱스를 의미하며, 업데이트 식은 (2)와 같다.

vit+1=vit+j:aij=1σW1tzijt+b1tgW2tzijt+b2tzijt=CONCATvit,vjt,cijeij=RBFdij(2) 

여기서 RBF(⋅)은 거리 dij를 임베딩 벡터들과 동일한 차원의 벡터로 매핑하는 방사 기저 함수(Radial basis function), CONCAT(⋅)은 벡터 연결(Concatenation) 연산, W1t,W2t,b1t,b2t은 학습 파라미터, σ(⋅)는 시그모이드(Sigmoid) 함수, g(⋅)는 소프트플러스(Softplus) 함수, ⨀는 아다마르 곱(원소별 곱, Hadamard product)이다. 노드의 특성 벡터 초기값은 다음과 같이 정의한다: vi0=Wssi, 여기서 si는 노드 i에 대한 스칼라 속성 벡터(예: 원자 번호, 원자 부피, 원자 반지름 등으로 구성된 벡터)이며, Ws는 이를 임베딩 하기 위한 학습 가능한 행렬이다. 그래프 합성곱 레이어를 T번 반복한 후, 최종 노드 임베딩 viT들의 평균을 구해 그래프 수준의 표현(Graph-level representation)으로 만들고, 이를 다층 퍼셉트론(MLP, Multi-Layer Perceptron)에 입력하여 식 (3)과 같이 물질의 특성 y^을 예측한다.

y^=MLP1ni=1nviT(3) 

최종적으로, 예측값 y^와 DFT 계산 등으로 얻은 실제 값 y 간의 평균제곱오차(MSE, Mean Squared Error)를 손실 함수로 사용하여 모델 파라미터를 학습한다.

3.3 불변, 등변, 프레임 평균화

노름 벡터 공간(Normed vector space) 𝒳, 𝒴에 대하여 임의의 함수 f:𝒳→𝒴가 군 G에 대하여 불변하다는 것은 f(g∙X)=f(X),∀X∈𝒳,∀g∈G를 의미한다. 여기서 g∙X는 공간 𝒳 위에서 군 G가 작용한 결과를 의미한다. 이 작용은 X에 대한 G의 표현(Representation) ρ:G→GL(V) (GL(V)은 벡터 공간 V에 대한 일반선형군)으로부터 정의되며, g∙X=ρ(g)X로 표현된다. 반면, 함수 f가 등변하다는 의미는 f(g∙X)=g∙f(X),∀X∈𝒳,∀g∈G를 뜻한다. 이때 우변의 g∙f(X)는 공간 𝒴 위에서 군 G가 작용한 결과이다.

프레임 평균화[3]는 임의의 함수 f:𝒳→𝒴를 군 G에 대해 불변하게 만드는 일반적인 방법 중 하나이다. 이 기법은 입력 X에 따라 정의되는 군의 부분집합, 즉 프레임 F(X)⊆G을 활용한다. 프레임 F(X)은 다음 등변 조건을 만족해야 한다: gF(X)=F(g∙X),∀g∈G. 여기서 gF(X)={gh | h∈F(X)}는 군의 좌측 작용(Left action)을 의미한다. 프레임의 크기 |F(X)|가 유한한 경우, 다음과 같은 프레임 평균화 스킴(scheme) F을 통해 식 (4)와 같이 G-불변함수(G-invariant function)를 구성할 수 있다:

fFX:=1FXgFXfg-1X(4) 

이때, 모든 X∈𝒳, 모든 g∈G 에 대하여 fFgX=fFX을 만족한다. 즉, fF는 G-불변함수이다. 관련 증명은 [3]에 제시되어 있다.


Ⅳ. 방법론

4.1 CGCNN에 기하학적 정보를 반영하기 위한 노드 좌표 및 상대 좌표 확장

본 연구에서는 기존 CGCNN을 확장하여 기하학적 정보를 더욱 풍부하게 반영하는 FACGCNN 모델을 제안한다. FACGCNN은 CGCNN과 유사한 아키텍처를 가지지만, 노드 및 엣지의 초기 임베딩 방식에 차이가 있다. 기존 CGCNN은 두 원자 간 거리 정보만 활용하는 반면, FACGCNN은 원자의 3차원 좌표, 두 원자 간 상대 좌표, 그리고 거리 정보를 모두 활용함으로써 보다 정교한 구조 정보를 모델에 반영한다(그림 1).

Fig. 1.

Overview of the proposed method

- 노드 임베딩(node embedding): CGCNN에서 노드 i의 초기 임베딩 벡터는 다음과 같이 정의된다: vi0=Ws×si. 여기서 si는 노드 i의 스칼라 특성 벡터(3.2절 참조)이고, Ws는 학습 가능한 임베딩 행렬이다. FACGCNN에서는 노드의 3차원 좌표 xi를 함께 활용하여 식 (5)와 같이 확장한다.

vi0=Ws×CONCATxi,si(5) 

- 엣지 임베딩(Edge embedding): CGCNN에서는 노드 i,j 간 엣지의 초기 임베딩 벡터를 방사 기저 함수를 통해 거리 정보를 변환한 값으로 정의한다: eij=RBFdij. 반면, FACGCNN에서는 여기에 상대 좌표 xi-xj를 추가하여 식 (6)과 같이 정의한다.

eij=We×CONCATxi-xj,RBFdij(6) 

여기서 We는 학습 가능한 엣지 임베딩 행렬이다.

- 설계 배경 및 기존 연구와의 차별성: 딥러닝을 이용한 재료 데이터 계산 모델링 연구에서 엣지 임베딩에 상대 좌표를 포함하는 방식은 기존 연구들 [5][7][13][14]에서도 자주 사용되어 왔으나, 노드 임베딩에 좌표 xi 자체를 포함하는 시도는 거의 이루어지지 않았다. 본 연구에서는 노드의 기하학적 위치 정보를 직접 반영함으로써 모델의 표현력(Expressive power)을 향상시키고자 하였다. 이러한 접근은 그래프 신경망에서 노드 식별 정보(ID)를 포함시키면 표현력이 높아질 수 있다는 기존 연구[18]에서 영감을 받았다. 여기서 표현력이란 두 그래프가 동일한 구조인지(Isomorphic) 여부를 구분하는 모델의 능력을 의미한다.

4.2 프레임 평균화를 통해 E(3)군에 대한 대칭성 반영

노드 및 엣지 임베딩에 좌표 정보를 사용하는 것은, 거리 정보만 사용하는 기존 CGCNN보다 훨씬 풍부한 기하학적 정보를 모델에 제공할 수 있다는 장점이 있다. 그러나 좌표를 직접 사용하는 경우, 입력 데이터에 내재된 대칭성이 무시될 수 있다. 예를 들어, 좌표계가 회전, 평행이동, 또는 반사변환(Reflection) 되었을 때도, 물질의 형성 에너지는 본질적으로 변하지 않아야 한다. 그러나 모델이 좌표 정보에 민감하게 반응할 경우, 동일한 구조에 대해 예측 결과가 다를 수 있다. 이를 해결하기 위해, 본 연구에서는 프레임 평균화 기법을 도입하여 E(3)군(회전변환, 평행이동, 반사변환)에 대한 대칭성을 반영한다.

재료는 n≥3개의 원자로 구성되며 3.1절에서 소개했던 기하학적 그래프 (A,S,X), 인접행렬 A A0,1n×n, 노드 속성 행렬 SRn×s, 노드 3차원 좌표 행렬 XRn×3를 입력값으로 사용한다. FACGCNN은 이러한 입력값을 받아 특성 값을 예측하는 함수 f:(A,S,X)⟼ y^∈R를 학습하며, 이 함수가 좌표 행렬 X에 대하여 E(3)-불변이 되도록 만드는 것이 목표이다.

먼저 E(3)군은 다음과 같이 구성된다: E(3)=O(3)⋉T(3), 여기서 ⋉는 반직접곱(semidirect product), O(3)는 회전 및 반사 변환 (3x3 직교 행렬로 표현 가능), T(3)는 평행이동 변환(3차원 벡터로 표현 가능)이다. 3차원 좌표 행렬 X가 주어졌을 때 E(3)군에 대한 프레임 F(X)⊆E(3)은 PCA를 통해 계산한다[3]. 데이터 중심(centroid)은 t=1nX1nR3 (1n는 모든 요소의 값이 1인 n차원 벡터)이고, X의 공분산 행렬은 C=X-13tX-13tR3×3 이다. 행렬 C의 고유값 λ1λ2λ3에 대응하는 정규 직교(orthonormal) 고유벡터를 u1,u2,u3라고 할 때, 가능한 프레임의 집합은 식 (7)과 같다.

FX=U,tU=±u1,±u2,±u3R(3×3)(7) 

여기서 고유 벡터의 부호 모호성으로 인해 가능한 조합은 총 8개이며, 따라서 프레임 F(X)는 8개의 원소를 가진다.

E(3)-불변성이 반영되지 않은 FACGCNN 함수 f:(A,S,X)⟼ y ̂를 프레임 평균화 스킴(3.3절 참조)을 통해 식 (8)과 같이 불변함수로 확장할 수 있다.

fFA,S,X:=1FXgFXfA,S,g-1X(8) 

여기서 g=U,tFX는 프레임의 각 원소이고, 군 작용은 g-1X=X-13tU이다. 이 프레임 평균화 과정을 통해 모델은 입력된 3차원 좌표 행렬 X의 회전, 이동, 반사에 대해 동일한 출력을 갖는 E(3)-불변 함수로 구성된다.

4.3 효율적인 계산을 위한 프레임 샘플링

E(3)군에 대한 프레임 F(X)의 크기는 8로 비교적 작다고 할 수 있으나, 프레임 평균화를 적용할 경우, 프레임이 없는 경우에 비해 추론 및 학습 시 계산량이 최대 8배 증가하는 문제가 발생한다. 이러한 계산 부담을 줄이기 위해, 본 연구에서는 [3]에서 제안된 균등 샘플링(Uniform sampling) 전략을 기반으로 근사적인 프레임 평균화를 적용한다. 구체적으로 식 (9)와 같은 방식으로 근사 평균화 함수를 정의한다.

f~FA,S,X:=1ki=1kfA,S,gi-1X(9) 

여기서 giFX는 프레임 F(X)에서 균등하게 샘플링된 k개의 프레임 원소이다. 추가적으로, 계산 효율성을 극대화하기 위해 FAENet[13]에서 제안된 방식처럼 학습 및 추론 시 매번 하나의 프레임만을 선택하여 사용하는 설정(k=1)을 채택한다. 이는 확률적 근사 방식으로서, 모델의 추론 속도를 기존과 동일하게 유지할 수 있다.

최종적으로, 예측값 f~FA,S,X와 실제 특성 값 y간의 평균제곱오차를 손실 함수로 구성하여 모델을 학습한다.


Ⅴ. 실 험

5.1 실험 목표 및 데이터

본 절에서는 CGCNN과 본 연구에서 제안한 FACGCNN의 성능을 비교하여, 기하학적 정보와 프레임 평균화를 추가함으로써 CGCNN의 예측 성능이 향상됨을 실증하고자 한다. 성능 평가지표로는 결정 계수(R2 score), 평균 절대 오차(MAE, Mean Absolute Error), 평균 제곱근 편차(RMSE, Root Mean Squared Error)를 사용하였다.

실험에 사용된 데이터셋은 무기물 기반 결정 구조로 구성된 Carolina[19]이며, 학습 데이터는 160,805개, 검증 데이터는 32,174개, 평가 데이터는 21,456개의 결정으로 구성되어 있다. 예측 대상은 형성 에너지(Formation energy)이며, 학습 데이터는 결정 당 평균 14.8개의 원자를 포함한다. 전체 원자 수 분포는 그림 2와 같다.

Fig. 2.

Number of atoms/crystal (top), CaH6Rh2Br as an example in Carolina dataset (bottom)

5.2 실험 설정

CGCNN의 하이퍼파라미터는 원 저자들이 공개한 구현을 대부분 그대로 따랐으며, 노드 임베딩벡터 vit의 차원은 128로 설정하였다. 최적화에는 학습률을 제외한 모든 하이퍼파라미터를 자동으로 조정하는 Schedule-Free AdamW[20] 알고리즘을 사용하였고, 학습률은 0.0005로 고정하였다. 배치 크기는 2048, 에폭(epoch) 수는 각각 100, 200, 300로 설정하였다. 검증 데이터에서 MAE값이 가장 낮은 모델을 선택하여 평가 데이터에서 성능을 측정했다. 노드 스칼라 특성은 기존 CGCNN에서 사용한 8가지 원자 속성(족 번호, 주기 번호, 전기음성도, 공유 반경, 최외각 전자 수, 제1 이온화 에너지, 전자 친화도, 원자 부피) 각각을 원-핫 인코딩(One-hot encoding) 벡터로 표현하고, 그 벡터들을 연결시켜 하나의 속성 벡터로 사용하였다. FACGCNN 또한 동일한 원자 속성과 학습 조건 하에 실험을 수행하였다.

5.3 실험 결과

실험 결과는 표 1에 정리되어 있으며 각 지표는 평균 ± 표준오차 형태로, 5회 반복 실험 결과를 나타낸다. CGCNN의 경우, 에폭 100에서 가장 높은 R² 점수와 가장 낮은 RMSE를 기록하였으며, 이후 에폭이 증가함에 따라 MAE는 감소하지만, R²와 RMSE는 오히려 저하되는 양상을 보인다. 이는 CGCNN의 학습을 거듭하면서 이상치를 무시하려는 경향이 강화되었기 때문으로 해석할 수 있다. 반면, 제안한 FACGCNN은 학습이 진행됨에 따라 세 지표 모두 점진적으로 개선되는 경향을 보였으며, 에폭 300에서 모든 지표에서 최상의 성능을 기록하였다. 특히 R² 점수는 0.933으로 CGCNN 대비 높은 설명력을 가지며, RMSE도 0.312로 가장 낮은 값을 보였다. 이러한 결과는 FACGCNN이 구조적 기하 정보와 대칭적 처리를 통해 예측 정확도를 향상시켰음을 보여준다.

Experimental results (A higher R² score is better, while lower MAE and RMSE values indicate better performance)

이번 실험에서는 FACGCNN에서 프레임 평균화의 필요성을 검증하고자 구성 요소 제거 실험(Ablation study)을 진행하였다. 표 2의 “FACGCNN w/o Frame averaging”은 FACGCNN 모델에서 프레임 평균화 모듈(4.2절)을 제거한 버전을 의미한다. 실험 결과, 프레임 평균화를 제거한 경우 오히려 R² 점수, MAE, RMSE에서 모두 성능이 향상되었음을 확인할 수 있다(표 2). 이는 Carolina 데이터셋 내에서 동일한 격자 구조를 갖는 물질들의 경우, 좌표계가 대부분 일관되게 구성되어 있어 명시적인 대칭성(Symmetry) 처리가 없어도 예측이 원활하게 이루어질 수 있기 때문으로 해석된다. 또한, FACGCNN와 “FACGCNN w/o Frame averaging” 간의 성능 차이는 프레임 샘플링으로 인해 발생하는 근사 오차의 영향일 가능성도 있다.

Ablation study results

이러한 관찰을 바탕으로, 프레임 평균화의 역할을 확인하기 위해 추가 실험을 수행하였다. 평가 데이터에 대해 좌표계를 무작위로 회전시킨 후, 형성 에너지 예측 성능을 다시 측정하였다. 표 2의 “FACGCNN + Random Rotation"과 “FACGCNN w/o Frame averaging + Random Rotation"은 각각 그 결과를 나타낸다. 실험 결과, FACGCNN은 좌표계가 회전된 경우에도 성능 변화없이 일관된 결과를 보여주었다. 하지만, 프레임 평균화가 제거된 모델은 좌표계가 회전된 경우 극심한 성능 저하를 보였으며, R² 점수가 음수로 떨어지고 MAE와 RMSE가 크게 증가하였다. 이는 해당 모델이 좌표계 변화에 매우 민감하며, 프레임 평균화 없이 대칭성을 학습하지 못한다는 사실을 명확히 보여준다.


Ⅵ. 결론 및 향후 과제

본 연구에서는 기존 CGCNN 모델의 한계를 극복하기 위해 원자의 3차원 좌표 및 상대 좌표를 반영하고, 프레임 평균화 기법을 적용하여 대칭성 문제를 해결하는 FACGCNN 모델을 제안하였다. 제안한 모델은 기존 CGCNN의 아키텍처를 유지하면서도, 노드 및 엣지의 초기 임베딩에 기하학적 정보를 추가하고, 프레임 평균화를 통해 입력 좌표의 회전, 평행이동, 반사에 대해 불변성을 만족하도록 구성되었다. 실험을 통해 Carolina 무기물 결정 데이터셋에서 FACGCNN이 CGCNN 대비 전반적으로 우수한 예측 성능을 보임을 확인하였다. 특히, 학습이 진행될수록 세 가지 평가 지표(R², MAE, RMSE) 모두에서 일관된 성능 향상이 나타났으며, 이는 구조 정보와 대칭성 처리가 모델의 정확도 성능을 높이는 데 기여했음을 의미한다. 이러한 연구를 바탕으로 복잡한 구조의 재료 과학 데이터에 대한 좋은 성능을 이끌어내기 위한 연구를 향후 과제로 한다.

Acknowledgments

이 연구는 국립금오공과대학교 학술연구비로 지원되었음(2024~2026)

References

  • T. Xie and J. C. Grossman, "Crystal Graph Convolutional Neural Networks for an Accurate and Interpretable Prediction of Material Properties", Physical Review Letters, Vol. 120, No. 14, Art No. 145301, Apr. 2018. [https://doi.org/10.1103/PhysRevLett.120.145301]
  • Y.-L. Liao, B. Wood, A. Das, and T. Smidt, "EquiformerV2: Improved Equivariant Transformer for Scaling to Higher-Degree Representations", International Conference on Learning Representations, Vienna, Austria, May 2024. https://openreview.net/forum?id=mCOBKZmrzD, .
  • O. Puny, M. Atzmon, H. Ben-Hamu, I. Misra, A. Grover, E. J. Smith, and Y. Lipman, "Frame Averaging for Invariant and Equivariant Network Design", arXiv preprint, arXiv:2110.03336, , Oct. 2021. [https://doi.org/10.48550/arXiv.2110.03336]
  • Y. Dan, Y. Zhao, X. Li, S. Li, M. Hu, and J. Hu, "Generative adversarial networks (GAN) based efficient sampling of chemical composition space for inverse design of inorganic materials", npj Computational Materials, Vol. 6, Art No. 84, Dec. 2020. [https://doi.org/10.1038/s41524-020-00352-0]
  • N. Thomas, T. Smidt, S. Kearnes, L. Yang, L. Li, K. Kohlhoff, and P. Riley, "Tensor field networks: Rotation- and translation-equivariant neural networks for 3D point clouds", arXiv preprint, arXiv:1802.08219, , Feb. 2018. [https://doi.org/10.48550/arXiv.1802.08219]
  • F. B. Fuchs, D. E. Worrall, V. Fischer, and M. Welling, "SE(3)-transformers: 3D roto-translation equivariant attention networks", Proc. 34th International Conference on Neural Information Processing Systems, Vancouver, Canada, No. 166, pp. 1970-1981, Dec. 2020.
  • S. Batzner, A. Musaelian, L. Sun, M. Geiger, J. P. Mailoa, M. Kornbluth, N. Molinari, T. E. Smidt, and B. Kozinsky, "E(3)-equivariant graph neural networks for data-efficient and accurate interatomic potentials", Nature Communications, Vol. 13, Art No. 2453, May 2022. [https://doi.org/10.1038/s41467-022-29939-5]
  • M. Weiler, M. Geiger, M. Welling, W. Boomsma, and T. Cohen, "3D steerable CNNs: learning rotationally equivariant features in volumetric data", Proc. 32nd International Conference on Neural Information Processing Systems, Montréal, Canada, pp. 10402-10413, Dec. 2018.
  • S. Passaro and C. L. Zitnick, "Reducing SO(3) Convolutions to SO(2) for Efficient Equivariant GNNs", Proc. 40th International Conference on Machine Learning, Honolulu, Hawaii, USA, No. 1140, pp. 27420-27438, Jul. 2023.
  • D. Yarotsky, "Universal approximations of invariant maps by neural networks", arXiv preprint, arXiv:1804.10306, , Apr. 2018. [https://doi.org/10.48550/arXiv.1804.10306]
  • Y. Lin, J. Helwig, S. Gui, and S. Ji, "Equivariance via Minimal Frame Averaging for More Symmetries and Efficiency", Proc. 41st International Conference on Machine Learning, Vienna, Austria, No. 1211, pp. 30042-30079, Jul. 2024.
  • G. Ma, Y. Wang, D. Lim, S. Jegelka, and Y. Wang, "A Canonicalization Perspective on Invariant and Equivariant Learning", Proc. 38th International Conference on Neural Information Processing Systems, Vancouver, Canada, No. 1948, pp. 60936-60979, Dec. 2024. [https://doi.org/10.52202/079017-1948]
  • A. A. Duval, V. Schmidt, A. Hernández-Garcı́a, S. Miret, F. D. Malliaros, Y. Bengio, and D. Rolnick, "FAENet: Frame Averaging Equivariant GNN for Materials Modeling", Proc. 40th International Conference on Machine Learning, Honolulu, Hawaii, USA, No. 361, pp. 9013-9033, Jul. 2023.
  • K. T. Schütt, P.-J. Kindermans, H. E. Sauceda, S. Chmiela, A. Tkatchenko, and K.-R. Müller, "SchNet: a continuous-filter convolutional neural network for modeling quantum interactions", Proc. 31st International Conference on Neural Information Processing Systems, California, USA, pp. 992-1002, Dec. 2017.
  • J. Gasteiger, J. Groß, and S. Günnemann, "Directional Message Passing for Molecular Graphs", International Conference on Learning Representations, Online, Apr. 2020. https://openreview.net/forum?id=B1eWbxStPH, .
  • J. Gasteiger, F. Becker, and S. Günnemann, "GemNet: Universal Directional Graph Neural Networks for Molecules", Proc. 31st International Conference on Neural Information Processing Systems, Online, No. 520, pp. 6790-6802, Dec. 2021.
  • J. Brandstetter, R. Hesselink, E. van der Pol, E. J. Bekkers, and M. Welling, "Geometric and Physical Quantities Improve E(3) Equivariant Message Passing", International Conference on Learning Representations, Online, Apr. 2022. https://openreview.net/forum?id=_xwr8gOBeV1, .
  • R. Abboud, İ. İ. Ceylan, M. Grohe, and T. Lukasiewicz, "The Surprising Power of Graph Neural Networks with Random Node Initialization", Proc. 30th International Joint Conference on Artificial Intelligence, Montreal, Ganada, pp. 2112-2118, Aug. 2021. [https://doi.org/10.24963/ijcai.2021/291]
  • Y. Zhao, M. Al-Fahdi, M. Hu, E. M. D. Siriwardane, Y. Song, A. Nasiri, and J. Hu, "High-Throughput Discovery of Novel Cubic Crystal Materials Using Deep Generative Neural Networks", Advanced Science, Vol. 8, No. 20, Art No. 2100566, Aug. 2021. [https://doi.org/10.1002/advs.202100566]
  • A. Defazio, X. A. Yang, A. Khaled, K. Mishchenko, H. Mehta, and A. Cutkosky, "The Road Less Scheduled", Proc. 38th International Conference on Neural Information Processing Systems, Vancouver, Canada, No. 320, pp. 9974-10007, Dec. 2024. [https://doi.org/10.52202/079017-0320]
저자소개
이 호 (Ho Lee)

2021년 2월 : 한양대학교 원자력공학과(공학사)

2021년 3월 ~ 현재 : 한양대학교 원자력공학과 석박사통합과정

관심분야 : 전산재료과학, 머신러닝

김 상 태 (Sangtae Kim)

2010년 5월 : UC Berkeley 재료공학과(공학사)

2016년 6월 : MIT 재료공학과(공학박사)

2020년 3월 ~ 현재 : 한양대학교 원자력공학과 부교수

관심분야 : 머신러닝, 원자단위 시뮬레이션, 원자간퍼텐셜 학습

이 광 희 (Kwanghee Lee)

2014년 8월 : KAIST 수리과학과(이학사)

2016년 8월 : KAIST 전산학부(공학석사)

2023년 2월 : KAIST 전산학부(공학박사)

2024년 1월 ~ 현재 : 국립금오공과대학교 컴퓨터공학부 조교수

관심분야 : 데이터마이닝, 머신러닝

Fig. 1.

Fig. 1.
Overview of the proposed method

Fig. 2.

Fig. 2.
Number of atoms/crystal (top), CaH6Rh2Br as an example in Carolina dataset (bottom)

Table 1.

Experimental results (A higher R² score is better, while lower MAE and RMSE values indicate better performance)

Method Epoch R² score MAE RMSE
CGCNN 100 0.897±0.046 0.103±0.004 0.368±0.071
CGCNN 200 0.870±0.049 0.089±0.004 0.418±0.081
CGCNN 300 0.870±0.057 0.086±0.003 0.420±0.093
FACGCNN 100 0.913±0.013 0.114±0.006 0.366±0.028
FACGCNN 200 0.925±0.013 0.090±0.003 0.334±0.030

Table 2.

Ablation study results

Method R² score MAE RMSE
FACGCNN 0.933±0.019 0.085±0.002 0.312±0.043
FACGCNN +Random Rotation 0.933±0.019 0.085±0.003 0.312±0.043
FACGCNN w/o Frame averaging 0.957±0.008 0.083±0.003 0.257±0.024
FACGCNN w/o Frame averaging + Random Rotation -671±297 16.2±3.68 30.3±6.62