Current Issue

본 논문에서는 에세이 점수를 예측하는 인공지능 모델을 학습하는 데 많이 활용되고 있는 ASAP(Automated Student Assessment Prize)라는 벤치마크 데이터 세트[11]를 원시데이터로 사용하였다. 주제는 ‘도서관 검열’이며, 종류는 논설문으로 총 1,800편이다. ASAP는 영어로 작성되었기 때문에 한국어로 번역하기 위해 구글 번역기를 사용하였다[12]. 이 과정에서 문법이나 표현이 어색한 문장들은 [13]를 참고하여 다음과 같이 수정하였다.

1) 주어와 술어의 호응: 문장 내에서 주어와 해당 주어에 맞는 술어가 일치하는 문법적인 원칙을 의미한다. 이는 문장의 구조와 논리적 흐름을 유지하기 위해 중요한 요소이다. 예를 들어, “저의 장점은 남을 잘 돕는다고 생각합니다”라는 문장을 “저의 장점은 남을 잘 돕는 것입니다”로 더 자연스럽게 수정할 수 있다.

2) 잘못된 조사 사용 여부: 조사는 언어에서 단어와 단어 사이, 또는 문장 내에서 단어와 문장 간의 관계를 명확하게 표현하고 조정하는 역할을 하는 문법적 요소이다. 예를 들어, “저는 친구와 영화에 가고 싶어요”라는 문장은 “저는 친구와 영화를 보러 가고 싶어요”로 수정되어야 한다.

3) 대명 형용사: 명사와 형용사의 기능을 모두 가지면서, 대명사처럼 다른 명사를 대신하여 사용할 수 있는 품사를 의미한다. 예를 들어, “한국 청년의 역량은 그들이 나이를 먹을수록 감소한다. OECD 주관으로 국가별 문제 해결력을 조사한 PIAAC 데이터에 의하면 그러하다”라는 문장은 ‘그들이’라는 불필요한 대명 형용사를 사용하여 두 문장으로 나누었다. 이를 제거하여, “OECD가 주관하여 국가별 문제 해결력을 조사한 PIACC 자료를 보면, 한국 청년은 나이가 증가할수록 그 역량이 감소한다”와 같이 더 자연스럽게 수정할 수 있다.

4) 중복표현: 같거나 유사한 뜻을 가진 단어나 구를 중복해서 사용하는 문체적인 스타일을 말한다. 예를 들어, “강풍에 가로수 나무가 쓰러졌다”에서 ‘가로수’와 ‘나무’는 중복표현이다. 따라서 “강풍에 가로수가 쓰러졌다”라는 문장으로 수정해야 한다.

5) 긴 문장: 중복표현을 여러 개 사용하여 길어진 문장을 말한다. 예를 들어, “쓸데없이 세월을 낭비하고 헛되이 시간을 보내던”을 “세월을 낭비하던”으로 수정할 수 있다.

6) 잘 읽히지 않는 문장: “흔히 인간의 행동에는 정신이 선행되어야 하며 그렇기에 행동은 정신 과정의 결과로 생각하곤 한다”라는 문장은 “흔히 인간의 정신이 행동의 원인이라고 생각한다”처럼 읽기 쉽게 수정할 수 있다.

7) 직역투 문장: 영어, 일본어 등 다른 언어를 그대로 직역한 듯한 문장을 말한다. 예를 들어, “In general, studying is difficult to find interesting”을 직역하면 “일반적으로 공부는 재미를 찾기가 어렵습니다”로 된다. 이러한 직역투는 “일반적으로 공부는 재미없다”처럼 우리말 표현으로 자연스럽게 수정할 수 있다.

8) 대명사: 실제 명사를 대신하여 사용되는 품사를 의미한다. 예를 들어, “만수는 어제 학교에서 친구 철수와 싸웠다. 철수가 만수의 스마트폰을 몰래 훔쳐봤기 때문이다”라는 문장에서 만수는 ‘그는’으로, 철수는 ‘그의 친구’ 혹은 ‘친구’라는 지시대명사로 고정하여 “만수는 어제 학교에서 친구 철수와 싸웠다. 그의 친구가 그의 스마트폰을 몰래 훔쳐봤기 때문이다”로 수정할 수 있다.

9) 접속사: 문장 구조와 의미 전달에 중요한 역할을 하므로, 적절하게 사용하는 것이 중요하다. 접속사 없이 앞뒤 문장을 연결할 때 많은 글이 모호한 상황을 대명사로 표현하는 경우가 많다. 예를 들어, “평가 과정에서 그 내용을 의식적으로 인지하기 이전에 평가자에게 기저 요인들이 평정에 영향을 미칠 수 있다. 이는 평가자가 피평가자에게 가지는 감정적인 요인들을 주로 포함한다”라는 문장에서 ‘이는’이라는 대명사 표현이 무엇을 가리키는지가 명확하지 않다. 대명사 대신 ‘그런’이라는 접속사를 사용하여 “평가자가 의식적으로 인지하지 못하는 요인들이 평가에 영향을 줄 수 있다. 그런 요인 중 하나는 평가자의 피평가자에 대한 감정이다”로 수정해야 한다.

10) 시제 일치: 중문 혹은 복문은 시제가 일치하는지도 검토해야 한다. “나는 그가 일찍 일어난다고 들었다”라는 문장을 과거형으로 시제를 일치하여 “나는 그가 일찍 일어났다고 들었다”라고 수정할 수 있다.

11) 일본식 표현: 명사 뒤에 붙은 ‘~의’나 ‘~적’, 복수를 뜻하는 ‘들’, ‘하는 것’ 같은 일본식 표현에 주의해야 한다. 예를 들어, ‘가족과의 솔직한 소통’은 ‘가족과 솔직하게 소통하기’로, ‘사회적 문제’는 ‘사회 문제’로, ‘많은 관광객이 거리의 위험들에 노출되어’라는 문장은 ‘많은 관광객이 거리의 여러 위험에 노출되어’로, “글을 쓰는 것은 곧 생각을 정리하는 것이다”라는 문장은 “글쓰기는 생각을 정리할 수 있게 한다”로 수정할 수 있다.

이러한 검토 및 수정 작업을 마친 한국어 ASAP 데이터 세트와 기초글쓰기 수업에서 한국 학생들이 작성한 에세이를 원천데이터로 사용하였다. 표 1은 원천데이터 통계이다. 영어 및 한국어 ASAP 3,600편과 기초글쓰기 에세이 166편으로 총 3,766편이며, 종류별로 논설문은 3,664편과 정보글은 102편이다.

표 2는 논설문에 대한 창의성 평가 기준[14]을 정리한 표이다. 현재까지 글쓰기 평가에서의 창의성은 문학적인 글을 작성하는 데 초점을 맞추어 왔다.

소설 또는 시와 같은 문학 작품을 창작할 수 있는가를 가지고 창의성을 측정하는 기준으로 삼았지만, 실생활에서 가장 많이 사용되고 있는 정보글이나 논설문 같은 실용적인 글쓰기에 대한 논의는 제대로 이루어지지 않고 있다[15]. 자기 생각을 사회적이고 문화적인 맥락에 적합하도록 창의적으로 표현하는 글쓰기 훈련이 필요하며, 글쓰기 평가도 논설문이나 정보글의 창의성을 제대로 평가할 수 있어야 한다.

국어 교육학 및 심리학 분야에서는 주로 학생이 작성한 문학 작품에서 창의성을 찾고 이를 점수화하기 위해 다양한 평가 지표를 개발하였다[5][14][16]. 특히, [14]의 연구는 기존의 창의성 평가가 개인의 주관적인 평가와 평가자의 협의와 같은 전통 방식에서 벗어나, 보다 객관적으로 측정할 수 있는 평가 방법을 제시하였다.

본 논문에서는 원천데이터에 대해 표 2의 9가지 평가 요소에 해당하는 평가 기준으로 1~5점으로 평가하였다.

그림 2는 원천데이터 예시이고, 해당 에세이를 표 2의 창의성 평가 지표에 따라 평가한 것이 표 3이다. 각 평가 요소의 최종 점수는 평가자 1, 평가자 2, 평가자 3이 매긴 점수의 평균이며, 최종적으로 해당 에세이의 창의성 점수는 9가지 평가 요소의 평균 점수이다.

Fig. 2. 
Example of source data

표 4는 Kendall 상관계수(KROCC, Kendall Rank-Order Correlation Coefficient)[17]를 사용하여 평가자 간 평가 점수 일치도를 측정한 결과이다. Kendall 상관계수는 1에 가까울수록 세 명의 평가자가 같은 평가를 했다는 것을 의미한다. 평가자 간 점수 일치도는 표 1에서의 전체 에세이, 주제별 에세이, 종류별 에세이로 측정하였다. Kendall 점수는 모두 0.8 이상으로 매우 강한 상관관계를 보였다.

표 5와 표 6은 각각 범주별 및 평가 요소별에 대한 평가자 간 Kendall 점수 결과이다.

창의적인 에세이 학습데이터를 생성하고 MongoDB에 저장하였다. 표 7은 데이터베이스 스키마의 예시이다. 에세이는 원시데이터(영문)와 원천데이터(한글)를 함께 저장하였다. 에세이 점수는 기존 ASAP에 레이블링 된 점수이며, 작업자는 영문 에세이 번역 및 검수 작업을 한 사람을 의미한다. 그림 3은 데이터베이스와 연동된 레이블링 시스템 화면이다.

Fig. 3. 
Screenshot image of labeling system

그림 4~8은 시스템의 대표적인 5가지 기능을 보여준다. 평가자는 번역 기능을 통해 한국어 번역 및 수정 과정에서 간과한 부분을 영어 원문을 보면서 자연스러운 문장으로 수정할 수 있고, 문장 분할 기능과 익명화 처리 기능을 통해 에세이를 문장 단위로 구분하여 가독성을 높일 수 있으며, 개인정보 보호로 인한 익명화의 표기를 헷갈리지 않고 수월하게 평가를 진행할 수 있다. 평가자는 에세이를 읽은 후, 9가지 평가 요소에 대한 평가를 간편하게 마우스 클릭으로 진행할 수 있다. 평가가 완료되면 결과는 자동으로 데이터베이스에 저장되고, 에세이 변환 기능을 통해 다음 에세이 평가를 신속하게 진행할 수 있다.

Fig. 4. 
Screenshot image of translation

Fig. 5. 
Screenshot image of sentence segmentation

Fig. 6. 
Screenshot image of anonymization

Fig. 7. 
Screenshot image of evaluation

Fig. 8. 
Screenshot image of essay evaluation result

전통적인 에세이 평가방식은 두 개의 엑셀 시트(에세이가 저장된 시트와 평가 점수를 기록할 시트)를 번갈아 보면서 평가를 했기 때문에, 상당히 불편하였다. 본 논문에서 제안된 레이블링 시스템은 앞에서 언급한 기능을 통해, 평가자는 더 간편하고 효과적으로 에세이를 평가할 수 있으며, 시간을 절약할 수 있다. 제안한 레이블링 시스템의 정량적 평가를 위해 [18]의 시스템 사용성 척도(SUS, System Usability Scale) 기반 설문조사를 수행하였다. 설문지 내용은 부록 1을 통해 확인할 수 있다. 30명의 응답자가 각 문항에 대해 1점에서 5점으로 답변하였다. 그림 9는 기존 시스템과 제안 시스템에 대한 시스템 사용성 척도 기반의 설문지 문항별 평균값이다. 제안 시스템이 기존 시스템보다 우수하다는 것을 검증하기 위해 모든 문항의 평균값을 활용하여 기존의 평가 시스템과 레이블링 시스템 간의 t-검정(t-test)을 수행하였다. 귀무가설은 두 시스템 간 평균값의 차이가 없다고 가정하고, 대립가설은 두 시스템 간 평균값의 차이가 있다고 가정한다.

• 귀무가설: H₀ : μ₁ = μ₂
• 대립가설: H₁ : μ₁ ≠ μ₂

Fig. 9. 
Average scores per question in SUS

이렇게 설정된 가설을 기반으로 제안 시스템의 성능이 통계적으로 유의미한지를 검증하기 위해 양측검정을 수행하였다. 이때, 주어진 데이터를 사용하여 귀무가설을 기각할지 아니면 채택할지를 결정하는데 귀무가설이 기각되기 위한 유의수준에 따른 기각역(Critical region)을 결정해야 한다. 이에 대해 95%의 신뢰도를 기준으로 하여 유의수준을 0.05 값으로 결정하였다. 따라서 t-검정을 통해 나온 t-값(t-value)이 기각역에 존재하여 유의확률(p-value)이 0.05보다 작으면 귀무가설은 기각된다.

표 8은 t-검정 결과이다. S₁은 제안한 시스템이고, S₂는 기존 시스템이다. t-Score는 통계학에서 중요한 개념 중 하나로, 주로 가설검정 및 표본 평균의 신뢰구간을 계산하는 데 사용된다. t-Score는 표본 데이터의 평균을 모집단의 평균과 비교하여 모집단에서 표본을 추출한 경우 관찰된 차이가 우연에 의한 것인지 통계적으로 판단하는 데 도움을 준다. t-Score의 절댓값이 클수록 표본 평균과 모집단 평균 간의 차이가 크다는 것을 나타낸다.

결과적으로 t-Score는 9.9350으로, 유의수준이 0.05이고 자유도가 18일 때의 값인 2.101보다 크므로 기각역에 존재한다. 또한, 유의확률(p-value)이 9.873e-09로 유의수준 0.05보다 낮으므로 귀무가설은 기각되고 대립가설을 받아들인다. 즉, 제안된 레이블링 시스템은 기존 평가 시스템보다 우수하다고 말할 수 있다.