생성형 인공지능을 이용한 질문 생성 기반 AI 어시스턴트 북

2.1 배경 이론

프롬프트 엔지니어링(Prompt engineering)은 시스템을 구축하는 '엔지니어링'과 연극에서 사용하는 용어인 '프롬프트'의 합성어이다. AI가 역량을 발휘할 수 있도록 지시어를 적합하게 내려주는 작업을 의미한다[7][8]. 프롬프트는 무엇을 해야 하는지에 대한 명확한 ‘지시‘, AI가 상황을 인식하고 그에 따라 반응하도록 하는 '상황', 데이터를 사용하여 결과를 생성하는 '입력 값'과 결정하는 '출력 형식' 등으로 구성된다. 모델은 입력된 프롬프트를 기반으로 텍스트를 생성하기 때문에, 프롬프트를 지속적으로 조정하고 수정하는 것으로 원하는 결과를 얻을 수 있다[9][10].

제로샷(Zero-shot) 프롬프팅은 예시를 제공하지 않고 간단한 명령어만 입력하여 예상되는 결과를 생성하는 방식이다. 이는 특정 데이터를 사용하지 않고 새로운 작업을 수행하는 것이 목적이다. 추가적으로 작업에 관한 설명과 단일 예시를 제공하는 방식을 원샷(One-shot) 프롬프팅이라고 한다. 퓨샷(Few-shot) 프롬프팅은 두 개 이상의 예시를 사용하여 작업을 수행한다[11][12].

그림 1은 원하는 응답을 얻기 위해 소량의 샘플 정보나 데이터를 사용하는 퓨샷 프롬프팅의 예시이다[13]. 영어를 프랑스어로 번역하려고 할 때, 총 3개의 추가 예시를 보여줌으로써 원하는 결과가 나오도록 이끌어 낼 수 있다. 이때 번역하라는 동작을 작업 설명(Task description), 모델이 수행할 작업을 보여주는 동작을 예시(Examples), 누락된 텍스트가 있는 시작 부분을 프롬프트(Prompt)라고 한다.

Fig. 1.

Example of few-shot promoting

3.1 AI 어시스턴트 북 시스템 개요

AI 어시스턴트 북은 그림 2처럼 책 내용을 텍스트로 변환해서 OpenAI, Pinecone을 사용해 웹 기반 서비스로 구현한다. 독자가 내용을 얼마나 이해하고 있는지 스스로 알아볼 수 있도록 자동으로 생성된 문제를 풀어보는 Q&A 시스템, 문제에 대한 평가를 받을 수 있는 평가 시스템, 마지막으로 틀린 문제에 대한 피드백을 받을 수 있는 시스템으로 구성되어 있다.

Fig. 2.

System overview

랭체인(LangChain) 기반으로 주어진 텍스트를 분석하여 질의응답을 자동으로 생성하는 시스템을 보여준다. 이 시스템은 특정 텍스트에만 국한된 내용을 기반으로 문제를 생성하며, 텍스트에 없는 내용의 경우 GPT의 일반적인 지식을 활용하여 답변을 구성한다. 문제에 답변한 후, 문제 정답에 대한 평가가 실행된다. 평가는 문제의 유형에 따라 세 가지의 다른 방식으로 수행한다. 정답을 틀린 문제는 오답 해설을 통한 피드백을 제공한다. 이때 해설 부분은 빨간색으로 표시하여 가독성을 높인다.

이러한 자동화된 기능들은 책 출판사뿐만 아니라 개별 학습자에게도 큰 이점을 제공한다. 출판사는 해당 책의 내용에 직접 연관된 학습 문제를 제공할 수 있으며, 학습자는 개인화된 학습 경험을 위해 새롭게 생성된 문제를 활용할 수 있다.

사용자는 웹 인터페이스에서 10~20 문제의 세트를 선택할 수 있으며, 제공되는 문제 형식에는 OX, 4지선다, 단답형이 포함된다. 또한, 본 시스템은 사용자가 학습 범위를 지정할 수 있는 기능을 포함하고 있다. 이를 통해 사용자는 사전에 제작된 일반적인 문제뿐만 아니라 특정 단원이나 주제에 대한 문제를 즉시 생성하고 평가받을 수 있다. 지정된 범위 내에서 문제를 해결한 후, 시스템은 상세한 문제 풀이와 평가를 제공하여 학습 효과를 극대화한다.

3.2 질의응답 시스템

책의 내용에 대한 질의응답이 가능하기 위해 랭체인에서 제공하는 Q&A 시스템을 수정하여 사용한다. 랭체인은 다양한 언어 모델을 기반으로 하는 애플리케이션 개발을 위한 프레임워크이다. 언어 모델(Language model)과 여러 가지 기능의 외부 도구를 마치 사슬(Chain)처럼 엮어 결합한다. 랭체인은 전체 데이터에 대해서 Q&A가 가능하다. 그러나 많은 양의 학습은 특정 영역에서만 문제를 제시하기에 불필요한 많은 자원을 소모한다. 제안하는 AI 어시스턴트 북에서는 사용자가 원하는 특정 영역에서만 Q&A 문제를 제공할 수 있도록 그림 3과 같은 6단계의 과정을 거친다.

Fig. 3.

Deploying a langchain-based Q&A system

Document splitting 단계에서는 주어진 문서나 텍스트를 여러 섹션 또는 청크(Chunk) 단위로 분할한다. 분할된 청크는 300개 단위의 오버랩(Overlap)을 통해 각 청크들 사이의 연결고리를 유지하면서 정보 손실을 방지한다. 문서의 구조를 이해하고, 후속 처리를 위해 관리하기 쉬운 작은 단위로 변환해야 한다. Word embedding 단계에서는 청크로 분할된 문서를 벡터 형태로 변환한다. 벡터화된 단어나 문장은 후속 처리에서 더 효과적으로 활용된다.

Word embedding(OpenAI) 단계에서는 사용자 질문을 OpenAI의 기술을 활용하여 단어나 문장의 임베딩을 수행한다. Similarity evaluation 단계에서는 사용자 질문과 책 내용 문장간 유사도를 평가한다. 유사도는 해당 단어나 문장이 얼마나 유사한지를 코사인 유사도로 측정한다.

Scope filtering 단계에서는 유사도 평가를 바탕으로 관련 있는 내용을 필터링한다. 이를 통해 특정 범위나 주제에 관련된 정보만을 선택적으로 추출할 수 있다.

ChatGPT(LangChain) 단계에서는 랭체인의 ChatGPT를 활용하여 사용자의 질문에 대한 답변을 생성한다. 여기서는 앞서 수행된 모든 과정을 바탕으로 사용자와의 상호작용을 통해 적절한 응답을 제공한다.

이 과정을 통해 랭체인 기반 Q&A 시스템은 주어진 텍스트나 문서에서 효과적으로 정보를 추출하고, 사용자의 질문에 정확하게 응답할 수 있다.

3.3 프롬프트를 활용한 문제 생성

ChatGPT API(Application programming interface) 를 사용할 경우, 언어 생성 모델이므로 입력과 출력이 모두 자연어이다. 따라서 문제 생성을 요청할 경우, 이에 대해서 자연어로 문제 제목, 선택지, 정답이 문제 설명으로 주어지기 때문에 이를 파싱해서 원하는 포맷으로 추출해야 한다. ChatGPT API 특성을 고려할 때 동일한 포맷으로 나오지 않기 때문에 OpenAI의 응답을 효과적으로 파싱할 수 없다. 이 때문에 시간에 지남에 따라 결과가 달라질 수 있으며, 안정성이 보장되지 않는다. 이는 HTML 결과를 스크래핑해서 파싱하는 경우와 유사하거나 더 어려울 수 있다.

이러한 문제를 해결하고 문제 형식을 일관되게 생성하기 위해서 제안하는 방법에서는 최근 OpenAI에서 발표한 함수 호출(Function calling) 기능을 사용한다[14]. 이 기능은 GPT에게 함수를 미리 알려주고 필요한 상황에서 함수를 GPT가 호출하는 방식이다. 이를 통해 OpenAI API 사용 시, functions이라는 이름으로 사용 가능한 기능들의 목록을 제공하면, 출력에서 원하는 데이터 형식을 활용할 수 있다.

functions를 정의하는 방법은 함수의 이름(Name)과 설명(Description), 파라미터(Parameter)를 포함하여 작성해야 한다. 필수적으로 필요한 파라미터를 required에 명시한다. 설명에는 사람이 이해할 수 있는 문장으로 작성하고, properties와 required는 JSON 형식으로 작성한다.

문제 생성의 출력 부분을 조정한 후 프롬프트를 이용하여 문제를 생성한다. 표 1은 각 문제에 사용되는 프롬프트를 정리한 표이다. OX 문제의 설명에는 'True or false question' 단어를 사용한다. 파라미터는 Question, Answer, Commentary 총 3개를 사용한다.

Table 1.

Each prompt and output for creating a question

4지선다 문제의 설명에는 '4 choice question' 단어를 사용한다. 파라미터는 Question, No.1, No.2, No.3, No.4, Answer, Commentary 총 7개를 사용한다.

단답형 문제의 설명에는 'One keyword' 단어를 사용한다. 파라미터는 Question, Answer, Commentary 총 3개를 사용한다. 단답식 문제의 경우에는 책의 내용 중 문단의 핵심 단어를 하나만 추출하여 그 단어를 문제의 정답으로 설정한다. 이를 통해 문장이나 두 개 이상의 답을 생성하지 않고 하나의 정답을 생성한다. 또한, 너무 긴 프롬프트는 모델의 출력에 제약을 줄 수 있으므로 필요한 정보만을 포함한다.

문제 생성에 사용된 책은 곰브리치의 서양미술사를 활용한다. 본 책은 다양한 주제를 다루고 있어 프롬프트 엔지니어링을 통한 문제 생성 시, 풍부한 콘텐츠 소스로서 활용될 수 있다. 역사적인 정확성이 높은 편으로 평가받고 있으므로 생성된 문제의 신뢰성이 높아질 것으로 기대할 수 있다. 이러한 특성은 프롬프트 엔지니어링 과정에서 복잡한 개념들을 간소화할 수 있다.

표 2는 서양미술사 책의 내용을 학습한 GPT가 출력한 문제의 예시를 보여준다. 함수 호출 기능을 통해 OX 문제는 Answer의 데이터 형식이 enum으로, True, False 중 한 가지를 정답으로 사용하도록 설정한다. 4지 선다 문제의 경우도 Answer의 설정된 값인 데이터 형식을 enum으로 설정하고 1, 2, 3, 4 중 한 가지를 정답으로 사용한다. 단답식의 경우 Answer의 형식이 핵심 단어 하나로 출력되는 것을 확인한다.

Table 2.

Sample problem output

3.4 문제 풀이 및 평가

문제 풀이 및 평가를 위해 각각 문제에 맞는 정답을 선택하고 답안 페이지로 넘어가면 문제가 틀렸는지, 맞았는지를 확인할 수 있으며 문제를 틀리는 경우 해당 문제의 정답과 해설을 볼 수 있다.

그림 4는 위에서부터 OX 문제, 4지 선다, 단답식 문제와 4지선다 문제에 대한 오답 해설 화면이다.

Fig. 4.

3 Types of questions and incorrect answers

첫 번째 OX 문제의 경우 ’미켈란젤로는 다빈치보다 23년 늦게 태어나 45년 더 살았다.‘라는 구문에서 문제를 출제한 것을 확인했으며, 간결하게 문제를 만들기 위해 45년에 대한 내용을 제외하고 생성한 것을 확인할 수 있다. 두 번째 4지선다 문제의 경우 하나의 단원을 요약하여 4개의 예시를 생성하였다. 이때 책에서 문제를 만들기 부족한 부분은 미리 학습된 ChatGPT API의 정보를 이용하여 생성한 것을 확인하였다. 세 번째 단답식 문제는 문제를 생성하는 방식이 문장의 맥락을 이용하여 정답을 생성하므로 새로운 정답 확인 방법이 필요하다. 따라서 단답식 문제의 평가 방법은 ChatGPT API를 통해 정답으로 제출한 단어와 정답의 유사도를 측정하여 유사도가 높은 경우 정답으로 처리한다. 예를 들어, ’17세기 유럽의 왕과 영주들은 그들의 권력을 과시해서 민중의 마음을 지배하려고 했다.‘라는 구문에서 문제를 생성할 경우 정답은 ’그들의 권력‘이 된다. 그러나 유사도를 측정할 경우 ’권력‘이나 ’자신의 권력‘ 등 문장의 맥락이 비슷할 경우에도 정답으로 처리할 수 있다. 오답 해설은 문제를 틀렸을 경우 빨간색 텍스트를 이용하여 정답에 대한 설명을 출력한다.

4.1 실험 개요

본 실험은 프롬프트 엔지니어링 기술의 적용 여부가 응답의 일관성 및 품질에 어떠한 영향을 미치는지를 알아보기 위해 문제들을 여러 방법을 통해 생성하고 그 결과를 측정한다. 이를 통해 각 문제에 대한 정답과 설명이 일관적으로 출력이 되는지 확인한다. 또한, 세 가지의 다른 유형의 문제 결과에 대한 특정 경향이 나타나는지 측정한다.

표 3과 같이 실험은 프롬프트 엔지니어링 기술을 활용하여 생성된 문제들의 중복성, 다양성, 정답 생성 방식의 결과로 보는 것을 목적으로 한다. 중복성은 동일한 프롬프트에서 얼마나 유사한 문제들이 반복적으로 생성되는지를 확인한다. 다양성은 생성된 문제들이 얼마나 다양한지 확인한다.

Table 3.

Scenarios by Prompt

시스템 구현은 PC 환경에서 파이썬(Python) 언어를 기반으로 OpenAI의 API 기능을 적용하였다. 실험 측정에 사용된 GPT 모델은 GPT 3.5 turbo 모델을 이용하였다. max_tokens 파라미터는 생성할 텍스트의 최대 토큰 수를 지정할 수 있으며, 300으로 설정하여 문제 출력의 길이를 제한한다. temperature 파라미터는 모델의 출력 텍스트의 창의성과 일관성 사이의 균형을 조정할 수 있다. 이에 따라 파라미터를 0.5로 제한하여 창의적인 결과를 얻으면서도 무작위가 아닌 출력을 할 수 있도록 조정한다. 책의 내용은 파이썬의 pdfplumber 라이브러리를 이용하여 txt 파일로 변환하여 ChatGPT API에서 읽을 수 있는 형식으로 변경한다. 각 문제에 따른 프롬프트를 사용하여 문제를 생성하고, 평가 기준에 따라 가장 적절한 결과를 나타내는 것을 선택한다. 생성된 문제가 충족해야 할 몇 가지 기준을 미리 정의하고, 이를 확인하는 절차를 수행한다.

4.2 중복성 실험

첫 번째 실험 항목인 무작위 미적용 시나리오에서는 프롬프트 엔지니어링 기술이 적용되지 않은 상태에서 간단한 명령만으로 문제를 생성한다. 무작위 단어 적용 시나리오에서는 'random'이라는 단어가 포함된 프롬프트 엔지니어링 기술을 적용하여 문제를 생성한다. n번째 문장 무작위 지정 시나리오에서는 전체 문장 중에서 n번째 문장을 무작위로 선택하여 문제를 생성한다. 세 가지 방법을 통해 문제 생성의 중복률을 측정한다.

1-1 시나리오의 OX 문제 중복 횟수는 200회 중 200번으로 나타났다. 이 실험을 통해 한번 사용한 프롬프트를 똑같이 사용하면 생성한 문제를 연속적으로 다시 생성하는 경향이 나타나는 것을 확인하였다.

1-2 시나리오의 문제 중복 횟수는 200회 중 200번으로 나타났다. 이 실험에서는 문제 생성 과정에서 초기 설정 프롬프트에 ‘randomly’이라는 단어를 추가하였으나 같은 응답이 중복으로 생성되는 것을 확인하였다. 이는 1-1 시나리오와 마찬가지로 프롬프트의 변화 없이 동일한 입력이 주어지므로 같은 결과를 얻는 것으로 확인되었다.

1-3 시나리오의 문제 중복 횟수는 200회 중 12번으로 나타났다. 이 실험에서는 반복할 때마다 프롬프트에 약간의 변화를 주어 모델이 다양한 질문을 생성하도록 전체 단원의 문장 중 무작위로 문장을 선택하여 문제를 생성하는 방식이다. 이를 통해 전체 문장에서 n번째 문항을 무작위로 문제를 생성하였다. 중복 문제의 원인은 해당 단원의 내용이 짧을 때 발생하며, 더 이상의 문제를 생성하지 못할 때 지난 문장에서 문제를 생성하기 때문으로 확인되었다.

Table 4.

Results of redundancy experiments

4.3 다양성 실험

두 번째 실험은 모델이 다양한 형태의 문제를 어떻게 생성하는지, 그리고 이러한 문제 생성 과정에서 나타나는 특정 경향성이 무엇인지 파악한다. 그림 5은 세 가지 다른 형식의 문제 생성 시나리오에서 실험 평가 결과를 보여준다.

Fig. 5.

Diversity experiment results

2-1 시나리오에서는 OX 문제를 200개 생성하였다. 이 시나리오에서는 O, X 정답이 각 100개씩 고르게 생성되지 않고 어느 한쪽으로 치우쳐 생성하는 경향성이 발견되었다. 정답이 고르게 분포하기 위해서 프롬프트 바깥에서 각 정답이 절반이 될 수 있도록 처리해야 하는 것으로 확인되었다.

2-2 시나리오에서도 4지선다 문제를 200개 생성하였다. 총 200개 정답의 분포가 특정 번호로 치우치지 않고 각각 40개씩 균형있게 분포하였다. 더불어, 4가지 보기가 문제와 관련되어 생성되었다는 것을 확인하였다. 이는 모델이 다양한 답안을 고려하며 문제를 생성할 수 있음을 나타낸다.

2-3 시나리오에서는 전체 책의 내용 중 특정 문장을 제공하고 문장 안의 핵심 단어를 200개 생성하였다. 200개의 정답이 모두 책의 내용과 연관되어 있는 것을 확인하였다. 이를 통해 책의 내용을 이해하고 핵심 단어를 생성할 수 있음을 확인했다.

4.4 정답 생성 방식 실험

세 번째 실험은 단답식 문제의 정답 생성 방법과 문제 생성 방법에 관한 실험이다. 3-1 시나리오는 아 문제로 만들어 내는 방식을 이용하였다. 이 경우 프롬프트를 통해 문제를 제어할 수 있도록 시도하였다. 그러나 문제의 정답을 한 개가 아닌 복수의 단답형 문제를 생성하거나 문장 단위의 문제를 생성하였다. 또한, 문제 안에 정답이 있는 경우가 발생하였다.

3-2 시나리오는 문장에서 핵심 단어를 생성하고 이 단어가 정답인 문제를 만드는 방식을 이용하였다. 그림 6은 핵심 단어를 먼저 선정하고 문제를 만들었을 경우의 정답에 대한 단어에 대한 빈도를 의미하는 그래프이다. 총 200개의 문제 생성 방식 중 158개의 문제가 3단어 이하로 생성되었다. 3-1 시나리오 방식과 비교하면 그림, 사건, 화가 등 단답형의 문제가 늘어났다. 그러나 마찬가지로 문장형의 문제가 생성되는 것을 확인하였다.

Fig. 6.

Experimental results of answer generation method