생성형 AI란 학습 데이터로부터 텍스트, 이미지 또는 오디오와 같은 새로운 의미 있는 콘텐츠를 생성할 수 있는 인공지능 기술을 지칭한다. ChatGPT의 성공적인 등장 이후, 생성형 AI는 비즈니스, 교육, 의료 및 콘텐츠 생성을 포함한 다양한 산업에 응용되고 있다[12].

생성형 AI, 특히 언어모델 기반의 ChatGPT는 업무 효율성을 크게 향상시킬 수 있다. 많은 초기 사용자와 관리자들은 생성형 AI가 메시지 작성, 보고서 작성, 아이디어 생성 등의 일상적인 작업을 자동화하여 작업의 질과 생산성을 높인다고 보았다[13].

기존의 생성형 AI는 사전학습된 모형이기 때문에 새로운 정보나 특정 분야에 특화된 작업을 수행하기 위한 목적으로는 주로 파인튜닝이나 프롬프트 엔지니어링 기법이 사용된다. 파인튜닝은 사전에 훈련된 모델을 기반으로 해당 작업에 특화된 데이터 세트에서 모델의 매개 변수를 조정하는 과정이다[14]. 프롬프트 엔지니어링은 매개 변수를 조정하는 대신 사용자가 LLM 모델에 자신의 의도를 효율적으로 전달할 수 있도록 돕는 프롬프트의 설계, 개선 및 최적화 과정이다[15].

기존의 연구에서는 프롬프트 엔지니어링의 용어 및 개념을 표준화하거나 성능 개선 차원에서의 프롬프트 연구가 주를 이루고 있다. 현재까지 진행된 연구를 살펴보았을 때 가장 보편적으로 많이 사용되는 프롬프트 엔지니어링 기법들은 다음과 같다. 먼저, 생성형 AI에게 특정 예시를 제공하여 답변을 유도하는 방식으로 Zero-Shot와 Few-Shot이 있다[16]. Zero-shot은 모델이 학습 과정에서 본 적 없는 새로운 클래스를 인식할 수 있도록 하는 학습 방법이다[17]. Few-Shot은 소수의 입력-출력 예시를 제공함으로써 모델이 특정 작업을 이해하도록 돕는 기법이다. 이 프롬프트 기법들은 간단히 사용할 수 있지만, 예시가 많아질수록 더 많은 토큰이 필요하다는 단점이 있다. 또한 예시의 선택과 구성에 따라 모델 성능과 편향에 영향을 줄 수 있다[18]. 따라서 복잡한 추론이나 사고를 요하는 문제에는 적합하지 않다. 복잡한 추론이 필요한 작업을 처리할 때는 주로 Chain-Of-Thought 방식이 사용된다[19]. 연속된 질문을 던지는 방식을 통해 사용자는 생성형 AI가 일관되고 단계적으로 추론할 수 있도록 유도할 수 있다[16]. 이 외에도 예제를 수동으로 만들어 제시하는 Automatic Chain-Of-Thought[20], Tree 구조를 관리하여 추론하는 Tree-of-Thought[21] 등 여러 가지 추론 프롬프트 기법들이 있다. 이들을 통해 복잡한 문제를 다룰 수는 있지만, 질문 구성 및 반복에 따라 성능 편차가 발생할 수 있으며, 자연어 질문의 모호성으로 인해 성능 변동이 생길 수 있다[17]. 이를 해결하기 위해 기호를 사용하는 CoS(Chain-of-Symbol) 기법이나[16], 컴퓨팅 언어 문법 형식으로 프롬프트를 구조화하는 시도가 이루어지고 있다[22].

LLM의 성능을 최적화하기 위한 방법 중 하나로 프롬프트 엔지니어링이 주목받고 있다. 프롬프트 엔지니어링은 사용자가 원하는 출력 결과를 얻기 위해 AI에게 제공하는 입력 형식을 설계하는 과정으로, 모델의 성능을 크게 좌우할 수 있다. 예를 들어, 인공지능 모델의 밴치마크 성능 평가에서 프롬프트 엔지니어링을 사용하여 성능을 향상시킨 연구가 있다[23]. 이 연구는 모델의 구조적 변경 없이, 단순히 입력 형식의 변화를 통해 모델의 성능을 크게 개선할 수 있음을 보여준다.

또한, 별도의 모델 학습 과정 없이도 한국어 평가 문제를 생성하는 연구가 있으며[24][25], 이는 적절한 프롬프트만으로도 데이터 생성 작업을 효율적으로 수행할 수 있다는 점을 시사한다. 이 연구는 특히 비정형 데이터를 효과적으로 처리하는 데 있어 프롬프트 엔지니어링이 유용한 도구임을 보여준다.

서술형 수학 문제의 자동 채점을 위한 연구에서도 프롬프트 엔지니어링이 중요한 역할을 하였다[26]. 이 연구는 AI 모델을 활용하여 복잡한 문제의 해석 및 평가를 수행하는데, 적절한 프롬프트 설정을 통해 그 정확성과 일관성을 높였다.

이러한 선행 연구들은 프롬프트 엔지니어링이 AI 모델의 다양한 응용 분야에서 핵심적인 역할을 한다는 점을 명확히 보여주며, 모델의 특성에 맞는 도메인 특화 프롬프트 설계가 AI의 성능을 극대화하는 중요한 요소임을 시사한다.

본 논문에서는 퍼포먼스 마케팅 기업 PTBWA에서 제공받은 데일리 리포팅 데이터를 활용하였다. 퍼포먼스 마케팅 분야에서 사용되는 데일리 리포팅 데이터의 경우 퍼포먼스 마케팅의 성과를 측정하기 위해 생성된 자료이며, 본 연구에서는 보안상의 이유로 PTBWA에서 제공한 금융 회사 마케팅 더미데이터를 사용하였다.

자료 형식은 엑셀(.xlsx) 이며, 2023년도 04월, 5월, 6월의 데일리 리포팅 데이터를 사용했고, 월에 따라 다른 파일에 저장되어 총 3개의 엑셀 파일을 사용했다. 파일의 데이터는 포털 사이트 홍보 배너(구글, 네이버, 등)와 같은 디지털 홍보 캠페인별로 기록되었으며, 캠페인의 수에 따라 총 10여 개의 데일리 리포팅 데이터 시트가 있다. 각 시트의 행은 레이블(날짜)과, 일간 주요 지표값으로 구성되며, 각 월의 1일부터 말일까지가 행의 수이다.

시트의 컬럼은 레이블(날짜)과 퍼포먼스 마케팅의 주요 지표들(24개)로 구성되며, 주요 지표는 노출, 클릭, 클릭율, CPC, 광고비, 예금+대출율, 유입수, 방문자수, 신규방분, CPS, CPU, 신규방분CPU, 접수수, 심사수, 승인수, 예금+대출, 예금, 대출, 접수CPA, 심사CPA, 승인CPA, CPA, 예금CPA, 대출CPA 의 25개 컬럼으로 구성된다. 금융 회사 마케팅 자료이므로 대출, 예금, 등의 서비스로 이어진 것이 성과 지표이므로 해당 어휘가 주요 지표에 포함된다. 주요 지표들 중 핵심 지표로는 CPC(Cost Per Click), CPS(Cost Per Sales), CPA(Cost Per Action), CPU(Cost Per User)와 같은 핵심 지표들에 대한 정보를 담고 있다. CPC는 사용자가 광고를 클릭할 때마다 광고주가 지불하는 금액을 의미하며 CPS는 매출당 비용을 의미한다. CPA는 사용자가 특성 행동을 취할 때 지불하는 비용이며 CPU는 한 명의 사용자에게 도달하기 위해 지불하는 금액을 의미한다. 디지털 마케터의 주요 업무 중 하나는 퍼포먼스 마케팅에 대한 분석을 토대로 광고 캠페인의 성과를 정량적으로 평가하거나 어떤 전략이 효과적이었는지와 어떤 개선이 필요한지를 판단하는 것이다. 실제로 디지털 마케터는 데일리 리포팅 데이터를 활용해 전일 대비 성과 비교를 통해 개선 사항을 파악하고 진행 중인 광고의 비용 효율성을 검토하는 것뿐만 아니라 알 수 없는 예산 집행이나 입찰가 조정 등과 같은 운영사항을 포함한 종합적인 평가를 수행한다.

본 논문에서는 민감 정보가 마스킹 또는 임의 조정된 3개월 치 데일리 마케팅 데이터와 실제 디지털 마케터가 작성한 리포트 샘플이 활용되었다. 제공받은 데일리 리포트 예시는 다음과 같다(표 1).

최적의 프롬프트 구조를 선정하기 위한 선행 연구 조사 결과, 컴퓨팅 언어의 문법 구조를 적용하면 LLM의 성능이 향상될 수 있음을 확인했다[27]. 해당 연구에서는 프롬프트의 구조와 내용을 유지하면서, 문어체로 표현된 내용을 컴퓨팅 언어로 변환할 경우 LLM의 명령 이해도가 높아지고, 출력의 정확도 또한 향상된다는 결과를 도출했다. 이를 바탕으로 여러 컴퓨팅 언어 포맷을 비교한 논문에서는 마크다운 형식의 프롬프트 구조가 가장 높은 성능을 보였다[28]. 따라서 본 연구에서는 선행 연구를 바탕으로 일본 Note 사의 CXO인 후카츠 타카유키가 개발한 후카츠 프롬프트가 연구의 최적의 프롬프트 구조로 선정했다[29]. 후카츠 프롬프트는 마크다운(Markdown) 형식을 활용하여 명령의 주요 사항들을 명시하는 템플릿으로 구성된다. LLM 모델이 Transformer 기반으로 설계됨에 따라, 프롬프트 입력 시에도 모델의 Attention을 유도하는 방식이 연구되었다[30]. 후카츠 프롬프트는 기본적인 업무를 설명하는 ‘명령문’, 작업 과정이나 출력 결과에 반영되어야 하는 ‘제약조건’, 입력되는 작업 데이터인 ‘입력문’, 그리고 출력 형식이 지정된 ‘출력문’을 각각 마크다운 문법으로 강조하는 구조로 되어 있다. 이를 통해 LLM이 사용자가 강조하고자 하는 내용을 정확하게 답변에 반영할 수 있도록 유도한다. 기본 구조에 더하여 추가적인 중요 내용들을 마크다운 문법 형식에 맞춰 작성하여 강조할 수도 있다. 후카츠 프롬프트를 기반으로 프롬프트를 설계할 경우 디지털 마케터들이 리포트 작성 시 적용해야 하는 다양한 조건들에 맞출 수 있다는 장점이 있다.

최종적으로 설계된 Optimal 프롬프트의 구조는 다음과 같다. 먼저 마크다운 형식을 활용하여 분석하고자 하는 데이터와 주요 운영사항을 명시하였다. 그런 다음, 구체적인 페르소나를 설정하여 마케팅 전문가 관점에서 데이터를 분석/요약하게 하고, 그 이후에는 구체적인 명령을 전달하게끔 하였다. 이 외 부분별 세부 사항을 살펴보면, #출력문 규칙 사항에서는 마케팅 데이터 분석의 결과를 출력할 때 우선으로 지켜야 할 사항들에 대해 명시하였다. 또한 지표별 변동이 특정 범위를 넘어갈 경우를 강조하기 위해 “-3% 이상 적어진 비용 관련 지표"라는 표현을 문장마다 반복하게끔 하였다. #제약 조건에서는 GPT의 전반적인 출력 형태에 대한 사항들을 명시하였다.

#출력문은 전체적인 명령 이후 GPT의 답변을 유도하기 위한 부분이므로, 제약 조건에서 지시한 한 불렛에 한 문장 형태로 대답을 받기 위해 두 개의 ‘-’(대시)를 활용하였다. 입력 및 출력의 예시를 제공하는 “One-Shot”, “Few-Shot”과 같은 방법은 모델이 데이터의 증감 여부와 관계 없이 주어진 예시를 단순히 반복하는 경향이 있어 제외하였다.

설계된 프롬프트를 활용해 생성된 리포트를 종합적으로 평가하기 위해 ROUGE Score를 활용한 정량적 평가와 체크리스트를 활용한 정성적 평가를 진행하였다.

전반적인 연구 과정은 다음과 같다(그림 2). 먼저, 데이터 전처리 단계에서는 결측치 제거 및 KPI 지표 계산 및 KPI 컬럼 생성 작업뿐만 아니라 프롬프트 입력을 위한 데이터셋 전환이 포함된다. 프롬프트에 적용하는 테이블 형식은 일반 text, LaTex, Json 형식보다 Markdown 형식이 입력 토큰 수, LLM 인식 정확도 측면에서 상대적으로 낫다고 판단하여 Markdown 형식을 활용하였다.

두 번째 단계에서는 최적의 프롬프트와 여러 비교 케이스(예: Case1, Case2, Case3)를 설계하고, 이를 활용해 리포팅을 생성한다. 생성된 리포팅의 평가를 위해 리포팅 텍스트의 형식을 맞추고 불필요한 정보를 제거하는 텍스트 전처리 과정을 진행하였다(그림 1). 텍스트 전처리 단계에서는 불용어를 제거하고 %와 소수점을 제외한 구두점을 제거하였다. 이후 단어를 토큰화 시키고 지표명 사이의 띄어쓰기를 제거하였다(Text Preprocessing 1). 분석의 중심이 되는 지표, ‘증감률’, ‘증가’, ‘감소’ 외의 단어는 모두 삭제하고 ‘증가’와 ‘감소’로 통일 시켰다. 단어 배열의 순서를 지표 + 증감률 + ‘증가’ 혹은 ‘감소’ 순으로 정렬하였다(Text Preprocessing 2).

Fig. 1. 
Text preprocessing for ROUGE evaluation

Fig. 2. 
Research process workflow

마지막은 생성된 리포트를 평가하는 단계이다. 여기서는 두 가지 주요 평가 방법이 사용되는데, 첫 번째는 생성된 리포트와 제공받은 리포트 간의 유사성을 ROUGE 점수를 통해 비교하는 유사성 비교 방법이고, 두 번째는 프롬프트의 사용성을 체크리스트를 통해 평가하는 방법이다. 유사성 비교와 사용성 평가 결과를 바탕으로 최적의 프롬프트가 얼마나 효율적인지 검증하였다. 이를 통해 최적 프롬프트의 성능을 확인하고, 필요한 경우 프롬프트를 조정하는 과정을 거쳤다.

후카츠 프롬프트를 활용하여 개발한 Optimal 프롬프트의 효과를 검증하기 위해, 각기 다른 구조의 프롬프트와의 성능을 비교 분석하였다. Type 1은 페르소나 기법으로 모델에게 역할을 부여하여 모델이 더 정확하게 목적과 역할을 인지할 수 있도록 하였다. Type 2는 모델에게 해야 할 일을 명시해 주는 부분이다. Type 3은 데이터 중 주요 지표인 비용 관련 지표에 대해서 명시하고 있다. Type 4 필수조건은 데이터 분석과 관련하여 반드시 있어야 하는 조건이며, Type 5 부가 조건은 프롬프트 연구 과정에서 최적의 답변을 얻기 위해 고려하였던 사항들을 정리한 조건이다. Type 6은 예시를 제공하는 기법으로, 예시를 하나만 제공하는 one-shot 기법을 사용하였다. 최종 프롬프트의 성능을 확인하기 위해 대조군 Case 1, 2, 3 프롬프트를 구성하였다. Case 1의 경우 Type 1~5의 기법들이 사용된 프롬프트이고, Case 2는 Case 1과 다르게 Type 5 부가 조건을 제외하고 Type 6 one-shot을 추가하여 구성하였다. Case 3의 경우는 Type 1~6의 기법들을 모두 사용하여 구성하였다. 최종 프롬프트인 Optimal 프롬프트는 후카츠 기법과 Type 1, 2, 3에 추가적인 규칙사항 및 제약 조건들을 추가하여 구성하였다. 연구에서 사용한 프롬프트 기법과 각 프롬프트의 구성은 (표 4)와 (표 5)을 통해 확인할 수 있다.

Optimal, Case 1, Case 2, Case 3 프롬프트를 통해 생성된 출력문을 레이블 리포트와 비교하여 각 프롬프트의 성능을 ROUGE Score를 사용하여 평가하였다(그림 3, 표 6). ROUGE Score의 ROUGE-1과 ROUGE-2 점수를 사용하여 각 프롬프트의 성능을 구체적으로 분석하였다.

Fig. 3. 
ROUGE score (F1-score) result graph

먼저, Optimal 프롬프트의 경우, ROUGE-1 recall 0.92, precision 0.70, f1-score 0.77을 기록하였다. ROUGE-2 점수는 recall 0.88, precision 0.66, f1-score 0.72로, 전체적으로 높은 성능을 보였다. 이는 Optimal 프롬프트가 단어 선택과 문장 구조, 문맥적 일관성 모두에서 뛰어난 성능을 나타낸다는 것을 의미한다.

Case 1 프롬프트의 성능은 상대적으로 낮았다. ROUGE-1 점수는 recall 0.83, precision 0.57, F1-score 0.63으로, ROUGE-2 점수는 recall 0.76, precision 0.52, F1-score 0.56으로 평가되었다. 이는 Case 1 프롬프트가 단어 선택과 문장 구조에서 Optimal 프롬프트보다 낮은 성능을 보인다는 것을 시사한다.

Case 2 프롬프트는 ROUGE-1 점수에서 recall 0.77, precision 0.70, F1-score 0.68을 기록하였고, ROUGE-2 점수는 recall 0.72, precision 0.67, F1-score 0.63으로 나타났다. 이는 Case 1보다 개선된 성능을 보여주었으며, 특히 문맥적 일관성에서 더 나은 결과를 나타냈다.

Case 3 프롬프트의 경우, ROUGE-1 점수는 recall 0.72, precision 0.66, F1-score 0.65였고, ROUGE-2 점수는 recall 0.65, precision 0.61, F1-score 0.58로 Case 2에 비해 낮은 성능을 보였다.

위 결과를 바탕으로, Optimal 프롬프트가 단어 선택, 문장 구조, 문맥적 일관성 모두에서 가장 우수한 성능을 보이는 것을 확인하였다. 따라서, Optimal 프롬프트는 최적의 리포트를 생성하기 위한 가장 효과적인 프롬프트로 결론지을 수 있다.

체크리스트를 활용해 정성적 평가를 진행한 결과, Optimal의 평균 값(89.8)이 다른 모형(Case 1: 82.03, Case 2: 73.83, Case 3: 82.87)보다 더 높음을 확인할 수 있다 (그림 4). 이는 Optimal 프롬프트를 통해 생성된 리포트가 내용의 정확성, 캠페인 평가에 대한 분석력, 언어 유창성, 사용성 측면에서 모두 뛰어난 성능을 발휘한다는 것을 의미한다. 반면, ROUGE Score에서는 상대적으로 낮은 성과를 보였던 Case 1과 Case 3가 체크리스트 평가에서는 상대적으로 높은 점수를 기록한 점을 고려할 때, 단어 단위의 내용 정확성과 전체적인 프롬프트의 사용성은 항상 비례하지 않음을 확인할 수 있었다.

Fig. 4. 
Average scores for checklist by prompt type