멀티노미얼나이브베이즈 기법의 정교화를 통한 악성 메일 필터링 시스템 구현

Ⅰ. 서 론

비즈니스 거래나 개인 간의 교신으로 메일의 중요성은 증가하고 있으며 법적 효력도 있는 상황에서 스팸메일은 점차 증가하고 있으며, 통계적으로 전체 메일의 45% 이상을 차지하고 있다[1]. 스팸메일 중 광고성 스팸메일은 36% 이상이고 그중에서 신용사가 관련 스팸메일은 2.5%이다. 특히 개인에게 심각한 재산 피해와 개인정보 유출을 하는 피싱 메일은 신용사기 스팸메일 중에서 73% 이상을 차지하고 있다[1]. 스팸 필터링을 하는 방법으로는 메시지 규칙 기반방식으로 데이터베이스에 블랙 리스트나 화이트 리스트 정보를 미리 등록하여 차단 또는 허용하는 방식이 있다. 이의 문제점은 데이터베이스에 관련 정보를 미리 저장해야 효과가 있는 것이다. 이의 문제를 해결하고자 스팸으로 다수 신고된 단어를 해시값으로 데이터베이스에 저장하여 차단하는 방식도 있으나[2] 기존 방식은 데이터베이스에 스팸 정보를 미리 등록해야 차단 효과가 있는 단점이 존재한다. 이를 해결하고 위해서 스팸메일을 보다 효율적으로 필터링하려는 방법으로 본 논문은 기계학습방법 중에서 MultinomialNB를 활용하여 필터링의 정확도를 높였으며 다른 기계학습 방법인 SVM(Support Vector Machine)과 LR(Logistic Regression) 방법으로도 스팸 필터링을 하여 비교분석을 하였다. 본 논문의 구성은 II 장에서 관련 연구를 하였으며 III 장에서는 나이브베이즈 기계학습 방법을 활용하여 스팸 필터링 시 예측오류율을 낮추기 위한 방법을 제시하였고, IV 장에서는 나이브베이즈 기법에 속한 MultinomialNB와 SVM, LR 기계학습 방법 간의 스팸 필터링 시 예측오류율 및 정확도 결과를 비교분석 하였다. V 장은 결론으로 구성하였다.

Ⅱ. 관련 연구

2.5 LR 알고리즘

로직스틱 회귀(Logistic regression) 알고리즘은 로직스틱 함수를 사용하여 0 또는 1의 두 가지 경우의 확률을 추정하는 기법으로서 식 (3)에 기술하였다[11].

$\[ \mathrm{\varnothing }\left(\mathrm{z}\right)=\frac{1}{1+e^{-z}} \]$

(3)

- 그림 1에서 x 축에서 z 가 ∞ 로 향할 때 y축에서 로지스틱 함수 (Ø(z))는 1에 가까워지고, -∞ 로 향할 때 Ø(z)는 0에 가까워짐으로써 결과값은 0 또는 1로 산출된다.

Fig. 1.

Logistic regression function

로지스틱 회귀 알고리즘의 주요 응용 분야로는 스팸메일 판단 및 과거의 품질데이터를 학습하여 제품의 불량 여부를 판단하는 데 활용된다.

Ⅲ. MultinomialNB에 라플라스 스무딩을 적용한 스팸 필터링 방법

[2]에서 나이브베이즈 기법에 속한 MultinomialNB 방법을 활용하여 스팸메일 필터링을 수행하였으며, 본 논문에서는 추가로 SVM 기법과 LR 기법을 활용하여 스팸 필터링을 수행하여 예측오류율과 정확도 산출하였다. 나이브베이즈 기법의 MultinomialNB 방법에서는 오류예측률을 낮추고 예측 정확도 향상을 위해서 예측오류율과 실행시간이 가장 좋은 파라미터 값을 찾기 위해서 12개의 파라미터 값을 활용해서 실행시간과 예측정확도율 및 예측오류율 결과를 산출하였다.

표 1은 multinomialNB의 라플라스 스무딩에 사용되는 알파 파라미터값 유형별로 실행시간을 정리한 것이다[3]. 실험을 위한 데이터 건수는 1,454,489건으로서 알파 파라미터가 0.0001인 경우가 1467.8초로 실행시간이 가장 적게 나왔다.

Table 1.

MultinomialNB execution time by alpha parameter type(Unit: sec)

표 2는 알파 파라미터 유형별로 악성 메일에 대한 예측오류율 및 정확도를 실험한 결과를 기술한 것이다[3]. 알파 파라미터값이 적을수록 예측오류율은 적어지고 정확도율이 상승하였으며, 알파 파라미터값이 증가할수록 악성 메일 예측오류율이 커지면서 정확도율이 감소한다.

Table 2.

Malicious mail prediction error rate of multinomialNB technique by alpha parameter type

표 2에서 측정한 12개의 알파 파라미터 중에서 실행시간과 확률 계산 시 안정성 등을 고려해서 알파 파라미터에 0.0001인 경우를 선택하였다[3]. 표 3은 표 2를 기반으로 예측정확도율을 산출하였다. 표 4는 MultinomialNB 알고리즘과 SVM, LR 알고리즘을 동일한 시스템에서 학습과 예측 시에만 각각의 알고리즘을 실행한 결과이다. 악성 메일 필터링 측정 결과 중 정확도 건수를 측정한 자료로 MultinomialNB 기법이 가장 정확도가 우수한 것으로 결과를 산출하였다. 그림 2는 표 4를 그래프로 표현한 것이다.

Table 3.

Malicious mail prediction accuracy rate of multi nomialNB technique by alpha parameter type

Table 4.

Performance evaluation index comparison among machine learning(Unit: count)

Fig. 2.

Graph of performance evaluation index comparison between machine learning

• - TP: 실제 스팸메일을 스팸메일로 예측한 경우(정답)
• - TN: 실제 햄 메일을 햄 메일로 예측한 경우(정답)
• - FP: 실제 햄 메일을 스팸메일로 예측(오답)
• - FN: 실제 스팸메일을 햄으로 예측(오답)

표 5는 표 4의 성능평가지표 건수를 참조하여 각 기계학습 방법을 적용하여 악성 메일 예측 시 오류율과 정확도율을 산출한 것이다. 스팸 예측 오류율 결과는 MultinomialNB 알고리즘을 활용했을 때의 결과가 8%이고, SVM 기법의 경우 42%, LR 기법의 경우 20%로 측정되었다. 전체 예측오류율 결과는 MultinomialNB기법 적용 결과가 5%, SVM 기법이 26%, LR 기법이 12%로 측정되어서 Multi nomialNB 기법이 가장 정확한 필터링 결과를 보였다. 결과적으로 전체 정확도 비율은 MultinomialNB기법이 95%의 정확도를 나타냈으며 SVM 기법 적용 결과는 74%의 정확도를 나타냈고, LR 측정기법 적용 결과는 88%의 정확도 결과를 나타냈다.

Table 5.

Comparison of prediction error rate and accuracy among machine learning methods(Unit: %)

그림 3과 그림 4는 표 5의 기계학습의 예측오류율 및 정확도율 수치를 그래프로 표현한 것으로서 Naive Bayes 알고리즘은 MultinomialNB기법을 의미한다.

Fig. 3.

Comparison of prediction error rates among machine learning

Fig. 4.

Comparison of accuracy rates among machine learning

기계학습 간 실행시간은 표 6에 기술한 것처럼 MultinomialNB 기법 1,489초가 소요되었고 SVM 알고리즘 적용 결과는 10,301초, LR 알고리즘 적용 결과는 1,963초가 소요되어서 MultinomialNB기법의 실행시간이 가장 적게 산출되었다.

Table 6.

Comparison of execution time among machine learning(Unit: sec)

Ⅳ. 결 론

악성 메일 예측오류율을 감소시키기 위해서 본 논문은 나이브베이즈 기계학습기법 중의 하나인 multinomialNB 기법을 활용하여 학습을 통하여 악성 메일 예측오류율을 감소시키고 정확도를 향상했다. 본 논문에서 적용한 방법은 multinomialNB 알고리즘 기법을 기반으로 라플라스 스무딩 기술을 적용하여 악성 메일에 대한 예측오류율을 감소시켰다. 특히 라플라스 스무딩 기술을 효과적으로 활용하기 위해서 라플라스 스무딩을 제어하는 알파파라미터 값을 실행시간과 예측오류율을 고려해서 가장 적절한 값인 0.0001을 선정하여 실험하였다. 본 논문에서 적용한 알고리즘 기법이 실행시간과 악성 메일에 대한 예측오류율에서 다른 기계학습기법인 SVM이나 LR 알고리즘 기법을 활용하여 산출된 결과와 비교분석을 하여 상대적인 우수성을 입증하였다.

결론적으로 수신된 메일 중에서 악성 메일 여부를 판단하기 위해서 기계학습을 적용 시에는 multinomialNB 알고리즘 기법 기반하에 라플라스 스무딩 기술을 적용하고, 정확도와 성능에 영향을 끼치는 알파 파라미터값에 가장 적합한 값을 선정하여 악성 메일 필터링을 하는 것이 가장 합리적인 방안인 것으로 보인다.

References

• D. Sorkin, "SPAM LAWS", SpamLaws, 2019. https://www.spamlaws.com/spam-stats.html, . [accessed: May 30, 2023]
• S. Byun and J. Kim, "Spam message filtering system using message digest algorithm", Proceedings of KIIT Conference, pp. 120-123, May, 2014.
• K. Ji, "A new malicious mail filtering method using Naïve Bayes technique on efficiently tuned Hadoop framework", Chungnam Nation al University, Daejeon, Korea, pp. 18-20, 74-101, Feb, 2023.
• J. Jang, "easy understanding for AI 3-2, Naive Bayes classification algorithm", ZDNET Korea, 2022. https://zdnet.co.kr/view/?no=20220530181623&re=O_20220530181623&p=4, . [accessed: May 30, 2023]
• V. Jayaswal, "Laplace smoothing in Naive Bayes algorithm", Towards DataScience, 2020. https://towardsdatascience.com/laplace-smoothing-in-naive%C3%AFve-bayes-algorithm-9c237a8bdece, . [accessed: May 30, 2023]
• D. Somvanshi, "A survey on spam filtering methods and Map-Reduce with SVM", International Research Journal of Engineering and Technology(IRJET), Vol. 4, No. 3, pp. 490-494, Mar. 2017.
• Shreyak, "Spam Mail Detection Using Support Vector Machine", Becoming Human:Artificial Intelligence Magazine, 2020. https://becominghuman.ai/spam-mail–detection-using-support-vector-machine-cdb57b0d62a8, . [accessed: May 30, 2023]
• O. Amayri and N. Bouguila, "A study of spam filtering using support vector machines", Springer Science, pp. 73-108, May 2010. [https://doi.org/10.1007/s10462-010-9166-x]
• M. Oh, A. Park, Y. Kim, and J Jin, "Research of anomaly detection technique based on machine learning", Korea Institute for Health and Social Affairs, pp. 42-43, Dec. 2019.
• D. Jeon and D. Park, "Malware Detection in Encrypted TLS Traffic using Machine Learning Techniques", Journal of KIIT, Vol. 19, No. 10, pp. 125-136, Oct. 2021. [https://doi.org/10.14801/jkiit.2021.19.10.125]
• Natasha Sharma, "Spam Detection with Logistic Regression", Towards DataScience, 2018. https://towardsdatascience.com/spam-detection-with-logistic–regression-23e3709e522, . [accessed: May 30, 2023]