전공자와 비전공자 평가 분리 여부 결정을 지원하기 위한 분석 시스템 개발

Ⅰ. 서 론

대학기관연구(Institutional Research)는 대학에서 이루어지는 다양한 기획 및 정책개발 그리고 이와 관련된 의사결정을 체계적으로 지원하기 위한 일체의 활동을 의미한다[1]. 대학기관연구 분야 중 대학이 당면한 문제를 데이터 분석을 통해 해결하는 분야도 해당된다. 최근 본 대학에서는 전공과목 중 교양 수준의 내용으로 과목 개설을 요구하는 수요가 있어 많은 교양과목이 개설되고 있다. 하지만 성적 평가 후에 교양과목의 난이도 등 여러 이유로 학생들로부터 전공자와 비전공자 간 성적에 대한 형평성 문제를 제기하여 결국 성적 평가를 분리해달라는 요구가 있어 왔다.

이에 본 대학은 강의 계획 시 교수의 재량에 따라 전공자와 비전공자 간의 성적 평가를 분리할지 여부를 결정할 수 있도록 하였다. 그러나 현재 시스템은 교양과목 교수자에게 평가 분리 여부 결정을 전적으로 맡겨 놓았기 때문에 교수자가 직접 판단하기에는 어려움이 있다. 그러므로 데이터 분석 결과를 기반으로 교수자의 결정에 도움을 줄 수 있도록 하는 시스템 개선이 필요하다. 본 논문은 전공자와 비전공자 간의 성적 분리 평가 여부를 데이터 분석 결과를 기반으로 결정하기 위한 분석 시스템 아키텍처를 설계 및 구현하고 세 가지 교양과목을 본 논문의 분석 시스템에 적용하여 검증한다.

본 논문의 2절에서는 전공자와 비전공자 간의 성적 차이에 대한 최근 관련 연구와 각 연구에 이용한 분석 기법들에 대해 설명한다. 3절에서는 본 논문이 제안하는 분석 시스템 아키텍처를 설명한다. 다음 4절에서는 분석 과정과 독립표본 t-test 수행 결과에 대해 설명한다. 마지막으로 5절에서는 결론을 맺는다.

Ⅱ. 관련 연구

최근 전공자와 비전공자 간의 차이에 대한 연구는 <표1>과 같이 미용[2][3], 음악[4][5], 식품[6], 무용[7], 생물[8] 등 다양한 분야에서 진행되어 왔다. 각각의 연구들은 다양한 방법들을 통해 연구 대상에 해당하는 데이터들을 수집하여 다양한 통계 기법들로 연구 대상의 전공자와 비전공자 간 차이 유무에 대하여 분석하였다.

Table 1.

Related research

각 연구의 데이터는 설문지를 이용한 설문조사, 피실험자들의 검사 또는 연구 대상에 맞는 평가를 통해 수집되었고 그 데이터들을 독립표본 t-test, 단순회귀분석, 교차분석, 상관관계분석, 경로분석, Mann-Whitney U test, 귀납적 내용 분석을 통해 전공자와 비전공자 간 차이가 존재하는지에 대해 분석을 하였다. 각 분석 방법에 관해 설명하면 다음과 같다.

- 독립표본 t-test[9]: 두 개의 서로 다른 모집단의 평균에 대한 차이의 유무를 검정하기 위해 각각의 모집단에서 추출된 서로 독립적인 두 개의 표본의 평균값을 비교하고, 이를 통해 모집단 간의 차이가 있는지를 확인한다.- 단순회귀분석[10]: 두 변수 간의 인과관계를 조사하는 방법으로 독립변수가 종속변수에 얼마만큼 영향을 주는지에 대해 분석한다. - 교차분석[11]: 범주형으로 구성된 자료들 간의 연관 관계를 확인하여 자료들 간 관련이 있는지, 있다면 관련의 정도가 어느 정도인지를 검정한다.- 상관관계분석[12]: 양적인 두 변수 간의 선형적 관계를 분석한다. - 경로분석[13]: 인과관계를 가진 여러 관측변수 간의 관계를 종합적으로 분석한다. - Mann-Whitney U test[14]: 순위 척도 자료를 가진 집단이거나 집단의 표본 수가 비교적 작을 때에 두 집단의 차이를 분석한다.- 귀납적 내용 분석[15]: 연구자의 직관과 비판적 분석력이 결합된 연구자의 경험에서 출발하는 방법으로, 수집된 연구 자료에서 발견되는 다양한 변인들을 모두 찾아내어 활용하여 분석한다.

표 1에서 무용 분야의 발레 감상 포인트에 대한 연구는 다른 연구들과는 달리 수치 데이터가 아닌 반구조화 면담을 통해 수집된 면담 내용을 연구 데이터로 이용하였다.

본 분석 시스템은 성적 데이터를 이용하여 전공자와 비전공자의 차이 유무에 대해 분석 결과를 보여야 한다.

따라서 두 개의 서로 다른 모집단의 평균에 대한 차이의 유무를 검정하기 위해 독립표본 t-test를 본 분석 시스템의 분석 방법으로 사용한다.

Ⅲ. 분석 시스템 아키텍처

본 논문의 분석 시스템 아키텍처는 기존 수업 관리 시스템과 유연한 통합을 위해 클라우드 컴퓨팅 기술 중 하나인 서버리스 컴퓨팅[16]을 기반으로 한다. 서버리스 컴퓨팅은 별도의 서버 관리가 필요 없어 인프라 운영을 쉽게 만들어주는 새로운 컴퓨팅 패러다임으로 서비스 어플리케이션 개발에 집중할 수 있도록 한다. 본 논문은 애플리케이션 개발과 실행에 필요한 Kubernetes[17] 기반 서버리스 프레임워크인 Kubeless[18]를 이용한다.

그림 1은 기존 학사 관리 시스템과 연동 가능한 본 논문의 서버리스 컴퓨팅 기반 분석 시스템 아키텍처이다. 기존 학사 관리 시스템은 Kubernetes의 API Server를 통해 Kubeless 내 Function을 호출할 수 있다. Kubeless는 Kubernetes API Server에 Kubeless를 위한 Function CRD(Custom Resource Definition)를 생성하고 Function Controller를 통해 관리되도록 한다. Function Controller는 Function Object생성 이벤트를 감시하고 있다가 필요 시 Function을 배포하고 이를 서비스로 노출한다.

Fig. 1.

Analysis system architecture

본 논문은 전공자와 비전공자 평가 분리 여부에 대한 근거 데이터(통계 분석 결과 및 그래프)를 기존 학사 관리 시스템에 제공하기 위해 Kubeless에 서로 다른 모집단의 평균에 대한 차이의 유무를 검정하는 Function을 구현하여 등록하였다.

그림 2는 기존 학사 관리 시스템에서 수업 계획서 작성 중에 성적평가 방법에 대한 의사결정을 도와주도록 구현된 화면이다.

Fig. 2.

Partial screen of syllabus writing

Ⅳ. 분석 과정 및 결과

4.1 분석 과정

본 논문은 전공자와 비전공자 간 성적에 대한 평균 차이가 존재하는지 검정하고 분리 평가 여부를 교수자에게 제안하여 교수자가 이를 수용할 경우 그 결과가 맞는지 분석하고자 한다. 이를 위해 본 대학에서 2018년부터 2020년까지 개설한 교양 과목 중 클라우드컴퓨팅의이해, 기초빅데이터분석, 파이썬프로그래밍기초의 성적 데이터를 이용한다. 클라우드컴퓨팅의이해 과목은 클라우드 컴퓨팅의 기본 이론을 학습하고 Amazon Web Service를 이용한 실습으로 학습내용이 구성되어 있고 기초빅데이터분석 과목은 데이터 분석을 위한 기초 개념 학습과 데이터 분석 언어인 R언어의 기초 문법을 이용한 간단한 데이터 분석 실습 내용으로 구성된다. 그리고 파이썬프로그래밍기초 과목은 파이썬의 기초 문법과 프로그래밍 요소에 대한 학습과 실습 내용으로 구성되어 있다. 과목 내용에서 알 수 있듯이 세 과목은 모두 컴퓨터 전공 관련 과목이다. 본 논문은 이 세 과목을 수강한 학생들의 학부와 학과 정보를 통해 다음 표 2와 같이 전공자와 비전공자로 분류한다.

Table 2.

Classification of major and non-major

본 논문은 분석에 앞서 데이터의 신뢰도를 높이기 위해 익명화, 결측치 처리 등과 같은 데이터 전처리 과정을 진행한다. 그리고 두 개의 서로 다른 모집단의 평균에 대한 차이의 유무를 검정하기 위해 독립표본 t-test를 활용하여 과목별 전공자와 비전공자의 성적 평균 차이의 유무에 대하여 다음과 같은 가설을 세워 평균에 대한 유의확률을 분석한다. 그리고 본 논문의 실험 데이터는 표본의 크기가 작아 신뢰구간에 모수가 포함되지 않을 수 있어 이 통계적 오류의 발생을 최소화하고자 유의수준을 10%로 설정한다.

- H0: 전공자와 비전공자 간의 성적에 대한 평균 차이가 없다.- H1: 전공자와 비전공자 간의 성적에 대한 평균 차이가 있다.

본 논문은 분석 도구로 Python SciPy 라이브러리[19]를 사용한다.

4.2 분석 결과

2018년 클라우드컴퓨팅의이해 과목은 표 3과 같이 총 41명이 수강하였다. 전공자 18명의 평균은 76.06, 비전공자 23명의 평균은 65.22이다. 독립표본 t-test 수행 결과, 유의확률 0.033으로 전공자와 비전공자 간의 성적에 대한 평균 차이가 있다고 할 수 있다. 그림 3은 2018년 클라우드컴퓨팅의이해 과목 분석 결과의 상자 그림이다. 이에 따라 다음 해 클라우드컴퓨팅의이해 과목의 성적 평가 방법을 분리평가 하도록 권장한다.

Table 3.

Analysis results for 2018 Understanding of cloud computing subject

Fig. 3.

Box plot for 2018 Understanding of cloud computing subject

2019년 클라우드컴퓨팅의이해 과목은 표 4와 같이 총 41명이 수강하였다. 전공자 10명의 평균은 74.60, 비전공자 29명의 평균은 63.45이다. 독립표본 t-test 수행 결과, 유의확률 0.088로 전공자와 비전공자 간의 성적에 대한 평균 차이가 없다고 할 수 있다. 그림 4는 2019년 클라우드컴퓨팅의이해 과목 분석 결과의 상자 그림이다. 2018년 클라우드컴퓨팅의이해 과목 성적에 대한 검정 결과 2019년에는 분리평가를 권장하였고 결과는 일치한다.

Table 4.

Analysis results for 2019 Cloud computing subject

Fig. 4.

Box plot for 2019 Cloud computing subject

2018년 기초빅데이터분석 과목은 표 5와 같이 총 42명이 수강하였다. 전공자 16명의 평균은 59.63, 비전공자 26명의 평균은 59.58이다. 독립표본 t-test 수행 결과, 유의확률 0.996으로 전공자와 비전공자 간의 성적에 대한 평균 차이가 없다고 할 수 있다. 그림 5는 2018년 기초빅데이터분석 과목 분석 결과의 상자 그림이다. 이에 따라 다음 해 기초빅데이터분석 과목의 성적 평가 방법을 공동평가 하도록 권장한다.

Table 5.

Analysis results for 2018 Basic big data analysis subject

Fig. 5.

Box plot for 2018 Basic big data analysis subject

2019년 기초빅데이터분석 과목은 표 6과 같이 총 32명이 수강하였다. 전공자 14명의 평균은 61.57, 비전공자 18명의 평균은 58.83이다. 독립표본 t-test 수행 결과, 유의확률 0.738로 전공자와 비전공자 간의 성적에 대한 평균 차이가 없다고 할 수 있다. 그림 6은 2019년 기초빅데이터분석 과목 분석 결과의 상자 그림이다. 2018년 기초빅데이터분석 과목 성적에 대한 검정 결과 2019년에는 공동평가를 권장하였고 결과는 일치한다.

Table 6.

Analysis results for 2019 Basic big data analysis subject

Fig. 6.

Box plot for 2019 Basic big data analysis subject

2019년 파이썬프로그래밍기초 과목은 표 7과 같이 총 43명이 수강하였다. 전공자 13명의 평균은 75.46, 비전공자 30명의 평균은 55.23이다. 독립표본 t-test 수행 결과, 유의확률 0.005로 전공자와 비전공자 간의 성적에 대한 평균 차이가 있다고 할 수 있다. 그림 7은 2019년 파이썬프로그래밍기초 과목 분석 결과의 상자 그림이다. 이에 따라 다음 해 파이썬프로그래밍기초 과목의 성적 평가 방법을 분리평가 하도록 권장한다.

Table 7.

Analysis results for 2019 Basic python programming subject

Fig. 7.

Box plot for 2019 Basic python programming

2020년 파이썬프로그래밍기초 과목은 표 8과 같이 총 40명이 수강하였다. 전공자 20명의 평균은 80.85, 비전공자 20명의 평균은 60.70이다. 독립표본 t-test 수행 결과, 유의확률 0.001로 전공자와 비전공자 간의 성적에 대한 평균 차이가 있다고 할 수 있다. 그림 8은 2020년 파이썬프로그래밍기초 과목 분석 결과의 상자 그림이다. 2019년 파이썬프로그래밍기초 과목 성적에 대한 검정 결과 2020년에는 분리평가를 권장하였고 결과는 일치한다.

Table 8.

Analysis results for 2020 Basic python programming subject

Fig. 8.

Box plot for 2020 Basic python programming

Ⅴ. 결론 및 향후 계획

본 논문은 교수자가 교양과목 분리평가 여부를 판단할 수 있도록 도움을 주기 위해 지난 성적 데이터를 이용하여 검정한 결과를 교수자에게 제공하는 서버리스 컴퓨팅 기반 분석 시스템을 구현하였다. 그리고 본 분석 시스템 환경에서 실제 세 과목의 성적 데이터를 이용해 분리평가 여부에 대한 제안 결과가 맞는지에 대해 분석을 진행하였다. 그 결과 본 분석 시스템의 효용성을 검증하였다. 교수자는 본 분석 시스템을 통해 좀 더 공정한 성적 평가를 이룰 수 있을 것으로 기대한다.

본 논문은 계속해서 컴퓨터 전공 관련 외의 다양한 교양과목에 대해 본 분석 시스템을 평가할 계획이다.

Acknowledgments

본 논문은 2019년 한국정보처리학회 추계학술발표대회에서 “전공자와 비전공자 간의 교양과목 평가 분리 여부 결정을 위한 분석 시스템에 관한 연구”로 발표된 논문을 확장한 것이다.

References

• S. H. Bae and S, K, Yoon, "The Prospect and Barriers of Introduction of Institutional Research to Korea’s Universities", Asian Journal of Education, Vol. 17, NO. 2, pp. 367-395, 2016. [https://doi.org/10.15753/aje.2016.06.17.2.367]
• H. J. Choi, "Study on recognition of cosmetics & functional cosmetics between subject of major in beauty and non-beauty", Master’s Thesis, Aug. 2020.
• R. S. Seo, "A study on Organizational Communication and Organizational Behavior of Beauty Majors and Non-Major", Journal of The Korean Society of Cosmetology, Vol. 25, No. 4, pp. 862-869, 2019.
• H. S. Jo, "Comparison of Auditory Evoked Response between College Students with Music Major and College Students without Music Major", Master’s Thesis, Feb. 2018.
• J. H. Shin, "Analyzing the Differences in Brainwave and Brain Utilization Capability between Music Major and Non-music Major Students", The Journal of Korea Elementary Education, Vol. 28, No. 1, pp. 33-43, Mar. 2017. [https://doi.org/10.20972/kjee.28.1.201703.33]
• J. M. Kim and N. S. Koo, "Comparison of Food Hygiene Knowledge and Performance of Food Major and Nonmajor College Students", Journal of the Korean Society of Food Culture, Vol. 26, No. 4, pp. 323-330, 2011.
• D. Hymers and G. Newton, "Investigating Student Engagement in First-Year Biology Education: A Comparison of Major and Non-Major Perception of Engagement Across Different Active Learning Activities", The Canadian Journal for the Scholarship of Teaching and Learning, Vol. 10, No. 1, 2019. [https://doi.org/10.5206/cjsotl-rcacea.2019.1.7993]
• J. Y. Yoo, "Comparing Ballet Appreciation Points Between Ballet Majors and Non-majors: Based on Compositions of Dance", Master’s Thesis, Jan. 2016.
• J. A. Rice, "Mathematical Statistics and Data Analysis (3rd ed.), Duxbury Advanced, 2006.
• N. Altman and M. Krzywinski, "Simple linear regression", Nature Methods, Vol. 12, No. 11, pp. 999-1000, 2015. [https://doi.org/10.1038/nmeth.3627]
• M. S. Nikulin, "Chi-squared test for normality", Proceedings of the International Vilnius Conference on Probability Theory and Mathematical Statistics, Vol. 2, pp. 119-122, 1973.
• W. Härdle and L. Simar, "Canonical Correlation Analysis", Applied Multivariate Statistical Analysis, pp. 321-330, 2007.
• S. Wright, "The method of path coefficient", Annals of Mathematical Statistics, Vol. 5, pp. 161-215, 1943. [https://doi.org/10.1214/aoms/1177732676]
• T. P. Hettmansperger and J. W. Mckean, "Robust nonparametric statistical methods", Kendall’s Library of Statistics. 5, pp. xiv-467, 1998.
• C. W. Roberts, "Text Analysis for the Social Sciences: Methods for Drawing Inferences from Texts and Transcripts", Lawrence Erlbaum, 1997.
• D. M. Kim and J. G. Son, "Serverless computing technology trends", The Korea Institute of Information and Communication Engineering(Information and Communications Magazine), Vol. 37, No. 8, pp. 39-45, Jul. 2020.
• Kubernetes, https://kubernetes.io, . [Accessed: May. 21, 2021]
• Kubeless, https://kubeless.io, . [Accessed: May. 21, 2021]
• Python SciPy, https://scipy.org, . [Accessed: May. 21, 2021]