성취기준 통합 데이터 모델을 통한 성취평가 지원 시스템 모델링

Ⅰ. 서 론

교과 성취기준(Achievement Standards)는 학습자가 배워야 하는 지식과 수행해야 할 기능에 대한 기준으로서 무엇을 가르치고 배울 것인가를 명시적으로 설명하는 상세 기준이라 할 수 있다. 성취평가제는 상대적 서열에 따라 누가 더 잘했는가를 평가하는 것이 아니라 무엇을 어느 정도 성취하였는가를 성취기준에 도달한 정도를 나타내는 성취수준으로 평가한다. 성취수준은 5등급(A-B-C-D-E) 또는 3등급(A-B-C)으로 분류된다[1]. 국가 교육과정에서는 제 7차 교육과정에서부터 교과 성취기준의 정의와 보급을 중요하게 여겨왔으며 2007 개정 교육과정과 2009 개정 교육과정에서 핵심 성취기준과 성취수준의 정의를 거쳐 최근의 2015 개정 교육과정에서는 교육 현장에서의 적용의 용이성을 높이고 성취수준 평가제를 유도하기 위해 평가기준을 개발 및 보급하고 있다[2][3].

2015 개정 교육과정의 핵심은 교육과정의 질 관리와 학습 성취수준 평가제의 도입 및 적용으로서 이를 달성하기 위하여 평가준거 성취기준, 교과 단원 성취기준, 단원/영역별 성취수준, 교수⦁학습과 연계된 평가 문항 등을 초중고 각 교과별로 개발하였으며 국가 교육과정 정보센터 포털 및 온⦁오프라인 워크샵 등을 통하여 일선 학교와 교육자들에게 배포하고 있다. 현재 NCIC 국가 교육과정 정보센터(http://ncic.go.kr)에서 수집 가능한 성취기준 자료의 유형은 게시판에서 다운로드 가능한 문서파일(PDF 또는 한글파일)과 학생평가지원 포털(http://stassess.kice.re.kr/)을 통한 성취기준 DB 검색 결과이다.

그러나 교사 입장에서는 성취기준 및 성취수준에 대하여 학습하고 이해하는 수준을 넘어서 성취기준에 기반하여 수업 계획을 설계하고 교수⦁학습을 통해 학생들의 성취수준을 평가하며 성취수준에 대해 상세한 피드백을 제공하기 위해서는 성취기준 및 성취수준 지원 시스템이 필수적이다[4]. 즉, 성취기준 데이터의 검색, 상호 연계, 수업 계획 및 학습 활동에의 활용 및 공유 등을 지원하기 위해서는 성취기준 데이터를 중심으로 교수학습 설계, 평가 및 평가 분석, 학습 피드백 데이터의 통합 모델링과 지원시스템이 필요하다[5][6].

본 논문에서는 2015 개정 교육과정에서 제시한 평가준거 성취기준 및 성취수준의 계층 구조화와 함께 이를 기반으로 교수학습 계획, 성취수준 평가, 성취수준 피드백을 위한 데이터 모델을 제안한다. 성취기준은 교과내용 성취기준과 평가준거 성취기준으로 구성된다. 이들 성취기준 사이의 계층구조 및 교과 학습 내용과 수준에 대한 계층구조를 정의함으로써 특정 학습 개념의 상위, 하위, 선행, 후행 학습 개념들을 파악할 수 있으며 학습 피드백 단계에서 보다 구체적인 학습 경로를 제시할 수 있다.

한 학기 수업의 과정은 수업설계, 교수학습활동, 학습평가, 평가분석, 피드백의 흐름으로 진행된다. 이 흐름의 각 단계에서 산출되는 자료들은 반드시 성취기준 데이터와 연계되어야 하며 이를 통해 보다 정확하고 상세한 성취평가 결과를 산출할 수 있다. 이러한 목적에 따라 본 논문에서는 교수학습 프로세스 각 단계에서의 산출되는 자료에 대한 데이터 모델링을 통해 성취기준 기반 데이터 모델을 제안하고 평가 데이터 분석을 통한 성취수준 판단과 피드백 방법을 제안한다.

본 논문은 구조는 다음과 같다. 2장에서는 교육과정 성취기준 및 평가준거 성취기준에 대해 살펴보고 3장에서는 성취기준 기반 교수학습 설계, 평가 및 피드백 처리를 위한 시스템 아키텍처를 정의한다. 4장에서는 수업계획서, 평가 및 평가 분석, 학습 피드백 데이터 모델링으로 설계된 데이터 모델을 설명하고 5장에서는 제안된 데이터 모델의 유효성을 평가하고 프로토타입 시스템의 구현 결과를 제시한다. 6장에서는 논문의 결론과 향후 연구에 대해 서술한다.

Ⅱ. 관련 연구

2.2 미국 교과과정 성취기준

미국 교과과정은 각 주마다 별도의 교육청에서 제정한다. 교육과정의 각 교과목은 성취기준을 정의하고 있다. 각 주의 교과과정에서 정의하는 성취기준을 교과목에 따라 매핑하여 검색할 수 있도록 성취기준 링크드 데이터 데이터베이스를 구축하고 있는데 이를 Achievement Standards Network(ASN)이라 한다[9]. ASN은 성취기준 계층구조 정의 및 동일 교과목에 대한 서로 다른 성취기준들 사이의 매핑 관계를 제공한다. 또한 성취기준의 브라우징 및 검색 기능을 제공하며 성취기준과 교수학습, 평가 등의 연결을 지원한다[10]. 예를 들어 그림 1은 캘리포니아 교과과정 중 수학 교과의 성취기준 계층구조와 성취기준 메타데이터를 보여주고 있다.

Fig. 1.

Achievement statements metadata and hierachy relationships of the California math curriculum

교과과정 문서에 서술된 성취기준 문서와 성취기준들 사이 및 성취기준들 사이에는 상하 계층구조가 있으며 ASN 데이터 모델에서는 성취기준 문서와 성취기준 사이에 <dcterms:isPartOf> 관계를 정의하며 성취기준들 사이에는 <gem:isChildOf> 관계를 정의한다. 현재 ASN 저장소에는 700여 개 이상의 미국 각 주에서 제정한 K-12 교육을 위한 성취기준 문서들을 저장하고 있으며 국가 및 주 정부 자료 외에 민간 교육기관의 성취기준 뿐만 아니라 호주 국가, 주 및 지역 교육기관의 공식 성취기준 자료 또한 상호 연결하여 저장하고 있다.

그러나 ASN은 성취기준 데이터 저장소로서 성취기준 문서 및 성취기준 데이터의 검색과 RDF 문서의 다운로드 등의 기능만을 제공하며 성취기준과 연계되어야 할 교수학습자료, 평가자료 및 피드백 등의 교수학습 프로세스와의 연계에 대한 처리는 고려하지 않고 있다. 본 논문에서는 ASN 데이터 모델 및 RDF 명세 방법 등을 분석하고 메타데이터 요소를 참조하여 성취기준 클래스 및 속성 정의에 반영하고 있다.

Ⅲ. 성취기준 기반 성취평가관리 시스템 모델링

성취기준 기반 학습평가 프로세스는 평가준거 성취기준 기반 교수학습계획 수립, 교수학습활동 수행, 평가계획 수립, 평가 수행, 평가 분석, 분석결과 확인 및 피드백으로 이루어진다. 이 프로세스의 기반에는 교과내용 성취기준 및 평가준거 성취기준 데이터베이스가 필요하다. 프로세스의 각 단계에서 생성되는 데이터는 반드시 평가준거 성취기준과 연계되어야 하며 이를 통해 성취기준 기반 학습자료 생성 및 검색, 평가자료 생성 및 성취수준 평가 등이 가능하다.

그림 2는 성취기준 기반 교수학습평가관리 시스템의 핵심 컴포넌트를 보이고 있다. 시스템 컴포넌트는 크게 성취기준 관리 모듈, 교수학습데이터 관리 및 검색 모듈, 평가데이터 관리 및 검색 모듈과 피드백 모듈로 구성된다.

Fig. 2.

Architecture of achievement standards-based teaching, learning and evaluation system

시매틱모델 관리 모듈은 성취기준, 교수학습, 평가 자료의 데이터 모델링을 담당하며 저장소관리 모듈을 통해 이들 데이터를 저장소에 저장한다. 시맨틱 모델은 클래스/속성 모델로서 성취기준, 교수학습, 평가 및 학습개념 등의 데이터 구조를 정형 모델화하며 클래스들 사이의 의미 관계를 정의한다. 각 자료에 대한 자세한 클래스 모델은 4장과 5장에서 설명하고 있다. 성취기준 데이터 검색 서비스 모듈은 다양한 검색 기준에 따라 성취기준 데이터 및 성취수준 데이터를 검색할 수 있으며 성취기준과 연계된 교수학습 및 평가계획 데이터를 검색할 수 있다.

평가 데이터 검색 서비스 모듈은 평가 분석 결과 데이터를 검색할 수 있다. 평가에 따른 학생들의 성취수준, 정답율, 평균, 그리고 성취수준별 정답율, 평균, 문항별 난이도, 변별도 등 여러 유형의 평가 데이터를 검색할 수 있다. 학습맵은 학습단위와 그 단위들 사이의 링크를 정의한 그래프 기반 데이터로서 학습내용의 선후관계 및 연관관계를 보여준다. 학습맵 관리 모듈은 학습맵 생성 및 변경, 저장, 검색 등을 지원하며 피드백 데이터와 연계되어 재학습이 필요한 학습단위의 학습경로를 생성하는 기능도 제공한다. 적응형 피드백 서비스는 평가에 따른 성취수준별 평가 결과 데이터를 피드백 데이터로 요약하여 제공한다. 성취수준에 따라 재학습이 요구되는 교과내용의 경우 학습맵과 연계하여 필요한 학습경로를 추천한다.

Ⅳ. 성취기준 기반 교수학습 설계 및 평가 데이터 모델링

4.1 성취기준 데이터 모델링

성취기준 데이터 모델링을 위하여 성취기준 문서에 서술된 데이터 구조를 분석하면 그림 3과 같이 핵심 엔티티들과 그들 사이의 관계를 나타낼 수 있다. 초중고 학년급별 교과를 중심으로 각 교과의 단원별로 교과내용 성취기준을 가지며 다시 그 하위에 평가준거 성취기준을 가진다. 각 성취기준은 상중하 성취수준을 가지며 이들 성취수준들이 모여서 단원별 성취수준을 결정한다.

Fig. 3.

Architecture of achievement statements

데이터 모델 설계를 위해 상향식(Bottom-Up) 관점에서 보면 성취기준 하나의 구조를 정의하고 성취기준과 성취수준, 성취기준 계층구조, 교과내용, 학습단원, 교과 등으로 확장해 나가면서 데이터 모델을 정의할 수 있다. 2장에서 서술한 바와 같이 성취기준 데이터 하나의 구조는 Statement = <id, description>으로 정의할 수 있다. 즉, 성취기준 코드(식별자)와 성취기준 서술 문장으로 정의된다. 하나의 성취기준은 그 기준에 대한 학습 성취수준을 나타내기 위해 A, B, C 또는 A, B, C, D, E로 정의되는 성취수준을 가지며 성취기준들을 그룹화하기 위해 상위에 교과 단원 및 그 상위에 교과를 가진다. 이러한 구조 분석에 따라 그림 4와 같이 성취기준 클래스 모델링을 수행하였다.

Fig. 4.

Class model for storing of achievement statements data

교과내용 성취기준과 평가준거 성취기준 데이터를 저장하기 위한 클래스는 각각 EvaluationCriteria, AssessmentStandards이며 Statement 클래스를 상속한다. 각 교과별 성취기준 정의 문서에 대한 메타데이터는 Standards 클래스에 정의되며 성취수준은 AchievementLevel 클래스에 정의된다. 성취수준은 각 성취기준별 성취수준과 교과 단원별 성취수준으로 상세화되며 각각 StatementLevel과 UnitLevel 클래스에 정의된다.

Statement 클래스의 속성은 code, seq, stmt이며 각각 성취기준 코드, 성취기준 순서, 성취기준 서술문을 저장한다. 성취기준 순서는 성취기준 계층구조 상에서 상위 수준 성취기준의 하위 성취기준들 사이에 존재하는 우선순위를 가리킨다. 이는 상위 수준 성취기준을 충족시키기 위해 하위 성취기준들을 순서에 따라 충족해야함을 의미한다.

4.2 성취기준 기반 수업설계안 모델링

성취기준 기반 교수학습을 위해서는 매 차시 수업설계안에 성취기준, 수업내용, 탐구활동 등이 포함되어 있어야 한다. 성취기준 기반 수업설계안은 교수학습 설계도로서 교수자에게는 성취기준에 따라 무엇을 중점적으로 가르치고 학습을 유도하고 평가할지를 알려주고 학습자에게는 성취기준에 따라 어떠한 학습활동으로 어떠한 수준으로 도달해야 하는지를 알려준다.

교육과정평가원, 학생평가포털 등에서는 성취기준 수업설계안 양식을 제공하고 있으나 교수자마다 다른 형식의 수업설계안을 자유롭게 사용하고 있다. 따라서 하나의 단일화된 수업설계안 양식을 정의하고 데이터 필드 수준에서 서로 다른 형식의 수업설계안 데이터를 통합하는 방식보다는 교수자들 사이에 다양한 형식의 수업설계안을 공유하고 재활용하도록 메타데이터를 정의하고 수업설계안을 연결하는 것이다.

그림 5의 수업설계안 클래스 모델링에서 수업설계안 클래스는 UnitSyllabus이다. 학년, 작성자, 수업일자, 수업내용, 수업주제, 수업목적, 수업설계안 문서 주소 등을 데이터 속성으로 정의하고 있으며 교과단원, 학년군, 성취기준 문서, 성취기준 등을 객체 속성으로 정의하여 엔티티 관계를 설정하고 있다. 교수자는 수업설계안의 메타데이터를 활용하여 교과단원별, 교과주제별, 성취기준별 등의 다양한 기준으로 수업설계안을 검색하고 해당 문서를 획득할 수 있으며 자신의 수업설계안 작성 및 다양한 수업계획, 성취기준 탐구활동 계획 등에 활용할 수 있다.

Fig. 5.

Class model for storing and sharing syllabus based on achievement standards

4.3 성취기준 기반 평가 모델링

성취수준 평가는 평가계획, 평가, 평가분석, 피드백의 과정으로 수행된다. 초중고 학교들에서는 대부분 중간 및 기말 지필고사와 탐구수행평가로 나누어 학생들의 성취수준을 평가한다. 학교 현장에서는 변별력 및 객관성 측면에서 탐구수행평가보다는 지필고사에 더 의존하여 학생들의 성적을 평가하고 성취수준을 결정한다. 따라서 평가 계획 단계에서 작성해야 하는 중요한 요소는 이원목적분류표로서 문항별 정답지, 예상 난이도, 예상 정답률 및 성취수준 분류 기준 점수 등을 기술한다. 평가 계획에 따라 평가를 진행한 뒤 학생들의 답지를 채점하여 그 결과를 분석함으로써 문항별 정답률, 난이도, 변별도, 학생별 성취수준, 성취기준별 성취수준 등을 다양한 정보를 추출하고 분석할 수 있다.

현재 교육과정평가원의 학생평가지원포털에서 제공하는 평가 분석 프로그램에서는 성취도 특성 비율과 문항 특성 비율 데이터를 제공한다. 분석 데이터를 통해 교사는 평가 문항별 난이도 적정성, 성취수준별 학생 비율, 수업의 난이도와 학생의 이해 정도 등에 대한 이해를 얻을 수 있으며 이를 통해 수업 및 평가 개선을 시도할 수 있다.

그러나 평가 분석 데이터의 접근성과 활용성 측면에서 볼 때 평가 분석 데이터는 저장되고 공유되어야 한다. 즉, 평가 분석 결과를 분석하고 그 결과를 성취수준 피드백 및 교수학습 개선 활동에 적용하기 위해서는 평가 결과를 저장하고 여러 관점에서 검색 및 분석할 필요가 있으며 교사들 사이에 공유될 수 있어야 한다.

그림 6의 성취기준 기반 평가 데이터 모델링에서는 평가 계획 및 평가 분석 단계의 산출 데이터들에 대해 클래스와 관계 속성을 정의하고 있다. Exam, Question 클래스는 각각 평가지 및 평가문항을 정의하고 TwoSpecTable 클래스는 이원목적분류표를 정의한다. 각 Exam 객체는 하나 이상의 TwoSpecTable 객체를 가질 수 있으며 평가 결과 데이터를 저장하는 CompletedExam 객체를 가진다. 평가 분석을 위한 클래스는 QuestionResponse, QuestionScore, EvaluatedStudent, EvalStudentQuestion으로 문항별 응답율, 정답율, 난이도, 변별도, 학생별 성취수준, 성취기준별 성취수준 등을 정의한다.

Fig. 6.

Class model for achievement evaluation and feedback based on achievement standards

Ⅴ. 학습 성취수준 피드백

피드백은 학생의 현재 성취수준과 학습 수 도달해야할 목표 성취수준 사이의 차이에 대한 정보를 제공하는 것으로서 좁은 의미에서는 평가 문항의 정답 여부 및 총점, 평균 등의 성적 정보를 제공하는 것이며 넓은 의미에서는 학생이 도달해야할 지식, 기술, 능력 측면에서 잘하는 것과 부족한 것을 포함한 모든 정보를 제공하는 것을 가리킨다[11]. 성취평가제에서의 피드백은 학생에 대한 피드백뿐만 아니라 교사에 대한 피드백도 중요하게 여기며 궁극적인 피드백의 목표를 교수학습의 개선에 두고 있다. 따라서 피드백 데이터 또한 기본적인 시험 문항의 정오답 및 성적 정보뿐만 아니라 교수학습, 평가 프로세스를 개선할 수 있는 충분한 정보를 포함하여야 한다.

학생에의 피드백은 현재 성취수준에 대한 정보뿐만 아니라 개선의 방향도 포함되어야 한다. 그러나 현재의 피드백 데이터는 기본적인 평가 결과인 문항 정오답, 총점, 평균, 표준편차 등만 포함하고 있으며 학습 성취의 개선을 유도할 수 있는 정보는 포함되어 있지 않다. 성취수준이 부족한 학습 영역 또는 학습 개념에 대한 안내와 재학습을 유도할 수 있는 학습 경로를 제공할 필요가 있다. 성취수준 피드백 데이터는 크게 평가 분석 데이터와 학습 경로 데이터로 구성된다. 평가 분석 데이터는 정량적인 데이터로서 수행 및 지필 평가에 따른 성적, 정답율, 성취율, 성취수준 등이고 학습 경로 데이터는 학습맵으로 낮은 성취수준의 성취기준과 연관된 학습단원들과 그 단원들 사이의 학습 연관 관계를 정의한 것이다.

예를 들어, 한 학생에 대해 그림 7과 같이 다양한 수준과 유형의 피드백 데이터 검색 프로세스를 설계할 수 있다. 과학 교과를 예로 든다면 먼저 현재 시점에서의 과학 교과에 대한 종합적인 성취수준을 검색한다. 세부적으로 단원별 성취수준을 검색하고 낮은 성취수준을 보이는 특정 단원들에 대해 연관된 성취기준 및 수행평가, 지필평가에 대한 성취수준을 검색한다.

Fig. 7.

Steps for achievement feedback

지필평가의 경우 정답율이 낮은 문항들을 검색하고 그 문항과 연관된 성취기준을 통해 학습개념들을 검색할 수 있으며 최종적으로 재학습이 필요한 학습단위들과 그들 사이의 학습경로를 탐색할 수 있다. 이를 통해 학생들은 자신의 성취수준에 대해 다양한 수준에서 확인할 수 있고 향후 이를 보완하기 위한 학습 계획을 수립할 수 있다.

학습맵을 구성하는 학습단위와 학습경로는 그림 8과 같이 LearningUnit, LearningConcept 클래스와 표 1과 같은 관계들로 정의된다.

Fig. 8.

Learning units and paths of the learning map

Table 1.

Relationship types between learning units of the learning map

피드백에 의해 재학습이 필요한 학습단위는 낮은 성취수준의 평가준거 성취기준들이 정의된 상위 교과내용 단원들이다. 이들 특정 학습단위를 산출한 표 1과 같은 관계에 따라 이전 또는 이후 학습단위들을 연속해서 탐색하여 학습함으로써 미흡한 학습을 보완할 수 있다.

Ⅵ. 모델 구현 및 평가

본 논문에서 제안한 데이터 모델의 성능을 평가하기 위해 그림 9와 같이 프로토타입 웹페이지를 작성하여 현재 학생평가지원 포털에서 제공하는 성취기준 검색 서비스와 비교하여 데이터 검색 범위 및 데이터 연계 관점에서 차별점을 분석하였다.

Fig. 9.

Achievement-related data retrieval web page based on the proposed data model

그림 10의 학생평가지원포털의 성취기준 검색 페이지에서는 학년군, 교과 등의 검색 기준으로 특정 교과의 성취기준 자료를 검색하여 표 형식으로 나열하여 표시한다.

Fig. 10.

Achievement retrieval page of the student assessment support portal

즉, PDF 파일로 제공되는 성취기준 자료와 동일한 내용을 웹페이지 형식으로 보여주는 단순한 형식을 제공한다. 이에 반해 본 논문의 성취기준 데이터 모델과 검색 페이지는 성취기준 데이터를 중심으로 다음의 상세 정보를 보여준다.

- 성취기준 데이터 계층 구조
- 성취기준 연계 교수학습계획
- 성취기준 연계 평가정보
- 성취기준 연계 상세 피드백 정보
- 성취기준 연계 교과내용 연관 정보

그림 11은 개별 학생의 성취기준 기반 성취수준에 대한 상세 리포트의 예시를 보이고 있다. 학생의 성취수준에 대한 피드백 데이터는 과목별 종합 성취수준과 교과 단원별 성취수준, 성취기준별 성취수준 등으로 구성된다. 다양한 기준에 대한 성취수준을 검색함으로써 각 학생 및 교사는 재학습이 요구되는 특정 단원과 성취기준을 쉽게 확인할 수 있으며 성취수준을 향상시킬 수 있는 학습경로를 설계할 수 있다.

Fig. 11.

Dashboard webpage for showing achievement levels of a student

Ⅶ. 결론 및 향후 과제

국가 교육과정에서는 제7차 교육과정에서부터 최근의 2015 개정 교육과정까지 교육과정을 개정할 때마다 초중고 교과별로 성취기준 및 평가기준을 개발하고 보급함으로써 교육과정의 질 관리와 함께 학교에서의 체계적인 성취수준 평가 활동을 돕고 있다. 성취기준은 각 교과목에서 학습을 통하여 학생들이 성취해야 할 지식, 기능, 태도 등의 능력과 특성을 기술한 것이며 평가기준은 각각의 성취기준에 대해 학생들이 성취한 정도를 몇 개의 수준으로 나누어 각 수준에서 기대되는 성취 정도를 구체적으로 서술한 것을 가리킨다.

지식을 얼마나 많이 알고 있는가를 평가하는 단편적 지식 습득 평가에서 지식으로 무엇을 할 수 있는가를 평가하는 핵심 역량 중심의 성취평가제로의 전환을 위해서는 성취기준 및 평가기준에 대한 이해와 적용이 중요하다. 각 학교에서는 수업계획, 교수학습활동, 평가계획 및 평가분석, 피드백 등의 전 단계에서 성취기준 및 평가기준 자료를 반영하여야 하며 생성된 교수학습 및 평가 자료들을 축적하고 재사용 및 공유할 수 있어야 한다.

본 논문에서는 이러한 요구사항을 충족하기 위하여 성취평가 지원 시스템 구축을 위한 기반으로서 성취기준 및 평가기준 통합 데이터 모델을 설계하고 있다. 첫째, 성취기준 및 평가기준 데이터 구조를 분석하여 클래스, 속성 및 계층관계를 정의하였으며 둘째, 성취기준 기반 수업계획을 위한 수업설계안 데이터 모델을 설계하였다. 셋째, 이원목적분류표 등 평가계획 데이터 저장을 위한 클래스, 속성을 정의하고 성취기준, 성취수준, 수업계획 등과의 관계를 정의하였으며 넷째, 평가결과 분석 및 저장, 성취수준 피드백을 위한 클래스 및 관계 모델을 설계하였다.

향후 연구에서는 본 논문에서 정의한 클래스 모델을 기반으로 RDF/OWL 시맨틱 데이터를 생성하며 데이터 인스턴스를 구축하고 이를 토대로 성취평가 시스템을 구축하고자 한다. 또한 실제 학교 현장에의 적용을 통하여 데이터 모델과 시스템의 유효성을 검증하고자 한다.

Acknowledgments

이 논문은 2017년도 교육부의 재원으로 한국연구재단의 지원으로 수행된 기초연구사업임 (NRF-2015R1C1A2A01054936)

References

• Mikyoung Lee, Younggeun Jung, and Jumrye Kwon, "A Study on Development of Evaluation Standards of Primary and Middle Schools based on the 2015 revised National Curriculum", Korea Institute for Curriculum and Evaluation, Research Report CRC2016-2-1 (2016).
• Miyoung Hong, "A Study on Development of Achievement Standards and Levels based on the 2009 revised National Curriculum", Korea Institute for Curriculum and Evaluation, Research Report Research Report CRC2012-1 (2012).
• Donhee Lee, Byungseon Kwak, Seokjin Choi, Kyungchul Hur, Nansim Cho, Soonkyung Park, Hoojo Hong, and Jaechun Kim, "A Study on Curriculum Development based on 7th Revision of National Curriculum", Research Report CR97-36, Korea Educational Development Institute, (1997).
• Into Lee, Injae Lee, and Chuljoo Lee, "Design of Learning & Instruction and Evaluation in Moral Education based on Analysis of Achievement Standard", Journal of Korea Society for Moral and Ethics Education Association, 59, p29-56, May), (2018. [https://doi.org/10.18338/kojmee.2018..59.29]
• Hyunsook Chung, and Jungmin Kim, "A Design of Teaching and Learning Plan Based on Achievement Standards Linked Open Data", Journal of KIIT, 14(9), p131-142, Sep), (2016. [https://doi.org/10.14801/jkiit.2016.14.9.131]
• kraft MA, Blazar D, and Hogan D, "The Effect of Teacher Coaching on Instruction and Achievement: A Meta-Analysis of the Casual Evidence", Review of Educational Research, 88(4), p547-588, Feb), (2018. [https://doi.org/10.3102/0034654318759268]
• Sunhwa Park, "The Practice of Understanding and Application of Achievement-based Evaluation System - Mathematics of Middle School", Korea Institute for Curriculum and Education, Nov), (2013.
• Sungjoon Cho, "Analysis of Current State of High School Achievement Evaluation for Enhancing English Class based on Achievement Assessment", Journal of the Korea Contents Association, 18(4), p550-566, Apr), (2018.
• S. A. Sutton, and D. Golder, "Achievement Standards Network(ASN): An Application Profile for Mapping K-12 Educational Resources to Achievement Standards", In Proceedings of International Conference on Dublin Core and Metadata Applications, p69-79, Sep), (2008.
• S. A. Sutton, D. Golder, and J. Phipps, "Global Linking of Educational Resources through LearningObjectives", Going Global 4 - The UK's International Education Conference, Mar), (2010.
• Eunji Lee, "A Study on Feedback of Achievement Levels for Operation of Achievement-based Evaluation System in Mathmatics of High School", Master Thesis, Ewha Womans University, (2015).