목표 소프트웨어 구현을 위한 제품 관점과 프로세스 관점의 통합 PMO 프레임워크 개발 연구

Ⅰ. 서 론

근래의 정보시스템은 점점 더 복잡해지고 대형화되는 추세에 있다. 그로 인하여 기존의 개발 관리 방법만으로는 성공적인 정보시스템 개발을 보장하기가 어려워지고 있다. 이와 같은 상황을 극복하기 위하여 새로운 관리 방법론들이 등장하고 있고, 대표적으로 PMO(Project Management Office)방법론이 활용되고 있다[1]. PMO는 정보시스템 개발 현장에서 이미 보편적인 관리 방법으로 자리를 잡아가고 있는 추세이다. PMO는 전략을 중시하는 전사 EPMO(Enterprise PMO), 전술을 중시하는 Division PMO, 운영을 위한 비즈니스 PMO와 프로젝트 PMO 등 여러 유형의 PMO가 존재한다[2].

정부에서는 전자정부 정보시스템을 구축하기 위하여 전문지식과 기술을 보유한 전문가에게 사업을 관리 감독할 수 있도록 PMO 가이드를 제시하고 있다[3]. PMO 가이드의 관리요소를 살펴보면, 대부분 프로세스 관점의 관리요소만이 제시되어 있다. 반면에, 정보시스템 감리에서는 응용시스템, 데이터베이스, 시스템 아키텍처 분야에서 목표하는 제품이 구현되었는지를 점검할 수 있도록 점검항목을 제시하고 있고[4], 요구정의, 설계, 종료 감리를 통하여 점검하고 있다. 공공정보화 PMO는 목표 시스템 구현을 위하여, 모든 개발생명주기 동안에 개발사와 같이 상주하면서 프로젝트를 관리한다. 그러므로 감리보다 더 심도있는 관리가 필요할 것이다. 하지만 공공정보화 PMO 가이드에서는, 목표 제품을 위한 설계는 충분한 지, 개발 방향은 올바르게 진행되고 있는 지, 테스트는 충분히 수행하고 있는 지와 같은 제품관점의 관리요소는 미흡한 것으로 파악되었다. 이에 목표 제품을 구현하기 위한 제품 관점의 관리요소와 프로세스 관점의 관리요소를 통합한 공공정보화 통합 PMO 프레임워크를 제작하고자 한다. 또한, 상세하고 정확하게 점검할 수 있도록 관리요소 별로 점검항목을 개발하고자 한다. 통합 PMO 프레임워크는 기존 PMO보다 관리요소가 많아질 것이므로, PMO 전문가나 개발자들이 받는 업무가 과중하리라 예상된다. 이에, DEMATEL 기법을 이용하여 통합 PMO 프레임워크의 요소들 간의 인과관계를 도출하고, 인과관계를 이용하여 핵심 관리요소를 도출하고자 한다.

선행 연구를 조사한 결과, 여러 유형의 PMO 프레임워크를 접할 수 있었다. 하지만, 제품 관점과 프로세스 관점으로 분류하여 체계적이고 통합적인 시각으로 PMO 프레임워크를 제시한 연구는 미흡한 것으로 조사되었다. 이에 선행 연구자들이 연구한 PMO 관련 문헌연구와 제품 관점의 연구 및 프로세스 관점의 연구를 수집하여 분류하고, 통합적으로 관리할 수 있는, 공공정보화 사업을 위한 집행단계 통합 PMO 프레임워크를 개발하고자 한다. 공공정보화 사업을 수행할 때, 통합 PMO 프레임워크에서 제시하는 제품 관리요소와 프로세스 관리요소를 적용한다면, 목표하는 정보시스템을 구현하는 데 도움이 될 수 있을 것으로 기대한다.

제 2장은 관련 연구 문헌과 이론적인 배경을 설명하고, 제 3장은 연구 설계 및 결과를 도출하고, 제 4장에서는 산출된 결과를 이용하여 통합 PMO 프레임워크를 개발하고 제 5장에서는 관리요소 별로 체크리스트와 관리요소간의 영향관계를 산출하고, 제 6장에서는 결론을 제시하였다.

Ⅱ. 관련 연구 문헌과 이론적인 배경

2.1 선행 연구의 고찰

연구를 위하여 PMO 프레임워크 연구를 조사하였고 표 1과 같은 문헌을 수집하였다. 외국에서 수행한 중요한 연구를 살펴보면, PMI에서는 9가지 관리요소로 구성된 PMO 프레임워크를 정의하고 있고, PMO 유형별로 9가지 관리요소의 가중치를 제시하고 있다[5]. Michael McCormick은 PMO를 위하여 4가지 영역의 27가지 관리요소를 정의하였고, 상세한 수준의 실행방안을 제시하고 있다[6]. Hubbard는 40개의 관리요소를 정의하였고, PMO 유형별로 관리가 필요한 PMO 기능을 제시하고 있다[2]. 이것 외에도 수집된 외국의 자료를 분석한 결과, 대부분 프로세스 관점의 관리요소만을 제시하고 있었다.

Table 1.

Studies of PMO framework

국내의 연구로는, 정보시스템 개발을 위한 PMO 관리를 수행할 때, 어느 관리요소에 집중하는 것이 효과적인지에 대한 연구가 있다. 성과는 프로젝트 관리 성과와 프로젝트 조직 성과로 구분하여 측정하였고 세 가지 가설을 세워서 시도하였다. 프로젝트 성과에 영향을 미치는 관리요소들은 기반관리, 기술지원, 실행관리, 자원통합관리, 업무와의 연계성으로 구분하여 리즈렐 구조방정식을 이용하여 분석하였다. 이 연구는 PMO 기능을 원인인자로 하여 효과적인 성과를 도출할 수 있다는 취지의 연구이다. 또한, 일반 PMO와 차세대 금융 PMO를 비교하여 차세대 PMO가 일반 PMO보다 우수한 영역은 어느 영역이고, 부족한 영역은 어느 영역인지에 대하여 분석한 연구가 있다. 이 연구는 차세대 금융 PMO 도입 시 개선해야 할 부분을 제시한 연구이다[7]. 그렇지만, 이 연구들도 프로세스 관리요소만을 대상으로 분석한 것으로 파악되었다.

공공정보화 PMO 가이드에서는 열두 가지 관리요소를 제시하고 있다[3]. 하지만, 제품 관점의 관리요소는 범위관리 및 품질관리에서만 찾아볼 수 있고 대부분이 프로세스 관점의 관리요소만이 제시되어 있다.

이상과 같이 선행연구에서 제시한 PMO 관리요소에서는 일부 제품 관점의 관리요소가 존재하지만, 대부분 프로세스 관점의 관리요소만이 제시되어 있다. 이에 본 논문에서는 제품 관점의 관리요소와 프로세스 관점의 관리요소를 수집하여, 제품과 프로세스를 통합적으로 관리할 수 있는 통합 PMO 프레임워크를 개발하고자 한다. 또한 개발된 통합 PMO 프레임워크의 관리요소에 대한 체크리스트와 DEMATEL 기법을 이용하여 관리요소 간의 인과관계를 도출하여 중요한 관리요소를 제시하고자 한다.

2.2 개발을 위한 이론적인 배경

2.2.1 내용분석기법

내용분석기법(Content Analysis)은 용어에 담긴 특징, 의미를 기준으로 분류하고 통합할 수 있는 기법이다. 분석 기법은 부트스트래핑(Bootstrapping)기법과 허니(Honey's)의 내용분석기법이 있다. 허니의 내용분석은 용어들 간의 차이를 유사도 관점으로 분류하는 기법이고, 부트스트래핑 기법은 용어의 의미를 이용하여 그루핑하는 기법이다.

본 연구에서 부트스트래핑 기법을 적용하였고 표 2과 같이 7단계를 통하여 PMO 관리요소를 분류하였다[17]. 연구자와 전문가가 표 2의 절차를 따라서 기능을 각자 분류한 후, 연구자와 전문가가 만나서, 신뢰도 테이블(Reliability Table)를 사용하여 분류에 대한 일치 여부를 확인한다. 분류가 일치되면, 합의된 것으로 채택하고, 분류가 일치하지 않으면, 분류 관점을 토의하고, 합의를 통하여 좀 더 적합한 분류를 도출한다. 분류에 대한 합의 신뢰성 정도는 분류지수(Categorization Index)로 측정한다. 신뢰도가 80%이상이면 양호한 수준이고 90%이상이면 우수한 수준이라고 한다[17].

Table 2.

Procedure of content analysis

2.2.2 DEMATEL 기법

DEMATEL은 복잡하게 얽혀있는 요소들 간의 영향관계를 분석하기 위하여 제네바의 Battelle 기념연구소에서 개발하였다. DEMATEL 기법은 요소들 간의 영향관계를 분석하는 가장 좋은 기법 중에 하나로 알려져 있으며, 여섯 단계의 절차를 통하여 수행한다[18][19].

첫 번째, 설문 단계로서, m 명의 전문가에게 요소(i)가 요소(j)에게 미치는 영향력의 설문을 수집한 후, 아래 수식을 이용하여 평균을 산출하여 직접영향행렬(DRM, Direct Relation Matrix)을 도출한다. 행렬 A는 전문가 m명에게 수집한 값을 산술평균한 직접영향행렬이다.

$\[ Ai=\frac{1}{m}\sum _{i=1}^m{X}_i \]$

(1)

두 번째, 행렬을 정규화시키는 단계로서, 행렬 A에서 행의 합의 최댓값과 열의 합의 최댓값 중에 큰 값을 이용하여 정규화된 행렬 N을 구하며, 식은 (2), (3)과 같다.

$\[ s=\mathrm{m}\mathrm{a}\mathrm{x}\left[\mathrm{m}\mathrm{a}\mathrm{x}\sum _{j=1}^n{A}_{ij},\mathrm{m}\mathrm{a}\mathrm{x}\sum _{i=1}^n{A}_{ij}\right] \]$

(2)

$\[ N=\frac{1}{s}A \]$

(3)

세 번째, T를 종합영향관계행렬(TRM, Total Relation Matrix)이라고 했을 때, 단위행렬에서 행렬 N을 뺀 후, 역행렬을 취한 행렬이며 식 (4)와 같이 표현할 수 있다.

$\[ T=N+N^2+N^3+...+ N^m=N{\left(I-N\right)}^{-1} \]$

(4)

네 번째, 원인요소와 결과요소를 분리하는 단계이다. 행렬 T에서 열의 합(R)과 행의 합(D)을 이용하여, 원인도(D-R)와 중심도(D+R)를 구한다. 원인도 값이 D-R>0이면 원인요소라고 하고 D-R<0이면 결과요소라고 한다.

$\[ D={\left[D_i\right]}_{n\times 1}={\left[\sum _{j=1}^n{{\rm T}}_{ij}\right]}_{n\times 1} \]$

(5)

$\[ R={\left[R_i\right]}_{1\times n}={\left[\sum _{i=1}^n{{\rm T}}_{ij}\right]}_{1\times n} \]$

(6)

다섯 번째, 영향관계도를 산출하기 위한 기준점(Threshold)를 선정한다. 기준점은 행렬T 요소들의 평균값이고, 식 (7)과 같다[19].

$\[ \sigma =\frac{\sum _{i=1}^n\sum _{i=1}^n\left[T_{ij}\right]}{n} \]$

(7)

여섯 번째, 행렬 T에서 기준점보다 큰 값을 이용하여 영향관계도를 도식화한다.

Ⅲ. 연구 설계 및 결과 도출

3.1 연구 절차와 연구 설계

연구는 그림 1과 같이 데이터 수집단계, 용어 표준화단계, 내용분석단계, 영향관계도 도출 및 결과분석단계로 진행한다. 첫 번째, 선행연구에서 PMO 관리요소를 수집하는 단계이다. 두 번째, 수집된 용어가 동일한 의미임에도 불구하고 연구자 별로 용어가 상이하므로, PMO 관리요소 용어를 표준화하고, 표준화된 용어를 이용하여 그루핑한다.

Fig. 1.

Research procedures

세 번째, PMO 체크리스트를 개발하고, DEMATEL 기법에 이용하여 전문가들의 견해를 수집하고, PMO 관리 기능간의 영향관계를 도출한다. 마지막 결과분석 단계로서 PMO 관리요소 간의 영향관계도를 도식화하고 원인인자, 결과인자 등을 분석한다.

3.2 제품 및 프로세스 관리요소 수집 및 개발

본 연구는 정부의 공공정보화를 위한 제품 관점과 프로세스 관점의 통합 PMO 프레임워크를 개발하는 연구이므로 제품 관점의 문헌과 프로세스 관점의 문헌을 수집하여 분석한다.

3.2.1. 내용분석을 통한 제품관점의 관리요소개발

제품 관점의 관리 자료는 표 3의 문헌을 수집하였고, 개발 생명주기인 계획, 분석, 설계, 개발, 테스트, 배포 영역으로 분류한 결과, 표 4부터 표 9까지의 관리요소가 수집되었다. 수집된 표 4부터 표 9까지의 용어를 살펴보면 단어는 다르지만 의미는 동일한 경우가 존재한다. 이럴 경우, 분류 오류가 발생할 수 있으므로, 오류를 최소화하기 위하여 표준화를 수행하여, 표준화된 용어를 도출하였다.

Table 3.

Prior studies for target product development

Table 4.

Planning step management elements and sources

Table 5.

Analysis step management elements and sources

Table 6.

Designs step management elements and sources

Table 7.

Development step management elements and sources

Table 8.

Test step management elements and sources

Table 9.

Deployment step management elements and sources

표준화된 용어를 이용하여 표 2의 내용분석기법 절차를 따라 개발생명주기인 계획, 분석, 설계, 개발, 시험, 전개 단계의 총 150건의 관리요소에 대하여 연구자와 전문가의 합의를 통하여 용어를 분류하였고, 연구자와 전문가는 총 147건이 합의되었고, 분류 신뢰도 지수는 약 98%의 매우 우수한 수준으로 분류되었다. 분류된 제품 관점의 PMO 관리요소는 표 10과 같이 6개 영역의 17가지 관리요소가 개발되었고, 연구를 용이하게 하기 위하여 관리요소 별로 코드를 부여하였다.

Table 10.

PMO management elements of product's view

3.2.2. 프로세스 관점의 관리요소 개발

프로세스 관점의 PMO 프레임워크는 그림 3과 같이 세 단계의 절차를 통하여 개발하였다. 첫 번째, 표 1의 문헌자료를 기반으로 프로세스 관리요소를 수집하였다. 두 번째, 사전처리를 통하여 프로세스 관점의 관리요소가 아닌 것은 연구 대상에서 제외시켰다. 세 번째, 사전 처리된 관리요소에 대하여 국제표준인 ISO 21500[31]을 기준으로 분류하였고, 국제표준에 명시되지 않은 관리요소는 PMO전문가와 별도의 합의과정을 통해 분류하였다

Fig. 3.

Research procedures of PMO with process view

PMO 전문가와 합의하여 도출된 프로세스 관점의 관리요소는 일정, 품질, 인력, 범위, 의사소통, 위험, 구매, 보안, 통합관리가 선정되었다. 변화관리와 이해관계자관리는 통합관리에 포함시켜서, 표 11과 같이 아홉 가지 관점의 프로세스 관리요소가 분류되었다. 또한, 사업을 촉진시키는 컨설팅 영역이 추가되었고, 발주자와 사업자간의 이견 조정, 발주자와 사업자에 대한 멘토링 요소가 도출되었다.

Table 11.

PMO management elements of product's view

3.2.3. 통합 PMO 프레임워크 개발

개발된 표 11의 프로세스 관점의 관리요소와 표 10의 제품관점의 관리요소를 통합하여 도식화하였고, 그림 4와 같이 3개 영역, 28개의 관리요소로 구성된 통합 PMO 프레임워크가 개발되었다.

Fig. 4.

Integrated PMO framework for consulting, product and process view

3.4 PMO 관리요소 간의 영향관계 도출

본 연구에서 개발한 통합 PMO 프레임워크는 관리요소가 많으므로, 핵심 관리요소를 파악하여 관리하는 것이 바람직할 것이다. 이에 요소 간의 영향관계를 파악할 수 있는 DEMATEL 기법을 이용하여 주요 관리요소를 도출하고자 한다.

3.4.1. 전문가에 대한 설문 수행과 신뢰도 검증

개발된 통합 PMO 프레임워크의 28가지 관리요소 간의 영향관계 연관성에 대하여 표 12의 정보시스템 전문가를 선정하여 의견을 수집하였다.

Table 12.

IT Development expert respondents summary

설문은 기술사 13인을 중심으로 감리사 8인, 특급 기술자 2인, 총 21인을 대상으로 수행하였다. 설문은 28개의 관리요소가 다른 요소에게 미치는 영향력(0.매우 작다, 1.작다 2.보통, 3.크다, 4.매우 크다)을 선택하는 방식으로 진행하였다. 설문의 신뢰도는 크론바흐 알파계수(Cronbach's α)를 이용하여 검증하였으며, 크론바흐 알파계수는 1 값에 가까울수록 신뢰도가 높다고 한다. 본 연구에서 수행한 설문의 크론바흐 알파계수 값은 0.833라는 높은 값이 도출되었고, 설문의 신뢰도가 확인되었다.

3.4.2 DEMATEL 기법을 통한 영향관계 분석

첫 번째, 식 (1)로 설문의 산출평균을 계산하였고, 일반화된 행렬(A)이 도출되었다. 두 번째, 식 (2)의 행의 합과 열의 합의 최댓값 중에 큰 값을, 식 (3)을 적용하여 정규화된 행렬(N)을 도출하였다. 세 번째, 정규화된 행렬(N)에 대하여 식 (4)에 적용하여 종합인과관계 행렬(T)이 도출되었다. 네 번째, 식 (5), (6)을 이용하여 열의 합(R)과 행의 합(D)으로 중심도(D+R)와 원인도(D-R)를 구하였고, 표 13의 결과가 도출되었다. 다섯 번째, 영향여부를 판단하는 기준점은 식 (7)을 통하여 –0.028이라는 값이 도출되었다. 종합인과행렬(T)에서 기준점보다 큰 값은 영향을 미치는 것이고, 기준점보다 작은 값은 영향을 미치지 않는 것이다. 여섯 번째, 표 13의 중심도(D+R)요인은 x축, 원인도(D-R)요인은 y축으로 설정한 후, 종합인과행렬(T)에서 기준점(-0.028)보다 큰 값만을 이용하여 영향관계를 그루핑하여 도식화하였고, 그림 5와 같은 영향관계도가 도출되었다.

Table 13.

Cause & effect analysis result of elements

Fig. 5.

Casual and effect diagram of PMO management elements

Ⅳ. PMO 관리요소 간의 영향관계 분석

그림 5의 y축인 원인도 값이 양수의 값을 가지거나, 순수한 원인 요소라면, 다른 요소에게 영향을 주는 그룹으로 분류할 수 있다. 원인도 값이 음수이거나 순수하게 영향을 받는다면, 영향을 받는 효과(Effect)그룹이라고 지칭한다[34].

그림 5의 PMO 관리요소들은 표 14와 같이 다섯 그룹으로 분류할 수 있었고, 그룹의 특성과 그룹의 영향관계를 분석하면, A그룹은 컨설팅과 제품목표를 점검하는 그룹으로서 다른 그룹에게 많은 영향을 주고 있었다. B그룹은 상세한 업무 분석 및 설계를 검토하는 그룹으로서 A그룹에 영향을 미치어, 다른 요소들에게 영향을 주는 것으로 분석되었다. 주로 D그룹과 E그룹에게 영향을 미치고 있는 C그룹은 프로젝트 개발 진행에 관련된 프로세스 관점의 통제 요소로서, D그룹의 제품에 대한 테스트, 목표 제품 구현 여부와 E그룹의 정보시스템 운영에 대하여 영향을 미치고 있었다. D그룹은 제품이 올바르게 구현되었는지를 점검하는 그룹이고, E그룹은 시스템을 운영하는 그룹으로서, 개발을 촉진시키는 컨설팅 그룹과 제품 목표에 관련된 A 그룹에게 부분적으로 영향을 주고 있었다. 그룹별로 가장 중요한 요소를 살펴보면, A그룹은 멘토링(C2), 이견중재(C1)가 중요하게 도출되었고, 제품목표정의(D1), 제품개발계획(D2), 개념수준설계(D5), 요구분석 및 제품 범위 점검(D2)순으로 도출되었다.

Table 14.

Explanations of groups of Fig. 5

B그룹은 상세한 업무분석(D6), UI/UX와 제품설계(D7)순으로 중요도가 도출되었다. C그룹은 프로젝트를 모니터링하고 프로세스 관점으로 관리하는 그룹으로서, 일정관리검토(P1), 위험관리검토(P6), 의사소통검토(P5), 범위관리검토(P4), 통합관리검토(P9), 인력관리(P3), 품질관리검토(P2), 보안수준검토(P8)순으로 도출되었다. D그룹은 설계 이후 개발, 테스트를 수행하는 그룹으로서, 다른 관리요소로부터 많은 영향을 받고 있으며, 목표제품 구현여부평가(D15)와 테스트(D12, D13, D14)가 제일 중요하게 나타났고, 운영에 관련된 E그룹이 가장 중요하고 영향을 많이 받는 것으로 파악되었다.

현재 정보화진흥원의 PMO 가이드에서는 C그룹만을 제시하고 있다. 하지만 본 연구에서는 A그룹 프로젝트 요구사항 분석, 범위정의점검, B그룹 상세한 요구사항 분석 및 설계 점검이 프로젝트에 많은 영향을 미치는 요인으로 나타났고, 최종적으로 목표 제품이 구현되었는 지를 점검하고 평가하는 D그룹과 운영 및 유지보수의 E그룹이 중요한 것으로 분석되었다.

분석된 영향관계를 종합적으로 해석하면, PMO 전문가는 제품을 개발하기 위하여 제품에 대한 목표 및 범위를 상세하게 수립했는지를 점검해야 하고, 상세하고 충분하게 업무를 분석했는 지와 충실하게 설계했는지를 점검해야 하며, 개발 진행 시, 프로세스 관점으로 적절한 통제가 필요하며, 최종적으로 목표하는 제품이 구현되었는지를 점검하여 제품을 운영할 수 있도록 관리해야 한다고 분석되었다. 또한, 프로젝트 진행에서 발생하는 이견이나 문제에 대하여, 이견조정과 멘토링을 수행하여 프로젝트를 촉진시켜야 한다고 분석되었다. 그러므로 PMO 전문가는 제품 목표수립 점검, 업무 분석 점검, 설계 점검, 개발 진척 점검, 목표 제품 구현 여부 판정, 운영 및 유지보수 계획 점검을 수행해야 하는 것으로 나타났고, 무엇보다도 이 모든 영역에서 발생하는 이견과 문제에 대한 발주기관과 사업자에 대하여 이견조정과 멘토링을 수행해야 하는 것으로 분석되었다.

Ⅴ. 결 론

Acknowledgments

본 연구는 서울과학기술대학교 교내 연구비 지원으로 수행되었음

References

• G. M. Hill, "Evolving the project management office: a competency continuum", Information Systems Management, 21(4), p45-51, (Fall 2004). [https://doi.org/10.1201/1078/44705.21.4.20040901/84187.6]
• D. G. Hubbard, D. L. Bolles, and P. PMP, "PMO Framework and PMO Models for Project Business Management", PM World Journal PMO Framework and PMO Models, IV(I), p1-22, Jan.), (2015.
• NIA, "Guide to e-government business consignment (PMO) activity check", Ministry of the Interior and Safety·National Information Society Agency, Feb.), (2018.
• NISA, "Information system supervision inspection manual", National Information Society Agency, Mar.), (2008.
• PMI, "PMO Frameworks", Project Management Institute, Nov.), (2013.
• Michael McCormick, "Building a PMO", The PMO Guide, June.), (2016.
• H. J. Kan, and S. J. Lee, "A Study on Comparison with General and Next generation financial PMO Function", Korea Information Processing Society Review, 21(2), p683-686, Nov.), (2014.
• K. G. Purohit, "What is the influence of project management in regard to client expectation in IT industry, Ireland?", Doctoral dissertation, Dublin Business School, Jan.), (2012.
• Jimmy Goyal, "ITS PMO Framework", June), (2016.
• Oracle, "Project Management Office Starter Kit", Oracle, Mar.), (2013.
• Y. H. Kwak, and C. X. Y. Dai, "Assessing the value of project management offices (PMO)", In PMI (Project Management Institute), PMI Research Conference, (2000).
• M. Hurt, and J. L. Thomas, "Building value through sustainable project management offices", Project Management Journal, 40(1), p55-72, Mar.), (2002. [https://doi.org/10.1002/pmj.20095]
• C. Dai, and W. Wells, "An exploration of project management office features and their relationship to project performance", International Journal of Project Management, 22(7), p523-532, Mar.), (2004. [https://doi.org/10.1016/j.ijproman.2004.04.001]
• B. Hobbs, and M. AUBRY, "A Multi-Phase Research Program Investigating Project Management Offices (PMOS): The Results of Phase 1", Making Project Management Indispensable for Business Results™, 38(1), p74-86, Mar.), (2007.
• P. Dietrich, K. Artto, and J. Kujala, "Strategic priorities and PMO functions in project based firms. In Project Management Institute (Ed.)", PMI Reserach & Education Conference, Jul.), (2010.
• R. Ayyagari, R. Henry, and R. Purvis, "A Conceptual Framework of the Alignment of the Project Management Office (PMO) with the Organizational Structure", AMCIS 2006 Proceedings, p449, Aug.), (2006.
• D. Jankowicz, "The Easy Guide to Repertory Grids", John wiley & sons, (2004).
• S. M. Huh, and W. J. Kim, "Analysis of the Casual and Effect Relationship for Embedded Software Defects Using DEMATEL and Content Analysis", Journal of the Korea Information Science Society, 16(6), p9-24, Jun.), (2018.
• D. Sumrit, and P. Anuntavoranich, "Using DEMATEL method to analyze the causal relations on technological innovation capability evaluation factors in Thai technology-based firms", International Transaction Journal of Engineering, Management, & Applied Sciences & Technologies, 4(2), p81-103, Jan.), (2013.
• D. Galin, "Software quality assurance: from theory to implementation", Pearson Education India, (2004).
• NIPA, "SW Development Quality Management Manual", NIPA Software Engineering Center.
• HRDSK, "The it development of National Competency Standards", Human Resources Development Service of Korea, (2018).
• P. Bourque, and R. E. Fairley, "Guide to the software engineering body of knowledge (SWEBOK (R)): Version 3.0", IEEE Computer Society Press, (2014).
• ISPMA, "SPM Syllabus Excellence Level Orchestration v1.0 Student Edition", International Software Product Management Association, (2016).
• ISPMA, "SPM Syllabus Excellence Level Product Planning v1.1 Student Edition", International Software Product Management Association, (2017).
• ISPMA, "SPM Syllabus Excellence Level Product Strategy v1.1 Student Edition", International Software Product Management Association, (2016).
• ISPMA, "SPM Syllabus Excellence Level Strategy Management v1.2 Student Edition", International Software Product Management Association, (2016).
• Pragmatic Marketing, "The Strategic Role of Product Management", Pragmatic Marketing, (2008-2012).
• I. Van De Weerd, S. Brinkkemper, R. Nieuwenhuis, J. Versendaal, and L. Bijlsma, "A reference framework for software product management", In Utrecht University, (2006). [https://doi.org/10.1109/RE.2006.66]
• C. Ebert, "Software Product Management", Vetor Consulting Services, Jan.), (2009.
• A. Zandhuis, and R. Stellingwerf, "ISO 21500 Guidance on project management-A Pocket Guide", Van Haren, May.), (2013.
• KATS, "Project Management Standards Implementation Guide", Korean Agency for Technology and Standards, Nov.), (2013.
• PMI, "A Guide to the Project Management Body of Knowledge Sixth Edition", Project Management Institute, (2017).
• M. G. ÖLÇER, "Developing a spreadsheet based decision support system using DEMATEL and ANP approaches(Doctoral dissertation, DEÜ Fen Bilimleri Enstitüsü), Jun.), (2013.