기계학습을 이용한 오픈소스 생존 가능성 예측

2.1 기계학습

기계학습이란, 학습데이터로부터 특징(Feature)을 추출하고, 특징을 학습하여 클래스를 구분짓는 모델이나 상관관계를 예측하는 모델을 생성한 후, 새로운 데이터를 통해 원하는 값(Target)을 추론하는 과정을 수행한다[6]. 기계학습이 주로 이용되는 문제에는 패턴 인식, 회귀, 함수 근사화 등이 있다. 이러한 유형의 문제를 해결하기 위한 기계학습 학습 알고리즘은 크게 지도학습, 비지도학습, 강화학습으로 나뉘어진다.

지도학습은 입력 데이터와 기대 출력 데이터를 이용하여 학습하는 학습 알고리즘이다[7]. 데이터가 입력되었을 때, 출력 데이터가 최대한 기대 출력 데이터에 가깝게 되도록 학습한다. 주로 회귀 또는 분류 문제에 사용된다. 그에 반해, 비지도학습은 입력 데이터만을 가지고 학습하는 알고리즘이다. 입력 데이터를 분석하여 특징, 의미를 찾고, 분석하는 것을 목적으로 한다. 군집화 문제나 자기 조직화 지도 문제에서 자주 사용된다. 마지막으로 강화학습은 입력 데이터의 특징을 토대로 행동을 결정하는 알고리즘이다. 행동을 실행한 후 변화한 환경에 따라 보상 값이 주어지고, 이 보상 값이 최대가 되는 방향으로 학습한다. 강화학습은 동적 환경을 다루는 게임 이론 및 제어 이론 문제 등에 사용된다.

본 논문에서는 지도, 비지도, 강화 학습 중 지도 학습의 회귀 분석을 사용하여 생존 가능성을 예측하였다. 회귀 분석은 변수들간의 상관관계를 분석하여 예측 모델을 형성하는 방법이다. 크게 선형 분석과 비선형 분석 방법으로 나눠진다. 선형 분석은 독립 변수와 종속 변수의 상관관계를 선형으로 모델링하는 방법이고, 비선형 분석은 선형 분석과 다르게 두 변수간의 상관관계를 곡선, 비선형으로 모델링하는 방법이다[8].

오픈소스 생존 가능성을 나타내는 상관관계가 비선형적어서 본 논문에서는 비선형 회귀 분석을 이용하였다[9].

2.2 비선형 회귀 분석

비선형 회귀 분석은 선형 회귀 분석과 다르게 독립 변수 x와 종속 변수 y간의 상관관계를 곡선으로 모델링하는 분석 방법이다[9]. 비선형 회귀 분석 중 하나인 다항 회귀 분석은 두 변수간의 상관관계에 대한 n차 다항 모델을 형성하는 기법이다[10]. 다항 회귀 기법은 식 (1)과 같이 독립 변수 x와 종속 변수 y간의 관계에 가장 적합한 선을 설명하는 n차 방정식을 사용한다.

식 1의 독립 변수 x는 다른 변수의 값에 영향을 받지 않는 변수로 원인에 해당하는 값을 독립 변수로 설정한다. 기계학습에선 feature로 사용한다. 종속 변수 y는 독립 변수 값에 영향을 받는 변수로 결과에 해당하는 변수를 종속 변수로 설정한다. 기계학습에서는 target을 종속 변수로 사용한다. β_i(i = 1, 2, ⋯, n)는 회귀 계수로 각 x_i에 대한 기울기를 나타낸다. ϵ는 오류 값으로 실제 값과 예측 값 간의 오차를 나타낸다.

다항 회귀 기법은 두 변수들간의 관계를 분석하고, 이를 이용해 미래의 값 예측이 필요한 여러 분야에서 사용되고 있다.

3.1 데이터 구성

본 논문에서는 깃허브의 데이터를 이용하여 오픈소스의 생존 가능성을 예측하였다. 개발, 버그 생성 및 해결, 기여도 추세를 예측하기 위해 사용한 데이터는 표 1과 같다.

Table 1.

Data set used for prediction

날짜 데이터는 커밋, 풀 리퀘스트, 이슈 등이 생성되거나 변경된 날짜이다.

날짜 데이터는 개발, 버그, 기여 예측에 공통으로 사용하였다. 3가지 예측 모두 시간의 경과에 따른 예측이 필요하고, 특정 날짜의 데이터를 예측하기 때문에 날짜 데이터를 feature 데이터로 설정하였다.

커밋과 풀 리퀘스트는 개발 추세 예측에 사용하였다. 커밋은 깃의 기본 저장 단위로, 변경이력이 저장되어 커밋으로 개발 진행 여부를 알 수 있다. 또한, 여러 커밋이 생성된 후 풀 리퀘스트가 수행된다. 따라서 커밋을 풀 리퀘스트 예측에 사용할 feature 데이터로 선정하였다. 하지만 미래의 풀 리퀘스트를 예측하기 위해선 미래의 커밋 수 또한 예측해야 한다. 따라서 커밋을 feature / target 데이터로 설정하였다. 풀 리퀘스트는 배포 버전에 개발 사항을 적용하기 위해서 수행된다. 따라서 이 데이터를 통해 배포 버전의 변화를 알 수 있기 때문에 개발 추세 예측의 target 데이터로 사용하였다.

전체 버그 이슈 개수, 해결된 버그 이슈 개수는 버그 해결 추세 예측에 사용하였다. 사용자가 버그를 발견하는 경우 버그 이슈를 작성한다. 그리고 개발자가 생성된 버그 이슈를 해결한 경우 이슈 상태를 closed로 변경한다. 전체 버그 이슈 개수로 지금까지 발견된 버그 수를 알 수 있고, 해결된 버그 이슈 개수로는 지금까지 해결된 버그 수를 알 수 있다. 그래서 버그 생성 및 해결 추세 예측에 두 데이터를 사용하였다.

기여도 예측에는 기여자 수, 기여자들의 커밋, 풀 리퀘스트 수를 이용하였다. 기여자들의 오픈소스 기여도를 계산하기 위해 커밋과 풀 리퀘스트를 사용하였다. 이 두 데이터를 합쳐 식 (2)과 같이 기여도 C로 환산하였다.

또한, 각 기여자들의 기여도를 하나의 데이터로 병합하기 위해 식 (3)과 같이 평균 기여도 C_avg를 계산하였다. 이 C_avg를 기여자들 전체의 기여도를 나타내는 데 사용하였다.

3.2 예측 방법

개발 / 버그 이슈는 다섯 단계, 기여도의 경우는 세 단계에 걸쳐서 예측을 수행하였다. 개발, 버그 이슈 추세 예측의 경우 각각 커밋 수, 전체 버그 이슈 수를 추정하고, 추정된 데이터를 바탕으로 풀 리퀘스트 수, 해결된 버그 이슈 수를 예측하였다. 예측은 그림 1과 같이 진행하였다. 예측 수행 단계는 다음과 같다.

• • 날짜 데이터와 feature / target 데이터와 target 데이터를 수집한다.
• • 수집된 데이터를 이용하여 다항 회귀 분석을 통해 예측 모델을 형성한다.
• • 모델에 예측하고 싶은 날짜들을 입력하여 feature / target 데이터를 예측 및 생성한다.
• • 날짜 데이터와 feature / target 데이터, target 데이터로 예측 모델을 형성한다.
• • 예측하고 싶은 날짜 데이터와 단계 3에서 생성한 데이터를 모델에 입력하여 target 데이터를 예측 및 생성한다.

Fig 1.

Survivability prediction process

4.1 오픈소스 선택

본 논문에서는 식 4, 5, 6을 적용하여 예측에 사용할 오픈소스를 선택하였다. 식 4, 5의 Commit_avg는 최근 한 달 이내로 범위를 설정하였다.

Commit_avg는 개발량의 기준, Popularity는 인기도의 기준으로 사용하였다. Commit_avg가 50 이상이면 개발량이 많은 오픈소스, 7 미만이면 하루 평균 1개의 커밋도 수행되지 않았기에 개발량이 적은 오픈소스로 보았다. Popularity는 오픈소스의 star 수로[11], 50,000 이상이면 인기도가 많은 오픈소스로 보았다. 식 4, 5, 6을 바탕으로 총 6개의 오픈소스를 선택하였다. 선택한 오픈소스는 표 2와 같다.

Table 2.

Data of open-sources

4.2 예측 결과

4.1에서 선택한 오픈소스들의 개발, 버그 생성 및 해결, 기여도 예측을 수행하였다. 예측 결과는 2와 같다.

Fig 2.

Result of predicting open-sources progress

식 (7)을 이용하여 오픈소스별 예측 수행 결과를 점수로 계산하였다. 개발 진행 점수(Development Score, DS), 이슈 진행 점수(Bug Issue Score, BIS), 기여 진행 점수(Contribution Score, CS)는 예측된 각 데이터들의 증가 혹은 감소 추세를 나타낸다. 오픈소스 별 DS, BIS, CS를 계산한 결과는 표 3과 같다.

Table 3.

Scores of open-sources

4.3 결과 분석

그림 3과 같이 오픈소스별 DS, BIS, CS 세 값을 비교하였다. 이를 통해 각 오픈소스 별 특징을 분석하여 성장기, 정체기, 쇠퇴기 3가지로 분류하였다. 성장기는 기능 개발 및 기여자들의 참여가 활발하여 프로젝트의 규모가 커지는 시기이다. 정체기는 기능 개발 및 기여자들의 참여가 성장기보다 적으며, 프로젝트의 유지보수가 대다수인 시기이다. 쇠퇴기는 기능 개발 및 유지보수가 거의 이뤄지지 않는 시기이다. 3가지 유형의 기준은 다음과 같이 정의한다.

• • 성장기: 평균 개발량> 0이고, 개발, 버그 이슈, 기여도 모두 증가
• • 정체기: 평균 개발량> 0이고, 개발, 버그 이슈, 기여도 중 하나 이상 감소
• • 쇠퇴기: 평균 개발량≤ 0이거나, 개발, 버그 이슈, 기여도 중 세 개 모두 감소

Fig 3.

Scores of open-sources

위 기준의 평균 개발량 Development_avg는 식 (8)을 이용하여 계산하였다. 전체 예측 기간동안의 1번째 날의 PR₁(풀 리퀘스트)부터 n번째 날의 PR_n까지 평균을 구하였다.

위의 기준에 따라 오픈소스를 분류하였다. 분류한 결과는 표 4와 같다.

Table 4.

Result of open-sources analysis

많은 개발량을 가졌던 Mastodon은 개발, 버그 이슈, 기여도 3가지 모두 점수가 가장 높았다. 앞으로 개발 활동과 버그 발견 및 공유 활동이 활발할뿐만 아니라 기여자들의 개발 참여율 또한 증가할 것으로 나왔다. 평균 개발량 또한 7.86으로 앞으로도 성장기에 속할 것으로 예상된다. 반면, Mastodon보다 높은 인지도를 가진 Angular, React, Terminal, Vue는 전체적으로 Mastodon보다 낮은 점수를 보였다. 높은 인지도에 많은 개발량을 가진 Angular의 경우 평균 개발량은 2.27이고, 개발 활동, 버그 발견, 기여자들의 참여 모두 증가할 것으로 예측되었다. 앞으로도 성장기에 속할 것으로 예상된다. 나머지 React, Terminal, Vue의 경우는 개발 활동이 하향세를 띌 것으로 보였다. Vue의 경우는 6개의 오픈소스 중 가장 인기도가 높은 오픈소스임에도 불구하고 CS가 가장 낮게 계산되었다. Vue와 React는 앞으로 기여자들의 참여가 낮고, 평균 개발량이 각각 1.792, 1.945여서 정체기에 들어설 것으로 예상된다. Terminal의 경우는 평균 개발량이 –0.005로 개발이 거의 되지 않을 것으로 예상되어 앞으로 쇠퇴기일 것으로 예상된다. 마지막 낮은 개발량을 가진 Drawio의 경우 CS를 제외하고 모두 0 이상이었다. 하지만 평균 개발량이 –0.005로 terminal과 같이 거의 개발이 되지 않을 것으로 예측되어 앞으로 쇠퇴기일 것으로 예상한다.

높은 개발량인 Mastodon은 성장기, 낮은 개발량인 Drawio는 쇠퇴기로 예측되었다. 그리고 높은 인기도를 가진 Angular, Terminal, React, Vue 중 3개가 정체기 혹은 쇠퇴기일 것으로 예측되었다. 인기도는 생존 가능성에 개발량보다 낮은 영향을 끼치는 모습을 보였다. 이러한 결과를 통해 높은 인기도가 높은 생존 가능성을 보장하지 않는다는 것을 알 수 있었다.

본 논문에서 예측한 결과 [4]와 다르게 기여도는 오픈소스의 생존에 핵심은 아니었다. 4.3의 예측 결과를 보면, 기여자의 수와 기여도가 제일 큰 Angular가 성장기이긴 하지만 React는 쇠퇴기로 예측되었고 기여도가 React보다 적은 Mastodon은 성장기로 예측되어 생존 가능성이 더 높을 것으로 예상한다. 기여자들의 개발 참여 즉, 기여도가 높아진다고 해도 개발량 자체는 적어지는 모습을 보였다. 또한, [5]의 연구와 달리 기여자가 오픈소스의 생존 가능성에 영향을 끼치긴 하지만 개발량이 더 많은 영향을 끼친다는 결과를 얻을 수 있었다. 또한, 코드의 복잡도를 고려하지 않아도 개발, 버그 이슈, 기여도만으로도 충분히 오픈소스의 생존 가능성을 분석할 수 있었다.