가변쿠키를 활용한 웹 보안 및 성능 개선에 관한 연구

서버 부하를 줄이면서도 보안성을 강화하기 위해 제안된 안전한 쿠키 체계는 쿠키의 기밀성, 무결성, 인증 및 재생 공격 방지 기능을 모두 충족하는 것을 의미한다[7]-[11]. 쿠키의 기밀성은 클라이언트에 저장된 쿠키 정보를 서버 이외의 다른 클라이언트나 공격자가 접근하여 읽을 수 없도록 보호하는 것을 의미한다[14]. 무결성은 특정 데이터가 임의로 생성, 삭제되거나 변조되지 않도록 보호하는 것을 의미한다[15]. 쿠키값에 사용자의 로그인 정보가 있다고 가정하였을 때, 공격자는 쿠키를 변조하여 다른 사용자의 정보로 로그인이 가능할 수 있다.

인증은 사용자 또는 시스템의 신원을 확인하는 과정이다[15]. 사용자가 로그인을 시도하면 서버는 아이디와 패스워드를 검증한다. 합당한 사용자로 판단되면 인증 쿠키를 만들어 사용자에게 전송하며, 사용자는 전송받은 쿠키를 저장한다. 브라우저는 서버와 통신 시 저장된 쿠키를 전달하여 해당 쿠키가 유효한지 검증받는다[16]. 공격자는 사용자가 보내는 인증 데이터를 그림 1처럼 스니핑하여 서버 측에 보내면, 공격자는 사용자의 인증과 동일하게 인증될 수 있다. 이처럼 공격자가 자신이 아닌 타 사용자의 인증 데이터를 서버 측에 보내어 인증하는 것이 재생공격이다.

Fig. 1.

Replay attack

W3Techs의 2025년 1월 통계에 따르면, Wordpress는 전체 CMS(Content Management System) 시장의 61.8%를 점유하며, 전체 웹사이트의 43%를 차지하고 있다[17]. 현재 Wordpress의 로그인은 Alex가 제안한 안전한 쿠키방식을 사용하고 있다[5][18]. Alex의 안전한 쿠키체계는 그림 2와 같다.

Fig. 2.

Alex's cookie

사용자 이름과 쿠키의 만료시간, 키값 k로 암호화한 데이터, 그리고 SSL(Secure Sockets Layer) Session ID를 붙여 k로 HMAC 해싱한 결과를 서로 붙여서 쿠키를 생성한다. 사용자 이름과 쿠키 만료시간, 그리고 데이터를 사용하여 해쉬값을 만들기 때문에 쿠키값을 조작할 수 없고, 조작된 쿠키값으로는 인증이 불가능하므로, 안전한 쿠키체계의 조건인 무결성과 인증을 만족한다. Alex 쿠키의 문제점은 사용자 이름이 암호화되지 않아, 저장된 쿠키를 통해 특정 사용자가 인증되었음을 확인할 수 있다는 것이다. 브라우저에 남아있는 쿠키정보를 통해 사용자 계정이름을 바로 알 수 있으므로 이는 쿠키의 기밀성을 만족하지 않는다고 볼 수 있다.

Alex의 쿠키는 재생공격방지를 위해 SSL Session ID를 사용하였다. W3Techs 의 2024년 3월 통계에 따르면, 가장 많이 사용하는 웹 개발언어는 PHP로 약 76.4%이며, 두 번째 언어는 ASP로 약 6.4%이다.

따라서 SSL Session ID를 지원하지 못하는 PHP나 ASP 같은 백엔드 언어는 SSL Session ID 값을 쿠키에 붙일 수 없으므로, 재생공격방지가 이루어질 수 없다. 정리하자면, Alex의 쿠키는 안전한 쿠키체계 조건인 기밀성, 무결성, 인증, 재생공격 방지 중에서 기밀성과 재생공격방지를 위반한다.

Alex 쿠키체계의 기밀성을 보완한 Lee[6]의 쿠키체계는 그림 3과 같다.

Fig. 3.

Lee's cookie

Lee의 쿠키는 일반적인 데이터와 개인정보에 민감한 데이터를 먼저 구분한다. 큰 소수를 선택하고 계산하여 키를 생성한 후, 이를 일반 데이터와 결합하고 해시 함수를 사용해 해시값을 생성하여 서버키를 생성한다. 민감한 데이터는 생성된 서버키를 이용해 대칭키로 암호화된 후, 일반 데이터를 암호화된 데이터와 함께 결합하여 쿠키를 생성한다. Lee의 쿠키는 붙여진 전체 데이터를 대칭키 암호화하기 때문에 쿠키값은 공격자나 사용자가 식별할 수 없는 값이 되므로 기밀성을 만족한다고 볼 수 있다. 또한, 암호화했던 데이터를 복호화하였을 때 복호화된 데이터의 식별 가능 여부와 유효성을 검증하므로 무결성과 인증 또한 만족한다.

Lee 쿠키의 문제점은 사용자가 재인증을 하지 않거나 쿠키 데이터가 갱신되지 않으면, 인증 시 생성된 쿠키가 항상 동일한 값으로 유지된다는 것이다. Lee의 쿠키는 사용자가 처음 로그인 시 사용자마다 서로 다른 서버키를 생성하므로 공격자로 하여금 쿠키값을 유추하기 어렵게 만들었으나, 처음 로그인 외에는 고정값인 쿠키를 통하여 서버와 통신하며 검증 절차를 거친다. 따라서 해당 쿠키가 공격자에게 탈취되면, 외부에서 인증을 시도할 수 있어 여전히 재생 공격에 취약할 수 있다.

2024년 2월 온라인 송금회사인 페이팔(Paypal)이 재생공격방지에 특화된 쿠키 구조를 특허로 등록하였다[19]. 현재 페이팔에 적용된 페이팔의 Super쿠키는 먼저 인증을 성공한 사용자의 기존 쿠키를 통하여, 해당 사용자가 방문했던 사용자인지 아니면 처음으로 방문한 사용자인지 확인한다. 만약 처음 방문자라면 사용 중인 디바이스 정보를 데이터베이스와 쿠키에 저장하고 인증에 성공한 페이지로 이동한다. 기존에 방문했던 사용자라면 쿠키에 저장된 디바이스와 현재 인증하려는 디바이스를 비교하여, 디바이스가 일치하면 성공페이지로 이동하고, 일치하지 않으면 페이팔에서 자체 보유한 사기 위험점수를 계산하여 처리한다.

사용자의 디바이스 정보는 HTTP 헤더에 있는 User-Agent로 가져올 수 있다[20]. User-Agent는 현재 사용 중인 브라우저, OS정보 등을 나타낸다. User-Agent의 취약점은 조작이 매우 쉽다는 것이다. 어떠한 네트워크에 접속 시 자신의 User-Agent를 조작하여 접속하면 서버는 User-Agent가 조작되었는지 판단할 수 없게 된다. 따라서 페이팔이 특허로 등록한 Super쿠키는 공격자가 User-Agent를 조작하고, 사용자의 인증뿐 아니라 디바이스 정보까지 들어있는 쿠키를 가져올 수 있다면 재생공격이 가능해진다.

본 논문에서 제안하는 가변쿠키(VC)는 안전한 쿠키체계의 조건인 기밀성, 무결성, 인증, 그리고 재생공격방지를 모두 만족하기 위하여 그림 4와 같이 생성한다.

Fig. 4.

Variable Cookie depending on whether data is encrypted or not

가변쿠키는 기밀성과 무결성을 만족하기 위하여 쿠키를 해쉬함수와 대칭키 암호화로 암호화하였다. 또한, 인증을 만족하기 위하여 생성된 쿠키를 데이터베이스에 저장된 쿠키값과 비교하고, 쿠키 생성 시에 필요한 값들을 페이지 이동 시마다 비교한다. 마지막으로 재생공격을 방지하기 위하여 데이터베이스에 저장된 쿠키값과 실시간으로 비교하고, 페이지 이동 시마다 쿠키 만료시간의 갱신 및 쿠키를 새로 생성하여 데이터베이스에 저장하였다.

가변쿠키는 암호화가 필요한 데이터의 존재 유무에 따라 VC1과 VC2로 나뉘게 된다. 먼저 회원의 아이디 혹은 고유정보, 현재 접속한 IP주소와 User-Agent, 현재 시간에 짧은 시간을 더한 쿠키의 만료시간, 그리고 서버 비밀키(Secret Key)를 구분자 | 로 연결하여 해쉬값 VC1을 생성한다. 암호화가 필요한 데이터가 없는 경우에 사용하는 VC1은 만들어진 해쉬값을 쿠키로 사용하여 사용자를 인증할 수 있다. 암호화가 필요한 데이터가 있는 경우에 사용되는 암호화키 k는 VC1의 뒤에 서버 비밀키를 붙여 생성한다. Data의 앞이나 뒤에 구분자와 함께 서버 비밀키를 추가한 후 k로 대칭키 암호화된 값과 VC1을 구분자 | 로 연결하여 생성된 결과가 암호화가 필요한 데이터가 있는 경우의 쿠키값 VC2가 된다. Alex의 쿠키와 같이 HMAC의 사용도 가능하지만, 구현이 더 간단한 SHA-256 해쉬함수만 사용하였다. 가변쿠키의 해쉬 입력값 길이가 충분히 길기 때문에 크래킹으로부터 안전하며, SHA-256이 HMAC-SHA256에 비하여 약 40% 속도가 빠르다[21].

브라우저에 저장된 쿠키는 공격자에 의해 조작되어 해당 웹 애플리케이션의 사용자 인증에 사용될 수 있으므로 쿠키의 유효성 확인이 필요하다. 먼저 쿠키에 저장된 해쉬값을 가지고 데이터베이스의 사용자 테이블을 검색하여 같은 해쉬값이 존재하는지 파악한다. 만약 사용자 테이블에 같은 해쉬값이 존재한다면, 해당 사용자에 저장된 쿠키 만료시간이 현재 시간보다 앞인지 뒤인지 확인한다. 만약 현재 시간보다 앞이라면 쿠키 만료시간이 경과한 것이므로 가변쿠키가 더 이상 유효하지 않은 것으로 처리한다. 쿠키가 유효하지 않으면 사용자 브라우저에 저장된 쿠키를 삭제하며, 데이터베이스의 사용자 테이블에 저장된 해쉬값과 쿠키 만료시간도 모두 삭제한다.

쿠키 만료시간이 현재 시간보다 뒤라면 쿠키를 생성할 때와 같이 사용자 이름(Username), 현재 사용자 브라우저에서 사용 중인 IP주소와 User-Agent, 쿠키 만료시간, 서버 비밀키를 |로 붙여 해쉬값을 생성한다. 생성된 해쉬값과 데이터베이스에 저장된 해쉬값, 그리고 현재 사용자 브라우저에 저장된 해쉬값이 일치하는지 확인한다. 암호화된 데이터가 존재하지 않고, 3개의 해쉬값이 모두 일치한다면 쿠키는 유효한 것으로 판단한다. 그러나 암호화된 데이터가 존재한다면 암호화된 데이터 부분을 대칭키로 복호화한다. 복호화하였을 때, “|Secret Key" 즉, 데이터를 암호화 시 오른쪽에 붙였던 |와 서버 비밀키가 존재한다면 유효한 것으로 판단하며, 존재하지 않는다면 쿠키가 조작된 것으로 판단한다.

가변쿠키를 생성하는 데 사용되는 서버 비밀키는 서버 내부에 하드코딩되어 비밀키로 활용되는 값이다. 그림 4에서 가변쿠키 VC1의 생성에 사용된 회원의 고유정보와 IP주소, User-Agent, 그리고 쿠키의 만료시간은 공격자가 알 수도 있는 정보이다. 따라서 공격자는 이 정보를 조합하여 해시 값을 생성하고, 이를 통해 크래킹을 시도할 수 있다.

하지만 VC에 서버 비밀키를 포함함으로써 서버 비밀키를 알 수 없는 공격자는 크래킹이 불가능하다. 암호화가 필요한 데이터가 있는 경우 공격자는 암호화된 Data값의 암호화 키값이 구분자 | 의 앞에 있는 해쉬값이라고 추측할 수도 있다. 해쉬값에 비밀키를 한 번 더 포함하여 Data의 암호화 키값을 예측할 수 없게 하였다. 안전한 해쉬함수는 일방향 암호의 특징을 가지고 있어 복호화할 수 없다[22]. 이에 따라 이 해쉬값과 서버 비밀키를 키로 한 Data의 대칭키 암호화 결과값도 키 값을 알 수 없으므로 가변쿠키의 기밀성이 보장된다.

가변쿠키의 구성 값을 알 수 없는 공격자는 해시 함수의 충돌 저항성에 따라 임의의 값으로 동일한 쿠키를 생성하거나 인증할 수 없게 된다. 쿠키는 조작이 가능하므로 공격자가 인증을 위한 해쉬값을 변조한다면, 서버는 브라우저에 저장된 해쉬값과 데이터베이스에 저장된 해쉬값을 비교하여 일치 여부를 판단한다. 만약 일치하지 않다면 쿠키가 변조된 것으로 판단하여 인증할 수 없게 된다. 만약 일치하더라도 서버 측에서 현재 사용자가 브라우저에서 사용 중인 IP주소, User-Agent를 가져와서 다시 해쉬값을 생성하여 일치 여부를 확인한다.

Alex와 Lee의 쿠키는 Data 부분의 쿠키를 조작할 시, 시스템에 따라 부하를 야기하거나 Data가 변조될 위험이 있다. 가변쿠키는 완성된 쿠키값에 | 와 같은 구분자가 존재하는지 확인하여 쿠키가 변조되었는지 바로 확인할 수 있다. 또한, Data를 복호화할 때 서버 비밀키가 Data 앞이나 뒤에 붙여져 있기 때문에 이를 확인하여 복호화된 값을 검증할 수 있어, 쿠키 조작으로부터 안전성을 유지할 수 있다. 서버 비밀키를 “ANU13579” 라고 가정할 시, 공격자가 암호화된 Data 값을 조작하면, 시스템은 조작된 암호값을 키로 복호화한 후, Data의 앞이나 뒤에 | 를 포함한 “ANU13579”가 있는지 확인하여 검증한다. “ANU13579”가 있다면 올바른 Data 값으로 처리하고, 없다면 쿠키를 초기화시켜 공격으로부터 안전할 수 있다.

가변쿠키 기반의 전체적인 로그인 인증절차는 그림 5와 같다. 사용자가 아이디와 패스워드를 입력하면 해당 사용자 정보의 패스워드가 일치하는지 서버가 판단한다. 정보가 일치하면 쿠키를 생성하고, 생성된 해시 값과 쿠키의 만료시간을 데이터베이스에 저장한다. 가변쿠키에는 사용자를 식별하는 사용자 아이디가 있으므로, 쿠키의 해쉬값은 타 사용자와 겹칠 수 없는 고유값이다. 브라우저에 저장된 쿠키를 사용하여 데이터베이스 내 회원 테이블의 해쉬컬럼을 조회하고, 이를 통해 사용자 정보를 가져올 수 있다.

Fig. 5.

Login authentication procedure based on variable cookie

사용자가 페이지를 이동하거나 새로고침하면, 서버에서 쿠키의 유효성과 만료시간을 확인한다. 쿠키가 조작되지 않았고 만료시간이 남아 있다면, 브라우저와 데이터베이스에 저장된 해쉬값과 쿠키의 만료시간을 갱신한다. 만약 쿠키 검증에 실패하거나 사용자가 로그아웃 버튼을 누르면, 브라우저에 저장된 쿠키와 데이터베이스에 저장된 해쉬값 및 쿠키의 만료시간을 삭제한다. 데이터베이스에 해쉬값과 쿠키의 만료시간이 없으면 사용자가 가진 쿠키를 검증할 수 없기 때문에, 가변쿠키 방식에서는 쿠키를 조작하여 로그인을 시도하는 것이 불가능하다. 웹사이트 관리자는 데이터베이스에 저장된 사용자의 쿠키와 만료시간을 강제로 삭제하여 로그인된 사용자를 강제로 로그아웃할 수 있어 회원 인증을 강화할 수 있다.

가변쿠키의 구성요소 중 쿠키의 해쉬값(VC1)과 만료시간은 사용자 로그인 시 데이터베이스에 저장된다. 쿠키의 만료시간은 사용자가 페이지를 이동하거나 새로고침 할 때마다 현재 시간에 짧은 시간을 추가하여 갱신되므로 쿠키도 지속적으로 변하게 된다. 쿠키의 재생공격은 공격자가 만료시간 내에 해당 쿠키를 가져와 자신의 브라우저에서 실행할 수 있어야 발생한다. 공격자가 짧은 쿠키 만료시간 내에 사용자의 쿠키를 확보하지 못하면, 재생공격은 불가능해 진다. 공격자가 해당 쿠키를 가져온다고 해도 쿠키에 포함된 사용자의 IP주소와 User-Agent가 동일하지 않으면, 쿠키 재생을 통한 사용자 인증이 불가능하다. 또한, 사용자가 페이지를 이동하거나 새로고침을 한다면 쿠키가 변하게 되어 이전에 탈취한 쿠키값으로 재생공격을 할 수 없게 된다.

해당 웹사이트에서 사용자가 한 페이지에 머무는 시간을 예측하여, 만료시간에 적용되는 짧은 시간을 정할 수 있다. 로그인한 사용자가 해당 쿠키의 만료시간 전에 자동으로 새로고침 시키거나, Javascript와 같은 프론트엔드 언어를 통하여 사용자 브라우저가 켜져 있음을 감지하고 만료시간을 갱신한다면, 페이지를 켜놓고 다른 일을 하다가 만료시간이 지나서 로그아웃 되는 것을 막을 수 있을 것이다. PHP.net에 따르면 세션 만료시간(session.gc_maxlifetime)의 기본값은 1440으로 24분이다[23]. 쿠키 만료시간을 세션의 만료시간보다 짧게 설정하면, 브라우저를 강제로 닫은 후의 인증 값 유지 측면에서 세션보다 보안적으로 더 안전한 효과를 얻을 수 있다.

본 논문에서 제안하는 가변쿠키는 안전한 쿠키체계 요소인 기밀성, 무결성, 인증, 그리고 재생공격방지를 모두 지원한다. 반면, Alex의 쿠키[5]는 기밀성과 재생공격방지를 만족하지 못하고, Lee의 쿠키[6]는 재생공격방지를 만족하지 못한다. Alex 쿠키의 SSL Session ID 값은 SSL이 지원하는 환경과 SSL Session ID 값을 가져올 수 있는 일부 서버 개발언어에서만 지원하므로 호환성에 문제가 있다. W3Techs의 통계에 따르면, PHP를 사용하는 76.4%의 웹사이트와 ASP를 사용하는 6.4%의 웹사이트는 Alex의 쿠키를 사용하지 못한다[24]. 또한, 여전히 HTTP를 사용하는 약 16.7%의 웹사이트에서도 Alex 쿠키를 사용하지 못한다[25]. 이에 따라 PHP로 개발된 Wordpress도 SSL Session ID를 제외하여 지원하고 있는 상태이다[18]. Wordpress는 오픈 소스이기 때문에 서버 비밀키가 노출되면 특정 사용자의 쿠키를 생성하여 인증할 수 있게 된다. 이는 보안적으로 위협이 된다. Lee의 쿠키와 본 논문에서 제안한 가변쿠키는 모든 환경에서 사용이 가능하다.

쿠키값 생성시간은 백엔드 코드에서 각 쿠키방식에 대한 쿠키값 생성시간의 차이를 확인하기 위하여 측정한다. 측정한 시간은 데이터베이스 사용 없이 클라이언트로 전송할 쿠키값을 임의의 값으로 생성하는 데 걸리는 시간이다. 이때 세션은 세션파일을 생성한 후 사용자 이름을 세션파일에 입력하는 데 걸리는 시간을 측정하였다. 임의의 데이터를 통한 쿠키값의 생성에는 세션이 0.182ms, Alex의 쿠키방식이 약 0.025ms, Lee의 쿠키방식이 약 0.026ms, 가변쿠키 방식이 약 0.024ms로 측정되었다. 세션은 세션파일을 생성하는 시간이 쿠키를 생성하는 시간보다 크게 나왔다. 3가지 쿠키 방식의 쿠키 생성시간은 매우 근소한 차이를 보이고 있다.

로그인 인증시간은 데이터베이스를 사용하고, 사용자의 아이디와 패스워드를 입력 받아 로그인 인증 및 생성된 쿠키를 처리하는 시간이다. 쿠키의 해쉬값과 만료시간을 데이터베이스에 유일하게 저장하는 가변쿠키 방식과 타 쿠키와의 처리시간 차이를 비교하기 위하여 로그인 인증시간을 측정하였다. 세션의 경우에는 세션파일을 생성하고 로그인 인증 시간 및 세션에 사용자 이름을 추가하는 시간을 측정하였다. 로그인 인증에서는 세션, Alex와 Lee의 쿠키, 그리고 가변쿠키가 각각 15.167ms, 12.786ms, 12.668ms, 12.596ms로 측정되었다. 로그인 인증에서는 실제 사용자가 로그인을 위하여 입력한 아이디와 패스워드를 데이터베이스에서 확인한 후, 확인된 사용자 정보에 기반하여 쿠키값을 생성한다. Alex와 Lee의 쿠키는 사용자의 접속기록을 데이터베이스에 저장할 때 IP주소와 User-Agent만 저장하지만, 가변쿠키에서는 쿠키 생성에 사용되는 해쉬값과 쿠키의 만료시간 변화를 감지하기 위하여 쿠키 만료시간도 함께 저장한다. Alex의 쿠키방식에서는 쿠키 생성을 위하여 HMAC-SHA256을 사용한 반면, 가변쿠키에서는 HMAC-SHA256에 비해 약 40% 빠른 SHA256을 사용하였다[21]. Lee의 쿠키방식에서는 큰 소수를 선택하고 해당 소수에 -1을 한 수의 서로 소의 개수를 찾는 등 복잡한 계산과정이 포함되어 있지만, 가변쿠키는 단순하며 계산이 필요 없다. 또한, 데이터베이스에 한 쿼리문으로 접속기록뿐만 아니라 해쉬값과 쿠키 만료시간을 함께 저장하더라도, 다른 쿠키 방식과 비교했을 때 시간 차이가 거의 발생하지 않았다.

페이지 이동이나 새로고침 시의 쿠키검증 시간은 쿠키의 유효성을 확인하고 로그인된 사용자의 정보를 가져오는 데 걸리는 시간이다. 세션은 브라우저에 저장된 세션ID를 통하여 생성된 세션파일을 지정하고, 세션파일에 저장된 사용자 이름을 가져와서 로그인된 사용자의 정보를 가져오는 시간을 측정하였다. 세션과 Alex, Lee의 쿠키 방식에서의 검증시간은 각각 15.218ms, 12.724ms, 12.659ms 걸렸고, 가변쿠키 방식에서는 약 21.435ms로 측정되었다.

가변쿠키에서는 페이지 이동 시마다 쿠키를 생성 후 갱신된 해쉬값과 쿠키의 만료시간을 다시 데이터베이스에 저장하므로 약 9ms의 시간이 추가되었다. 가변쿠키에서 갱신된 쿠키를 데이터베이스에 저장하면 쿠키가 지속적으로 변경되어 재생공격을 차단할 수 있으며, 짧은 시간이 추가되어 갱신된 만료시간은 재생공격을 방지할 뿐만 아니라 쿠키를 세션보다 더 안전하게 만든다.