슈퍼컴퓨터의 성능을 뛰어넘는 양자컴퓨터가 등장한다면 세상은 어떻게 달라질까. 양자 정보 통신을 활용한 양자컴퓨터는 한 개의 처리 장치에서 여러 계산을 동시에 할 수 있어 현존하는 컴퓨터보다 특정 문제를 처리하는 게 비교할 수 없이 빨라질 것으로 보인다. 

이에 학계에서는 그동안 꾸준히 양자컴퓨터가 등장하면 현존하는 암호 시스템이 크게 위협될 수 있다고 우려를 제기해왔다. 아직 양자컴퓨터는 연구·개발이 진행 중이지만 양자컴퓨터를 막기 위한 보안 기술도 빠르게 개발되고 있다.  

서울대 수리과학부 천정희 교수가 2017년 설립한 크립토랩은 양자내성암호(PQC) 방식을 사용해 양자컴퓨터를 막을 수 있다고 보고 있다. PQC란 이름 그대로 양자컴퓨터에 내성을 가진 암호를 말한다. 

동형암호와 PQC 분야에서 주목받는 크립토랩은 최근 기술 연구에 집중하며 다양한 기업과 보안 분야에서 협력하고 있다. 최근에는 LG유플러스와 PQC 전용회선 개발에 협력하기도 했다. 그렇다면 PQC는 어떻게 양자컴퓨터를 막을 수 있을까. 

지난 16일 서울 관악구에서 만난 천 교수는 "PQC는 양자컴퓨터를 이용한 모든 공격에 대해 안전한 내성을 갖는다"고 말했다.  

크립토랩이 주력으로 하는 동형암호와 PQC는 4세대 암호다. 천 교수는 "1세대 암호는 설정해둔 비밀번호가 맞으면 정보를 볼 수 있는 방식, 2세대 암호는 데이터 자체를 변환시키자는 것"이라고 설명했다.

3세대 암호는 데이터를 결합하거나 분석할 때 데이터의 암호화를 풀어 내용을 들여다보는 식이다. 다만 그 과정에서 정보 유출의 위험이 있었다. 크립토랩은 이에 PQC와 동형암호에 주목했다. 

PQC와 동형암호 모두 격자 암호를 기반으로 한다. 어려운 수학을 이용한 기존 암호와 다르게 행렬과 같은 쉬운 문제를 쓰면서도, 답을 조금씩 다르게 하는 격자의 성향을 이용한 것이다. 천 교수는 "같은 구조를 기반으로 하나 몸집이 작으면 통신에 사용하는 PQC가 되고, 몸집이 크면 데이터를 다루는 동형암호가 되는 것"이라고 설명했다.  

격자 암호는 격자 사이에 점을 찍고 가장 가까운 격자를 찾도록 하는 문제를 내 암호를 지킨다. 만약 2차원 격자라면 주변에 선이 4개 뿐이니 답을 쉽게 찾을 수 있다. 때문에 크립토랩에서는 200차원의 격자를 사용한다.

천 교수는 "200차원의 격자에서 점을 찍고 가장 가까운 격자를 찾는 경우의 수는 2의 200승"이라며 "우주의 나이가 10의 80승 정도인 점을 고려하면, 암호를 해독하기 위해서는 우주의 요소 중 가장 가까운 걸 찾는 거나 마찬가지인 셈"이라고 지적했다.

아직 양자컴퓨터는 등장하지 않았지만, 업계에서는 양자컴퓨터로 할 수 있는 일을 두 가지로 보고 있다. 바로 검색하고 인수분해를 하는 것이다. 천 교수는 "양자컴퓨터는 특별한 종류의 병렬 컴퓨터"라며 "일반적인 일을 잘 한다기 보다는 많은 일을 한번에 할 수 있다"고 말했다.

아직 양자컴퓨터가 등장하지 않았음에도 암호 분야에서 연구가 활발히 이뤄지는 이유는, 양자컴퓨터가 등장하면 현재 어렵다고 일컬어지는 암호 문제들이 쉬운 축에 속해질 수 있기 때문이다.

천 교수는 양자컴퓨터가 언제쯤 나올 것으로 예상하느냐는 질문에 "양자비트를 늘릴 수 있느냐가 관건"이라고 설명했다. 정확한 시기를 예측하기는 어렵지만, 암호는 새로운 시스템이 나타나기 최소 5년 전부터는 대비를 해야 하기 때문에 미리 양자컴퓨터에 대비할 필요가 있다는 설명이다. 

최근 일각에서는 PQC를 공략할 수 있는 새로운 양자 알고리즘이 나타날 거라는 시선도 있었다. 앞서 한국전자통신연구원(ETRI)은 '분할-정복(divide-and-conquer) 전략'을 활용해 소규모 수준의 양자컴퓨터로도 PQC를 공략할 수 있는 알고리즘을 개발했다고 밝혔다. 

분할-정복 전략은 전체 구조를 하부 구조로 작게 나누고 개별 공략하는 방법이다. 연구진은 적정한 수준의 양자 연산능력만으로도 '지적함수적 양자이득'이 가능함을 증명해, 양자 내성이 무효화하는 조건을 보다 구체적으로 특정할 수 있게 됐다고 설명했다.

이에 대해 천 교수는 "논문을 보고 오히려 양자컴퓨터가 보안에 취약할 수도 있겠다는 생각이 들어 흥미로웠다"고 말했다. 양자컴퓨터를 사용해 뭔가를 계산한다면 안전하겠지만, 양자컴퓨터에 비밀을 맡길 땐 더 위험할 수도 있다는 분석이다.

천 교수는 암호를 담고 있는 물리적인 기계에 따라 안전성이 달라진다고 말했다. 천 교수는 OTP를 예로 들며 "OTP의 경우 컴퓨터 중에서도 성능이 좋지 않은 편이라 오히려 더 안전하다"며 "컴퓨터의 성능이 좋으면 좋을수록 해커 입장에서는 일하기 좋다"고 말했다. 양자컴퓨터에 암호를 넣어두면 해커가 접속해 일하기 좋기 때문에 오히려 더 위험할 수 있다고 본 것이다.  

ETRI가 발표한 논문은 모든 컴퓨터가 양자컴퓨터의 능력을 가졌다고 가정했기 때문에 현실적으로 가능하지 않다고도 지적했다. 천 교수는 "ETRI는 모든 컴퓨터가 양자컴퓨터라고 가정하고, 모든 컴퓨터가 양자대답(퀀텀 스테이트)을 할 거라는 가정 하에 세워진 것"이라며 "양자컴퓨터를 쓰면 안 된다는 결론이지 PQC가 안전하지 않다는 게 아니다"라고 주장했다. 

다만 천 교수는 "양자 기기들이 커뮤니케이션을 할 때에는 보안에 더 주의해야 한다는 새로운 상상을 해볼 수는 있을 것 같다"며 "논문은 '비밀을 지키는 가드가 양자컴퓨터면 못지킨다'는 가정인 것 같다"고 말했다.