Vol.4 [수학자의 연구 노트] 예상치 못했던 수학자와의 만남

• 기초과학연구원(IBS)은 세계 수준의 기초과학 연구를 위해 2011년 대한민국이 설립한 연구기관입니다. 수학 분야에서는 5명의 연구책임자가 이끄는 3개의 연구단이 활발한 연구를 펼치고 있습니다. IBS는 설립 10주년을 맞아 <수학동아>와 함께 IBS 수학자들의 연구와 삶을 소개하는 시리즈 <나의 삶, 나의 수학>을 연재합니다.

고등과학원 수학부 교수로 일하던 2011년 5월, 나는 몇 달 동안 연구하던 문제로 끙끙 앓고 있었다. 대수기하학 분야의 한 난제 때문이었는데, 수십 년 동안 연구하면서 경험해보지 못했던 뜻밖의 방법으로 문제를 풀어서 기억에 남는다.

대수기하학 분야에서 ‘하이퍼켈러 다양체라는 공간이 어떤 조건에서 라그랑지안 파이버 구조를 가지는가’를 묻는 문제는 오랫동안 결과가 나오지 않은 난제다. 이와 관련해 2010년 초, 프랑스의 대수기하학자 아르노 보빌이 ‘라그랑지안 토러스를 가지는 하이퍼켈러 다양체는 항상 라그랑지안 파이버 구조를 가지는가’라는 질문을 제기했다. 그 당시 인터넷에 게시된 이 문제를 처음 보았을 때 나는 큰 관심을 갖지 않았다. 보빌의 공동 연구자들이나 제자들이 그 문제를 잘 풀 거라 생각했고, 나의 연구 취향과도 거리가 있어 보였기 때문이다.

친구의 권유로 시작된 연구

그러다가 2010년 12월에 공동 연구를 마무리하기 위해 일본 도쿄에 있는 친구인 오기소 케이지 교수를 만나게 됐다. 당시 오기소 교수는 프랑스의 수학자인 아르노 보빌이 제시한 문제를 두고 “황 교수가 잘 다룰 수 있는 문제로 보인다”고 말했다. 그의 말로 인해 이 문제를 생각하기 시작했고, 오기소 교수와 대화하면서 이 문제의 본질적인 어려움이 무엇인지 알게 됐다. 문제의 핵심은 하이퍼켈러 다양체 안에서 토러스를 움직일 때, 한 점을 여러 번 지나는 일이 생기지 않는다는 것을 증명하는 데 있다는 것을 깨달았다.

▲부산 해운대에서 찍은 사진. 사진에서 제일 왼쪽이 친구인 대수기하학자인 오기소 케이지 일본 도쿄대학교 수리과학과 교수다.

비슷한 상황의 문제를 전에 고민해 본 경험이 있어 흥미를 느꼈고, 몇 주 동안 생각하다가 2011년 1월에 좋은 아이디어가 떠올랐다. 토러스가 한 점을 여러 번 지난다고 가정하고 그 토러스들을 모아서 좀 더 고차원의 도형을 만든 뒤, 이 도형에 사교기하학을 적용해 모순을 만들어 보는 것이었다. 이 아이디어로 문제를 검토해보니 퍼즐 조각이 딱딱 맞아 떨어지며 그림이 멋지게 완성돼갔다. 그렇게 두 달 정도 연구를 진행한 끝에 3월 초 쯤 전체적인 윤곽이 드러났고, 나는 문제를 풀 수 있을 거라는 확신이 들었다.

그런데 구체적으로 논증 과정을 점검하던 중 한 가지 꺼림칙한 부분이 나타났다. 처음엔 논증 순서를 꼼꼼히 따져 바로잡으면 쉽게 해결될 것 같았는데, 이상하게도 이리저리 바꿔가며 논리를 전개해 봐도 계속 틀어지는 부분이 생겼다. 분명히 내가 놓치는 부분이 있을 거라는 생각이 들어 기하학적 부분을 검토하며 원인을 찾기 시작했다.

그동안 어딘가 연구가 꼬일 때 해봤던 방법은 다 써봤다. 직접 식을 종이에 쓰며 계산도 해보고, 기하학적 아이디어를 그림으로도 그려보고, 칠판에 쓰면서 생각해보기도 하고, 연구실 소파 위에서 뒹굴며, 집안을 계속 서성이며, 밖으로 나가 오랫동안 산책하면서, 생각하고 또 생각했다. 하지만 실마리가 보이지 않았다. 아이디어가 그렇게 잘 맞아떨어지는데 안 풀린다니! 여러 세미나나 해외 학회에 참석해 다른 문제에 대해 동료들과 대화를 했지만, 내 머릿속은 온통 이 문제뿐이었다. 그렇게 끙끙거리며 두 달을 보냈건만, 한 발자국도 진전이 없었다. 더는 내 능력으로는 찾을 수 없을 것 같았다. 그래서 지금까지 연구한 내용을 정리해 놓고 당분간 이 연구를 접어두기로 결심했다.

그런데 그때까지 얻은 결과들을 정리하는 과정에서 엉뚱한 생각이 들었다. 문제의 한 점을 지나는 토러스의 수가 적을 때는 쉽게 모순을 유도할 수 있는데, 이 토러스들의 수가 많아지면 논리에 허점이 생겨나는 것이 아닌가. 물에 빠진 사람이 지푸라기라도 잡는 심정으로, 나는 ‘혹시 이 토러스들의 수가 많아지면 어떤 조합론적인 성질을 이용해 문제를 풀 수 있지 않을까’하는 희망을 품게 됐다. 이 문제의 기하학적인 부분은 그토록 샅샅이 훑었는데도 빈틈이 없었으니, 조합론적인 부분에서 빈틈이 생기는 것이 아닐까하는 희망이었다. 하지만 이런 종류의 문제에서 조합론적인 방법이 도움이 되는 예가 전에는 없었기에 큰 기대를 걸지 않았다.

한 가지는 분명해 보였다. 이 문제가 군론이나 조합론 분야에서 연구된 적이 있는 문제가 아니라는 점이다. 그렇다면 이 문제를 어느 군론 전문가에게 묻더라도 그 사람이 선뜻 이 문제에 관심을 가질 가능성은 희박하다고 생각했다. ‘잘하는 수학자일수록 자기가 당장 하고 있는 연구로 바쁠 텐데, 이 문제를 도와줄 사람이 누가 있을까?’ 골똘히 생각해봐도 막막하기만 했다. 추상 군론은 순수 대수학에 속하는, 나하고 거리가 먼 분야이니 아는 사람도 별로 없었다. 그러던 중 문득 4년 전 일이 떠올랐다.

시간이 흘러 2011년 5월, 그렇게 고민하던 상황에서 이 사람이 생각났다. 누구였는지 이름도 기억나지 않았지만, 군론 분야 실력자이고, 무엇보다 다른 분야 수학자가 제시하는 처음 보는 문제에 관심을 두는 사람이라는 점이 희망적이었다. 다행히 고등과학원 홈페이지를 살펴보니 그 학회 기록과 초청 연사 리스트가 남아 있었다. 연사 중에 아는 사람들을 제외하고 나니 딱 두 사람이 남았다. 그중 하나는 아닌 것 같고, 남은 한 사람이 바로 ‘리처드 웨이스’! 구글로 사진을 찾아보니 기억하는 그분의 인상이 맞는 것 같았다. 그래서 당장 이메일을 띄웠다.

기대했던 대로 웨이스 교수는 내가 보낸 문제가 매우 흥미로워 보이니 생각해보겠다는 답장을 보내줬다. 그리고 다음 날 그 문제의 조건 몇 가지를 자세히 묻는 메일이 또 왔다. ‘정말 생각해 볼 모양이네’ 하는 희망이 생겼다. 하지만 그 후 몇 달이 지나도록 연락이 없었다. 다른 분야에서 나온 생소한 문제에 그렇게 관심 갖고 생각해주기가 쉽지 않으리라 이해가 갔다. 나는 그냥 잊어버리고 있기로 했다.

그리고 문제의 풀이 과정에 전에 쓰인 적 없던 희한한 군론의 개념을 사용했다는 점 덕분인지 전문가들에게 좋은 평가를 받을 수 있었다. 내가 처음 떠올렸던 대로 기하학적 아이디어만을 이용해 문제를 풀었다면 이렇게 재미있는 연구가 될 수 없었을 것이다. 그동안 여러 수학자와 공동 연구를 해봤지만, 웨이스 교수처럼 거리가 먼 분야의 전문가와 공동 연구를 한 것은 아주 특이한 경험이었다.