우리 주변의 세상을 해석하는 다양한 방법이 있습니다. 수학자, 그중에서도 기하학자들은 세상을 어떻게 바라볼까요? 7월 8일 포항공과대학교에서 만난 오용근 기초과학연구원(IBS) 기하학 수리물리 연구단 단장은 “일반적으로 고등학교 이하 학년에서 배우는 기하는 도형을 의미한다”며 “하지만 전문적인 관점에서 기하학은 세상 속에서 구조를 찾고, 그 구조의 상관관계를 연구하는 학문”이라고 말했습니다. 우주의 별(항성)과 행성도 여러 힘에 의해 특정 구조를 형성하고, 우리 주변에 있는 수많은 데이터도 잘 분류해보면 저마다의 구조를 이룹니다. 우리 주변의 현상을 구조로 파악해 수학적으로 분석하는 사교 기하학자, 오 단장의 이야기를 들어봤습니다.

Q. 수학과의 첫 만남은 언제였나요?

초등학생 시절에 변변한 장난감이 없어 형이 풀던 참고서를 흥미롭게 보곤 했어요. 그걸 계기로 자연스럽게 수학 문제를 풀기 시작했죠. 그때는 특별히 수학을 좋아했던 것은 아니에요. 자연과학의 모든 분야에 관심이 있었어요. 천문학자에서 수학자로, 다시 화학자로 제 꿈은 해마다 바뀌었어요. 그러던 중 중학교 3학년 때 물리학자가 되기로 결심했죠. 알베르트 아인슈타인의 일반 상대성 이론을 동경하는 마음이 생겼기 때문이에요. 그때부터 대학교에 들어갈 때까지 제 꿈은 변하지 않았어요.

Q. 수학자의 길을 선택한 결정적 계기는 무엇인가요?

1979년 서울대학교 자연대학(현 자연과학대학)에 입학했는데 2학년이 되면서 전공을 결정해야 했습니다. 그때 저는 수학과 물리학 중 어느 분야를 택할지에 대한 고민이 컸습니다. 대학교 1학년 동안 물리학과 수학 과목을 들어보니 저의 적성이 수학에 가깝다고 느껴졌기 때문이에요. 그렇다고 오래 품어온 물리학자의 꿈도 쉽게 포기하진 못했죠. 답을 찾기 위해 수학을 담당했던 고등학교 담임 선생님을 찾아갔어요. 담임 선생님은 “너의 꼼꼼하고 치밀한 성격을 볼 때 물리학보다 수학이 더 어울린다!”라고 말해주셨죠. 물리학자는 알고 싶은 현상이 있으면 수식을 찾고, 그 현상을 잘 설명하는지를 연구해요. 하지만 수학자는 한 가지 수식이 갖는 모든 구조를 파악할 때까지 매달리죠. 그런 면에서 수학자라는 직업이 저한테 꼭 맞는 일이라고 생각합니다.

Q. 어떻게 기하학 분야 연구를 시작하게 됐나요?

우리를 둘러싼 세상의 구조를 파악해 설명하는 기하학이나 물리 현상을 수식으로 구현하는 수리물리 분야에 관심이 있었어요. 그래서 1983년 9월 미국 버클리 캘리포니아대학교 수학과에 입학해 박사과정을 시작했어요. 첫 학기가 시작한지 2개월이 지났을 즈음, 학교 내에서 순수수학적인 관점에서 기하학이나 수리물리를 연구하는 것으로 알려졌던 앨런 와인스타인 교수를 찾아갔죠. 미국에는 ‘리딩코스’라는 게 있는데, 강좌가 없을 때 교수가 학생의 학습을 도와주는 프로그램이에요. 와인스타인 교수가 지정한 수학책을 공부하고 매주 한 번씩 만나서 질문하며 궁금증을 해결했죠. 결국 그를 지도교수로 선택했고 비선형 슈뢰딩거 방정식과 관련한 편미분방정식을 주제로 박사 논문을 완성했어요. 졸업할 때는 학과에서 좋은 응용수학 논문을 쓴 학생에게 수여하는 버나드 프라이드만 메모리얼상을 받았어요.

Q. 현재 연구하는 사교 기하학이란 무엇인가요?

19~20세기에는 물리학 연구가 곧 수학 연구였죠. 당시 물리학에서 거시세계를 설명하는 고전(뉴턴)역학은 소립자의 세계를 설명하는 양자역학의 등장으로 흔들리기 시작해요. 그리고 고전역학으로는 도저히 풀기 어려운 역학 문제가 끊임없이 제기됐어요. 당시 연구자들은 고전역학을 재구성했는데 이 과정에서 기하학적인 구조를 바탕으로 하는 해밀턴 역학이 등장해요. 해밀턴 역학에 들어있는 기하학을 연구하는 것이 사교 기하학(Symplectic Geometry)이에요. 제가 박사과정을 밟은 지 2년쯤 지난 1985년, 러시아 수학자 미하일 그로모프가 ‘유사정칙 곡선’이라는 새로운 기하학적 도구를 발견해 20년간 풀지 못한 ‘조임 불가능성 정리’ 문제를 풀었어요. 이런 유사정칙 곡선을 기술하는 방정식이 제가 박사과정 때 연구한 비선형 슈뢰딩거 방정식을 연구하는 방법론과 유사해서 해석학적인 시각을 갖춘 사교 기하학자로 성장할 수 있었습니다.

Q. 2012년 한국행을 택한 이유는 무엇인가요?

학부를 졸업하고 미국 유학길에 올랐지만 1990년대 말부터 저의 발길은 한국을 향했어요. 1998년에 미국 위스콘신대학교 수학과 부교수직을 무급 휴직하고 2년간 고등과학원(KIAS)에서 근무했어요. 그 이후에도 2007년까지 매년 KIAS를 방문해 연구를 진행했고 한국의 순수수학 연구가 발전할 수 있는 길을 고민했어요. 2008년부터는 매년 여름 포항공과대학교를 찾아 연구를 진행했고요. 이런 과정들이 한국에 자리 잡기 위한 토대가 된 것 같아요. 2012년 IBS 연구단장 자리에 지원했고, 그때부터 이곳에 뿌리를 내리게 됐습니다. 현재는 15~20명의 박사후연구원과 함께 기하학과 수리물리학이라는 큰 범주 안에서 다양한 세부 연구를 진행하고 있습니다.

Q. 연구 과정에서 가장 힘들었던 일은 무엇이었나요?

동역학 분야에서 30여 년간 풀리지 않고 남아 있던 수학적 추측을 2005년부터 풀려고 씨름했어요. 그러던 2019년 다른 수학자들이 새로운 수학적 도구로 그 문제를 풀었죠. 약 3주간 정신이 멍한 상태로 있었던 것 같아요. 이를 인정하고 다시 새로운 주제를 찾아 연구에 매달리는 것이 최선의 해결책이죠.

Q. 앞으로의 연구 목표는 무엇인가요?

사교 기하학의 세부 분야 중 하나인 접속 기하학(Contact Geometry)의 짝수 차원과 홀수 차원 문제들을 설명해야 해요. 저는 현재 특히 홀수 차원에서 일어나는 사교 기하학적 구조의 얽힘을 설명하는데 초점을 맞추고 있어요. 이를 이용하면 3차원 공간에서 데이터가 얽혀있는 상관관계나 단백질의 불규칙한 모양 등을 설명하는 문제를 풀 수 있을 겁니다. 아직 해야 할 일이 산더미지만, 그 원동력이 되는 체력관리를 빼놓을 수 없죠. 그래서 이틀마다 10km씩 달리곤 해요. 달리면서 때때로 새로운 아이디어를 얻기 때문에 수학을 연구할 때 생각의 전환을 일으키는 방법이라 믿거든요.