"지식의 확실성에 관한 수학은 우리가 결코 도달할 수 없는 이상일지 모르지만, 도달하려고 애쓰는 이상으로 알맞다. 확실성은 아마 계속해서 따라가도 끝까지 알기 어려운 환영에 불과할 수도 있다. 그러나 이상은 힘과 가치를 지닌다."

이성을 통해 진리가 무엇인가를 진지하게 찾는 사람이라면, 수학을 깊이 연구할 수밖에 없다. 수학은 그 자체로서 진리를 찾고 구현하는 방법이며, 절대적인 확실성을 보여주는 유일한 세계로 간주되기 때문이다.

수학적 추론은 엄밀하고 정확한 결과를 끌어내는 대표적인 방법이며, 수학에서 얻은 진리는 흔히 확실한 진리의 모범으로 여겨진다. 이미 고대 그리스 시대부터 유클리드의 기하학은 보편적이고 완전한 진리의 체계로 자리 잡았으며, 19세기에 공리화 과정을 통해서 엄밀성이 확립되면서 더욱 확고한 기초를 갖게 되었다.

또 수학은 자연 세계에 적용되면 놀라운 결과를 가져오는 막강한 도구임이 오래 전부터 잘 알려져 왔다. 특히 17세기 과학 혁명 이래, 천체와 지상의 역학, 광학, 유체 역학, 전기 및 자기 이론, 그리고 여러 공학 분야에서 수학이 적용되면 이전과는 비견할 데 없는 거대한 성과를 얻을 수 있었다. 현대의 양자 역학과 상대성 이론은 인간의 감각이 미치지 못하는 세계를 다루기 떄문에 수학의 힘을 더욱 더 필요로 한다.

그러면 수학은 정말 절대적인 진리로 이루어진 완전한 체계일까? 이것을 최종적으로 증명하는 것이 20세기에 접어들면서 수학자들 앞에 주어진 과제였다. 1900년 파리에서 열린 제2차 수학자 대회에서 당대 수학계의 지도자였던 독일 괴팅겐 대학교의 다비드 힐베르트는 수학의 발전을 위해 중요한 문제 23개를 발표했는데, 이 문제들의 상당 부분은 수학의 기초를 확립하는데 초점을 맞춘 문제들이었다. 힐베르트가 이 문제들을 제시했을 때 사람들은, 비록 시간이 걸릴 수는 있겠지만, 언젠가는 그 모든 문제들에 대한 해답이 주어지고 수학의 완전한 기초가 완성되리라는 것에 한 점 의심을 품지 않았다. 수세기 동안 거듭된 발전을 통해 이룩된 수학의 업적 위에서 수학자들은 낙관적이고 자신만만했다.

낙관론이 팽배하던 바로 그 때에, 수학의 기초는 붕괴하고 있었다. 무한을 다루는 엄밀한 방법으로 집합론을 창조한 게오르크 칸토르는 무한 집합을 다루는 과정에서 야기되는 여러 가지 난점에 직면했다. 버트런드 러셀은 보다 명료하게, 자기 자신을 포함하는 집합은 모순(paradox)을 낳는다는 것을 발견했다. 이후 수학의 여러 방면에서 모순이 발견되었다. 갑자기 수학 전체가 흔들리는 것 같았다. 이로써 모순이 없는 구조, 즉 무모순성을 확립하려는 것이 가장 시급한 문제가 되었다. 20세기 초반은 자연과학뿐 아니라 수학에서도 혼란의 시기였다.

수학의 기초를 건설하기 위해, 러셀과 앨프레드 화이트헤드와 같은 이들은 수학을 논리학으로 환원해서 논리 위에 수학의 기초를 세우려고 했다. 네덜란드의 르위트첸 브라우어는 수학의 기초를 인간 정신의 기본적인 직관에서 찾아야 한다고 주장하는 직관주의를 제안했다. 힐베르트는 형식주의라고 불리는 학파를 창시해서, 증명법을 발전시키고 수학의 기초 체계를 건설하는 프로그램을 제시했다. 또 독일의 에른스트 체르멜로는 집합론 학파를 창시했다.

이들 학파는 각자 나름대로의 방법으로 모순을 해결하고 일정한 성공을 거두었다. 1930년에 이르기까지 제한적인 경우에나마 수학의 공리계는 어느 정도 무모순성과 완전성이라고 불리는 성질을 확립할 수 있었다. 힐베르트는 1930년의 논문에서 "나는 나의 증명으로써 이 같은 목적을 완전히 성취할 수 있다고 믿는다"라고 주장했다.

상황은 일거에 뒤집혔다. 빈 출신으로 힐베르트의 프로그램에 따라 무모순성을 연구하던 쿠르트 괴델은 1931년, 소위 불완전성 정리라고 부르는 획기적인 결과를 발표한다. 이 정리에 따르면, 무모순인 공리계에서는 참과 거짓을 판별할 수 없는 명제가 반드시 존재해서, 체계는 불완전할 수밖에 없다. 즉 무모순성과 완전성은 동시에 만족될 수 없다는 것을 의미한다.

이로써 그동안 수학이 자신의 기초로 삼았던, 무모순성을 갖춘 공리계를 건설하는 것은 불가능하며 수학의 공리화에는 한계가 있음이 증명되었다. 수학의 확실성이란 사라져버린 꿈이거나, 또는 지금까지 수학자들이 생각해온 것과는 전혀 다른 그 무엇이어야 했다.

이러한 서사를 담고 있는 <수학의 확실성>(심재관 옮김, 사이언스북스 펴냄)의 원제는 "수학, 확실성의 상실(Mathematics, The loss of certainty)"이다. 저자 모리스 클라인은 1980년에 이 책을 발표할 당시 뉴욕 대학교의 쿠란트 수리과학연구소 (Courant Institute of Mathematical Science)의 명예교수였으며, 수학사 및 수학 교육 분야의 대가로서 대중을 위한 수학책의 저자로도 이름이 높았다. (지금은 서거했다.) 이 책에서 저자는, 책의 원제에서 볼 수 있듯이 괴델의 불완전성 정리에 이르러 수학 기초론의 낙관적 전망이 실패했음을 생생하게 묘사하고, 새로운 기초, 새로운 미래의 수학이 필요함을 역설하고 있다.

또 저자는 책의 후반부에서 수학의 지나친 순수화는 수학의 고립을 가져오고 이는 수학의 건전성에 해로운 결과를 가져올 것이라고 경고하고 있다. 수학의 세계적 중심이었던 괴팅겐 대학교의 수학을 이끌었던 카를 프리드리히 가우스를 비롯해서 베른하르트 리만, 펠릭스 클라인 등은 모두 수학과 물리학의 적극적인 교류에 힘을 기울였었다. 저자가 속한 연구소의 소장이었던 리하르트 쿠란트는 괴팅겐 대학교에서 가우스의 제자였으며, 가우스의 맥을 이어 괴팅겐 대학교 수학부의 장을 지낸 바 있는데, 그 역시 수학의 지나친 순수 수학화를 경계하며 "이러한 모든 경향은 모든 과학에 위협이 되고 있다"고 했다. 이 책의 저자 역시 이런 견해를 지지하는 것이다.

내가 이 책을 읽은 것은 이 책이 막 번역되어 나왔던 대학 1학년 때의 겨울이었다. 당시 내가 읽은 것은 서울대학교 수학과의 박세희 교수가 번역해서 '대우학술총서'로 나온 책이었다. 그런데 책 후반부의 저자의 주장이 박세희 교수에게는 매우 거슬렸는지, 역자 후기에서 상당히 강한 어조로 저자를 비판하고 있어서 놀랐던 기억이 있다. "그 부제부터가 약간 선동적이고 그 내용도 약간의 편견과 자기 신념에의 고집이 섞여 있다"라고 표현했을 정도다.

나도 박세희 교수가 말한 것처럼 이 책의 부제가 확실성의 '상실'이 아니라 '추구'라 했으면 더 좋았을 거라고 생각한다. 그리고 순수 수학이냐, 응용 수학이냐 하는 논쟁은 이 책만의 것도 아니고 쉽게 끝날 문제도 아니며, 사실 정답이 따로 있는 문제도 아니다. 그러나 한편으로는 이렇게 불만스러운 점이 있으면서도 이 책을 번역해서 펴냈다는 것은, 역설적으로 이 책의 내용이 얼마나 뛰어난가를 말해준다고도 할 수 있다. 그해 겨울, 물리학과 수학에 한없이 목말라하던 대학 신입생이었던 나도 수학의 역사적 발전에 대한 풍부한 내용에 매료되어 이 책을 읽는 동안 행복할 지경이었다.

수학의 역사를 읽는 것은 위대한 수학자들에 대한 영웅담으로서도 흥미롭지만, 우리가 잘 알고 있다고 생각하는 수학 개념이 어떤 식의 변화를 겪고 어떤 논의를 거쳐서 지금과 같은 형태로 완성되는지를 지켜보는 일은 그보다 더욱 흥미롭다. 이런 모습을 제대로 보여주는 것은 수학자에게도 쉬운 일은 아닌데, 저자인 모리스 클라인은 과연 대가답게 전체적으로 수학의 주요한 흐름을 잘 보여주면서, 한편으로는 수학적 개념과 역사적 사건을 아주 구체적으로 설명해준다. 특히 수학 기초론과 관계되어 20세기 초반의 상황을 잘 해설하고 있다는 것이 이 책의 가장 큰 미덕이다. 지금은 우리나라에도 수학 기초론에 대한 책이 좀 더 소개되어 이 분야에 대해 읽을거리가 있지만, 이 책이 처음 번역되었던 1984년에는 이런 내용은 정말 가뭄의 단비 같았다.

수학이 인간에게 어떤 의미가 있는가 하는 것은 수리 철학자부터 수학 성적 때문에 고민하는 학생들까지 무수히 많은 사람들이 던지는 질문이다. 그런데 사실 이 질문에 올바로 대답하기 위해서는 수학이란 무엇인가라는 질문에 먼저 대답해야 한다. 그러나 이 질문도 역시 대답하기 쉬운 질문은 아니다. 말 할 필요도 없는 일이지만, 수학은 계산법만이 아니고, 시험 과목만이 아니다. (그러나 또한 우리나라의 많은 사람들은 무의식적으로 그렇게 생각하고 있을 거라고 추측한다. 학생들의 부담을 줄이기 위해 수학 내용을 줄이자는 전혀 논리적이지 않은 주장을 선의로(?) 하는 분들을 보면 더욱 그런 생각이 든다.) 수학은 인간의 고도의 정신 활동이며, 어쩌면 그 핵심인지도 모른다. 수학이 인간의 정신문명의 중요한 한 요소라는 것을 느끼기 위해서 한 권의 책만으로는 부족하겠지만, 그래도 한 권을 꼽아보라면, 이 책은 충분히 추천할 만한 책이라고 생각한다.

이 책을 박세희 교수가 번역한 대우학술총서 판은 지금은 절판되고, 2007년에 심재관 박사가 번역해서 사이언스북스에서 '사이언스 클래식' 시리즈로 다시 발간되었다. 모리스 클라인의 다른 저작으로는 <수학, 문명을 지배하다>(경문사 펴냄, 2005년)와 <지식의 추구와 수학>(이화여자대학교출판부 펴냄, 1994년)가 번역되어 있다.

수학 기초론과 20세기 전반의 수학에 대해서 어니스트 네이글과 제임스 뉴먼이 지은 <괴델의 증명>(승산 펴냄, 2010년), 콘스탄스 리드가 지은 <현대 수학의 아버지 힐베르트>(사이언스북스 펴냄, 2005년)를 더 읽어볼 만하다.

(이 글은 부산대학교출판부가 펴낸 비매품 교양 교재 <고전의 창>에 먼저 실린 글의 일부를 수정한 것입니다.)