AI의 '노가다'는 어떻게 '통찰'이 되는가 - AI가 50년 묵은 수학 난제를 풀었다.
AI가 50년 묵은 수학 난제를 풀었다
컴퓨터와 증명, 50년 전의 논쟁
컴퓨터로 수학의 난제를 증명한 것이 수학적 증명으로 인정될 수 있는지에 대한 논쟁이 있었다. 이른바 4색 문제 논쟁이다. 4색 문제란 “어떤 지도든 인접한 나라를 서로 다른 색으로 칠하는 데 네 가지 색이면 충분한가”라는, 1852년에 제기된 문제다. 1976년 아펠(Appel)과 하켄(Haken)은 이렇게 증명했다. 반례가 존재한다면 반드시 포함할 수밖에 없는 약 2천 개의 구성 목록을 이론적으로 만들고, 그 각각이 실제로는 문제가 되지 않음을 컴퓨터의 방대한 계산으로 검증한 것이다. 전략과 이론적 틀은 인간이 세우고, 사람의 손으로는 불가능한 검증을 기계가 해냈다.
당시 논쟁의 핵심은 증명 방법이 아니라 이것이었다. 어떤 인간도 처음부터 끝까지 읽고 확인할 수 없는 증명을, 증명이라고 부를 수 있는가. 컴퓨터를 믿어야만 성립하는 증명의 지위를 두고 수학계와 철학계가 수십 년을 다퉜다.
50년이 지난 지금, 정확히 반대 방향의 사건이 일어났다.
이번에 일어난 일
2026년 7월 10일, OpenAI가 자사 모델 GPT 5.6이 “순환 이중 덮개 추측(Cycle Double Cover Conjecture)“의 증명을 만들어냈다고 발표했다. 1970년대에 제기되어 약 50년간 미해결이던 그래프 이론의 유명 난제다. 기사를 보고 논문을 찾아봤는데, 친절하게도 증명뿐 아니라 모델에 입력한 프롬프트 전문까지 PDF로 공개되어 있어서 재밌게 읽을 수 있었다.
미리 단서를 하나 달아두면, 이 글을 쓰는 시점에 증명은 아직 동료 검토를 거치지 않았다. 이 추측은 과거에도 여러 번 “증명”이 나왔다가 결함이 발견된 전력이 있는 문제다. 다만 이번 증명은 3쪽짜리이고 사용된 도구도 초등적이어서, 맞는지 틀리는지는 머지않아 판가름 날 것이다. 수학자 토머스 블룸(Thomas Bloom)은 증명을 “매우 훌륭하고 초등적”이라며 1980년대에도 발견될 수 있었을 것이라 평가했다.
여기서 “초등적(elementary)“은 쉽다는 뜻이 아니다. 수학에서 이 말은 새로운 이론 체계나 다른 분야의 무거운 정리를 동원하지 않고, 이미 있는 기본 도구만으로 해냈다는 뜻이다. 페르마 정리 증명이 별도의 거대한 이론을 세워 100쪽을 넘긴 것과 대비된다. 그리고 “초등적인데 아무도 못 찾았다”는 것은 수학에서 최고의 찬사에 가깝다. 도구가 40년 전부터 다 있었는데도 아무도 그 조합을 보지 못했다는 뜻이니까. 블룸의 평가는 칭찬인 동시에, 왜 그때 발견되지 않았는가라는 뼈아픈 질문이기도 하다.
문제 자체는 어렵지 않다
문제를 이해하는 데 수학 지식은 필요 없다.
어떤 동네에 교차로들과 교차로를 잇는 길들이 있다. “한 바퀴 코스”란 어느 교차로에서 출발해 같은 길을 다시 밟지 않고 걷다가 출발점으로 돌아오는 산책 코스다(수학 용어로 사이클, cycle). “외나무다리”란 그 길 하나가 막히면 동네가 두 쪽으로 갈라지는 길이다(수학 용어로 다리, bridge). 외나무다리는 어떤 한 바퀴 코스에도 포함될 수 없다. 건너갔다가 돌아올 다른 길이 없기 때문이다.
추측의 내용은 이렇다.
외나무다리가 하나도 없는 동네라면, 언제나 한 바퀴 코스 여러 개를 골라서 동네의 모든 길이 정확히 두 코스에 포함되게 할 수 있는가?
순환버스로 바꿔 말하면, 모든 길에 순환버스 노선이 정확히 2개씩 지나가도록 노선을 짤 수 있느냐는 것이다. “많아도 안 되고 적어도 안 되고 딱 2개”라는 균형 조건이 문제를 어렵게 만든다.
가장 단순한 예를 보면 감이 온다.
교차로 두 개를 세 갈래 길이 잇는 동네다. 한 바퀴 코스는 세 가지가 가능하다. 윗길+가운뎃길, 윗길+아랫길, 가운뎃길+아랫길. 이 셋을 전부 채택하면 어느 길이든 정확히 두 코스에 포함된다. 윗길은 첫째와 둘째 코스에, 가운뎃길은 첫째와 셋째에, 아랫길은 둘째와 셋째에. 이것이 순환 이중 덮개(cycle double cover)다.
작은 동네에서는 이렇게 손으로 짤 수 있다. 문제는 교차로가 수억 개인 동네까지 포함해 “어떤 동네든 반드시 된다”를 증명하는 것이다. 종이에 평평하게 그릴 수 있는 동네(평면 그래프, planar graph)는 된다는 것까지는 일찍이 알려져 있었다.
또 하나의 큰 진전은 일종의 “도장 놀이”에서 나왔다. 이 놀이가 이 글의 끝까지 계속 등장하니 잘 봐두자. 길마다 도장을 찍는데, 도장은 세 색이다 — 빨강, 파랑, 노랑. 먼저 엄격한 규칙부터. 모든 교차로가 삼거리인 동네에서, 각 길에 도장을 정확히 하나씩만 찍되 모든 삼거리에서 만나는 세 길의 도장 색이 전부 다르게 찍을 수 있다고 해보자. 그러면 이중 덮개는 공짜로 나온다. 노랑 길만 지워보면, 모든 교차로에 원래 세 색이 하나씩 있었으니 길이 정확히 2개씩 남는다. 모든 지점에서 정확히 2개 — 이건 곧 한 바퀴 코스들이라는 뜻이다(들어오는 길이 있으면 나가는 길이 딱 하나 있으니, 걷다 보면 반드시 제자리로 돌아온다). 세 가지 색 짝(빨강+파랑, 파랑+노랑, 빨강+노랑)마다 이런 코스 모임이 하나씩 나오고, 어떤 길이든 — 예컨대 빨간 길은 빨강이 들어간 두 짝에 — 정확히 두 모임에 속한다. 엄격한 도장 찍기만 되면 추측은 자동으로 성립하는 것이다(Szekeres, 1973).
문제는 이 엄격한 규칙의 도장 찍기가 안 되는 동네가 존재한다는 것이다. 가장 작은 예가 페테르센 그래프다.
보다시피 모든 꼭짓점이 삼거리인 아담한 그래프인데, 이 길들에 위 규칙대로 도장을 찍는 것이 불가능하다. 수학자들은 이런 고약한 그래프들에 스나크(snark)라는 이름을 붙였다. 루이스 캐럴의 시에 나오는, 잡히지 않는 괴물의 이름이다. 반례가 있다면 반드시 스나크 중에 숨어 있다는 것까지 알면서도 — 스나크에서는 위의 공짜 논법이 통하지 않으니 — 거기서 50년을 막혀 있었다.
덧붙이면, 여기서 “동네”라는 비유에 속으면 안 된다. 그래프에는 애초에 공간이 없다. 평평한 땅 위의 도로망이 아니라 순수한 연결 관계, 그러니까 SNS 친구 관계망 같은 것에 가깝다. “평면 그래프”란 그 연결 관계를 종이 위에 선이 교차하지 않게 그려낼 수 있다는 성질일 뿐이고, 그렇게 그릴 수 없는 그래프도 얼마든지 있다. 페테르센 그래프의 그림에서 안쪽 별의 선들이 교차하는 것은 그리는 사람의 실력 문제가 아니라 원리적으로 피할 수 없는 일이다. 그리고 이 추측이 어려웠던 이유가 정확히 여기 있다. 평면 그래프는 교차 없이 그려놓으면 “면”이 생기고, 각 면의 테두리를 코스로 삼으면 모든 길이 양쪽 면에서 한 번씩 정확히 두 번 덮인다. 기하학이 공짜 답을 주는 것이다. 그러나 평면을 벗어나면 면이라는 개념 자체가 사라진다. 4색 문제가 “평면 지도”라는 기하의 문제였다면, 이번 추측은 기하를 완전히 벗어난 순수 연결 구조의 문제였다.
증명은 어떻게 했나
공개된 증명의 뼈대는 네 단계다.
첫째, 모든 교차로가 삼거리인 동네(수학 용어로 3-정규 그래프, cubic graph)만 증명하면 충분하다는 기존 결과를 쓴다. 왜 그런지는 그림 한 장이면 된다.
사거리에 길 a, b, c, d가 붙어 있다. 교차로를 두 점으로 뜯어내고, 한쪽에는 a와 c를, 다른 쪽에는 b와 d를 붙인 뒤 두 점을 짧은 새 길로 잇는다. 이제 왼쪽 점은 a, c, 새 길 — 삼거리다. 오른쪽도 마찬가지. 사거리 하나가 삼거리 두 개가 됐다. 오거리 이상이면 이 수술을 반복하면 된다. 차수가 매번 1씩 줄어드니 언젠가는 전부 삼거리가 된다.
되돌리기도 안전하다. 새 동네에서 이중 덮개를 찾은 뒤 새 길을 도로 오므려 두 점을 합치면, 그 길을 지나던 코스는 그냥 교차로를 통과하는 코스가 되고 나머지 길들이 덮인 횟수는 하나도 변하지 않는다. 원래 동네의 유효한 답이 그대로 나온다. 참고로 이 수술이 외나무다리를 새로 만들지 않는지 확인하는 것이 중요한데 — 전제가 조용히 깨질 수 있는 지점이다 — 원래 동네에 외나무다리가 없었다면 양쪽은 새 길 말고도 다른 경로로 이어져 있으므로 새 길도 외나무다리가 아니다.
왜 하필 삼거리인가. 더 내려갈 데가 없기 때문이다. 길이 하나뿐인 교차로는 그 길이 곧 외나무다리라 전제에서 배제되고, 길이 둘뿐이면 그냥 길 중간의 굽은 지점이라 교차로라 부를 것도 없다. 3이 의미 있는 교차로의 최소치다. 그리고 삼거리에서는 “0개 아니면 2개” 조건이 거의 자동으로 결정된다. 세 길 중 둘이 어떤 코스에 속하면 나머지 하나는 자동으로 안 속한다. 선택의 여지가 없는 것이다. 사거리라면 둘을 고르는 방법이 6가지, 육거리면 15가지로 폭발한다. 가장 단순한 형태로 몰아넣고 시작하는 것이 이 수술의 목적이다.
둘째, 역시 기존에 증명된 “8-흐름 정리”(8-flow theorem)를 쓴다. 어렵게 들리지만, 앞서 본 도장 놀이의 규칙을 완화한 버전일 뿐이다.
엄격한 규칙 — 길마다 정확히 하나, 교차로마다 세 색 전부 다르게 — 은 스나크에서 불가능했다. 그러니 규칙을 느슨하게 풀어보자. 이제 한 길에 여러 색을 찍어도 된다. 대신 지켜야 할 것은 두 가지다.
8-흐름 정리가 주장하는 것은 이것이다.
외나무다리 없는 동네라면, 다음 두 규칙을 모두 지키는 도장 찍기가 언제나 존재한다. 규칙 하나 — 아무 도장도 안 찍힌 길이 없을 것. 규칙 둘 — 색깔별로 봤을 때, 그 색이 찍힌 길들이 순환할 것.
규칙 자체는 정리가 아니다. 정리는 “이 까다로운 규칙을 만족하는 찍기가, 어떤 동네가 주어지든 반드시 존재한다”는 존재 보장이고, 이는 전혀 자명하지 않아서 1970년대에 킬패트릭(Kilpatrick)과 예거(Jaeger)가 각각 증명해낸 결과다. 이제 규칙 둘의 뜻만 풀면 된다.
“순환한다”는 것은 이런 뜻이다. 빨강이 찍힌 길들만 남기고 나머지를 지웠을 때, 남은 길들이 모든 교차로에서 0개 아니면 정확히 2개여야 한다. 이 숫자 조건이 왜 “순환”과 같은 말인지는 교차로에서 벌어지는 일을 보면 된다.
빨강 길을 타고 어느 교차로에 도착했다고 하자. 그 교차로의 빨강 길이 1개뿐이면 — 방금 타고 온 그 길이 전부라면 — 나갈 길이 없다. 막다른 곳이다. 3개면 나갈 길이 둘이라 경로가 정해지지 않는다. 정확히 2개일 때만 “들어온 길 하나, 나갈 길 하나”가 되어 걸음이 이어진다. 모든 교차로가 이렇다면 걷다가 어디서도 막히지 않고, 교차로는 유한하니 언젠가 반드시 제자리로 돌아온다. 도장을 아무렇게나 흩뿌리면 조각난 선분들만 남지만, “0 아니면 2”를 지키며 찍으면 저절로 순환이 되는 것이다.
한 가지 주의할 점. 이 조건이 보장하는 건 순환이지 “하나로 이어짐”이 아니다.
빨강 길들이 동네 이쪽에 삼각형 순환 하나, 저쪽에 사각형 순환 하나로 따로 떨어져 있어도 조건은 만족된다. 각 교차로에서 세면 여전히 0 아니면 2이기 때문이다. 즉 한 색의 도장이 찍힌 길 전체는 순환 덩어리 하나일 수도, 여러 개일 수도 있다. 걱정할 것 없다. 우리가 만들려는 최종 답은 애초에 코스들의 목록이지 하나로 이어진 무언가가 아니므로, 떨어진 덩어리들은 각각 별개의 코스로 목록에 올리면 그만이다.
정리가 주는 것과 우리가 원하는 것을 비교해 보자. 원하는 것은 모든 길에 코스가 정확히 두 개, 즉 도장으로 치면 모든 길에 정확히 두 색이다. 그런데 이 정리가 주는 것은 “한 색 이상”까지다. 색이 세 종류뿐이니 상한 3은 공짜로 따라오지만, 그 안에서는 들쭉날쭉하다. 어떤 길엔 한 색만, 어떤 길엔 세 색 모두 찍혀 있을 수 있다. 빈틈은 없지만 균형은 안 맞는 상태. 참고로 각 길의 도장 조합을 적으면 가능한 경우가 일곱 가지다(빨강만, 파랑만, 노랑만, 빨+파, 빨+노, 파+노, 셋 다). 여덟 번째 경우인 “아무것도 없음”만 규칙 하나가 배제하는데, 정리 이름의 8이 여기서 나온다.
이렇게 놓으면 두 정리의 관계가 숫자로 한눈에 들어온다.
8-흐름 정리 (1970년대) — 순환 코스들이 모든 길을 1~3번 지나가게 할 수 있다. 이번 증명 (2026, 주장) — 순환 코스들이 모든 길을 정확히 2번 지나가게 할 수 있다.
느슨한 범위를 한 점으로 조인 것이다. 그리고 이것이 “50년간 왜 못 풀었나”의 답이기도 하다. 범위를 보장하는 것과 정확한 값을 보장하는 것 사이에는 보기보다 큰 간극이 있었고, 이번 증명이 한 일은 그 간극을 건너는 다리를 놓은 것이다.
셋째가 새로운 발상이다. 위의 일곱 가지 도장 조합 각각을 하나의 “표식”이라고 부르자. 8-흐름 정리는 길마다 표식 하나를 준다(그 길에 찍힌 도장 조합). 이번 증명은 각 길에 표식을 한 쌍씩 다시 배정하되, 어느 교차로에서 보든 각 표식이 주변 길들에 0번 아니면 정확히 2번 나타나게 만든다. 이게 되면 증명은 끝난다. 표식 하나를 골라 그 표식을 담은 길들만 켜보면 — 아까 도장 색깔별로 했던 것과 똑같은 논법으로 — 모든 교차로에서 0번 아니면 2번이므로 켜진 길들은 저절로 순환 덩어리들이 되고, 각 길은 표식을 두 개 담고 있으니 정확히 두 덩어리에 속한다. 덩어리 하나하나를 코스로 삼으면 이중 덮개다. “코스를 찾는” 탐색 문제가 “표식을 규칙에 맞게 붙이는” 배정 문제로 바뀐 것이다.
눈치챘겠지만 이것은 맨 처음의 엄격한 도장 놀이가 한 번 더 완화된 것이다. 논문 스스로 이 보조정리를 “a suitably relaxed variant of a proper 3-edge-colouring”(적절히 완화된 3-간선-채색의 변형)이라고 부른다. 여기서 proper 3-edge-colouring이 우리가 본 엄격한 도장 놀이다. 도장 하나를 엄격한 규칙으로 찍는 것은 스나크에서 불가능하지만, 표식 7종을 두 개씩 쌍으로, “각 교차로에서 0번 아니면 2번”이라는 완화된 규칙으로 붙이는 것은 모든 동네에서 가능하다는 걸 보인 것이다. 엄격한 놀이가 안 되는 동네에서도 작동하도록 규칙을 완화한 것, 그것이 이 증명의 새 발상이다.
넷째, 그런 배정이 항상 가능함을 보인다. 여기가 증명의 심장이니 조금 더 들어가 보자.
절차는 이렇다. 각 교차로에 값을 하나씩 정한다. 이 값을 t라 부르자. t는 표식과 같은 8가지 값 중 하나인데, 색 같은 의미는 전혀 없고 계산의 기준점 역할만 한다. t가 정해지면 그 교차로에 붙은 세 길의 표식 쌍이 정해진 공식에 따라 자동으로 계산되고, 이렇게 만든 쌍은 t가 어떤 값이든 그 교차로의 조건(“각 표식이 0번 아니면 2번”)을 만족한다. 즉 교차로 하나만 보면 t를 아무렇게나 골라도 된다.
문제는 길에 끝이 두 개라는 것이다. 한 길의 양 끝 교차로가 각자 자기 t로 같은 길의 쌍을 계산하는데, 그 결과가 서로 다를 수 있다. 길에는 쌍이 하나만 붙어야 하므로, 모든 교차로의 t를 동시에 잘 골라서 — 길이 열다섯 개든 백만 개든 — 모든 길에서 양 끝의 계산 결과가 일치하게 만들어야 한다. 이 일치 조건을 수식으로 쓰면 t들에 대한 연립방정식이 나온다. 코스를 배치하는 문제(경우의 수가 폭발하는 탐색)가 t 값을 찾는 문제(선형 방정식)로 바뀐 것이다.
이 방정식이 항상 풀리는가? 여기서 두 개의 2가 만난다. 방정식이 안 풀리려면 방정식들 사이에 모순이 있어야 하고, 모순이 성립하려면 어떤 검산 값이 홀수여야 한다. 그런데 그 검산 값을 계산해 보면, 구조상 모든 길을 양 끝에서 한 번씩, 총 두 번 세는 합으로 정리된다. 길에는 끝이 두 개다 — 그래프라는 대상 자체에 박혀 있는 2다. 한편 표식들의 덧셈은 같은 것을 두 번 더하면 소멸하는 연산이다. 즉 2가 0인 산수다(공학 배경이라면: 이 덧셈이 정확히 XOR이고, 증명 전체가 3비트 XOR 연산 위에서 돌아간다). 두 번 세어지는 구조와 2가 0인 산수가 결합하면, 검산 값은 계산해 보나 마나 0이다. 모순은 발생할 수 없고, 방정식은 반드시 풀린다. 끝.
이것은 수학에서 악수 보조정리(handshake lemma)라 부르는 사실과 같은 구조다. 모임에서 각자 자기가 한 악수 횟수를 적어 내면 총합은 반드시 짝수인데, 악수 한 번에 두 사람이 참여하기 때문이다. 50년 난제의 마지막 관문이 이만큼 단순한 사실이었다는 것, 그리고 그 사실이 결정적 역할을 하도록 문제를 재배치하는 데 50년이 걸렸다는 것이 이 증명의 허탈하고도 아름다운 지점이다.
50년간 정면돌파로 안 풀리던 문제가, 문제를 바꿔 말하는 한 번의 발상 이후에는 대학원생이 오후에 검산할 수 있는 3쪽짜리 계산이 됐다. 이 증명의 통찰을 한 문장으로 압축하면 이렇다. 그래프에 본질적으로 박혀 있는 2(길에는 끝이 두 개)를, 2가 0이 되는 대수 체계 안으로 옮겨 넣으면 마지막 관문이 저절로 열린다는 것을 알아본 것. 데카르트가 도형을 좌표로 옮기고 갈루아가 방정식을 군으로 옮겼듯, “이 문제는 저쪽 언어로 다시 쓰면 자명해진다”는 발견의 계보에 있는 증명이다.
4색 문제와의 대비 — 역할이 뒤집혔다
여기서 4색 문제와의 대비가 흥미롭다.
4색 문제는 인간의 아이디어 + 기계의 검증이었고, 그 결과 사람이 읽을 수 없는 증명이 나왔다. 이번 건은 기계의 아이디어 + 인간의 검증이고, 결과물은 누구나 손으로 확인할 수 있는 전통적인 증명이다. 그래서 논쟁의 축도 옮겨간다. 그때는 “이걸 증명이라 부를 수 있나”였다면, 이번에는 “이 정도로 초등적인 증명을 왜 인간이 50년간 못 찾았나”, 그리고 “발견의 공은 누구에게 있나”다.
기계가 수행한 작업의 종류 자체가 다르다. 4색 문제에서 컴퓨터가 한 일은 이미 정해진 절차의 실행이었다. 무엇을 검사할지, 왜 그 검사면 충분한지는 인간이 정했고, 기계는 그 절차를 빠르게 반복했다. 이번에 기계가 했다고 주장되는 일은 반대편 끝이다. “코스를 직접 찾지 말고 표식 쌍의 배정 문제로 바꾸자”는 발상은 절차의 실행이 아니라 문제의 재정식화다. 어떤 절차를 밟을지 자체를 만들어낸 것 — 4색 증명에서 인간이 맡았던 바로 그 역할이다. 노동량으로 보면 오히려 반대다. 4색 증명은 검증에 컴퓨터 수천 시간이 들었고, 이번 증명은 발견에 한 시간이 채 안 걸렸으며 검증은 사람이 오후에 할 수 있다. “기계는 노가다 담당, 인간은 아이디어 담당”이라는 50년짜리 분업 공식이 정확히 반전된 것이다.
재밌는 우연도 있다. 두 문제는 수학적으로 친척이다. 이번 추측이 어려웠던 지점은 엄격한 도장 찍기가 안 되는 그래프들, 즉 스나크인데, 4색 정리 자체가 “평면 그래프 중에는 스나크가 없다”는 명제와 동치다. 같은 동네의 두 문제가 50년 간격을 두고 정반대의 인간-기계 분업으로 처리된 셈이다.
프롬프트에서 배운 것들
공개된 프롬프트는 “잘 부탁하는 법”이 아니라 연구팀 운영 매뉴얼에 가까웠다. 몇 가지가 특히 눈에 들어왔다.
성공 조건을 먼저 완벽하게 정의한다. 프롬프트의 앞 절반은 용어 정의와 “무엇이 정답으로 인정되지 않는가”의 목록이다. 특수한 경우만 다룬 증명, 다른 미해결 문제로 떠넘기는 답, 유한한 크기까지의 계산 검증, “거의 다 됐다”는 보고 — 전부 불인정. 신입에게 검토 업무를 맡길 때 실패 모드를 미리 열거해 주는 것과 같은 원리다.
“증명이 존재한다고 가정하라”고 지시한다. 모델에는 “이건 미해결 문제니까 못 푼다”는 학습된 반사가 있는데, 이 지시가 그 반사를 꺼버린다. 조기 포기를 막는 데 실제로 효과가 있다는 실무자들의 증언도 있다. 다만 양날의 검이다. 답이 정말 없는 문제에 쓰면 그럴듯한 허구를 지어내라고 압박하는 것과 같아서, 검증 체계가 함께 있을 때만 정당화되는 기법이다.
다양성을 강제하고 조기 수렴을 막는다. 64개의 에이전트를 병렬로 돌리되, 대부분에게는 현재 유력한 접근법을 알려주지 말라고 지시한다. 회의실에서 목소리 큰 의견 하나에 다들 쏠리는 현상을 구조적으로 차단한 것이다.
적대적 검증을 내장한다. 별도의 에이전트들이 상시로 후보 증명을 공격한다. 조건을 정확히 만족하는지, 순환 논법은 없는지, 축소 과정에서 외나무다리가 새로 생기지 않았는지. 마지막 항목은 앞서 사거리 쪼개기에서 확인했던 바로 그 지점이다. 이런 수술은 전제를 조용히 깨뜨리기 쉬운 자리이고, 프롬프트는 그걸 미리 알고 검증 항목으로 명시해 두었다. 초안을 만들게 한 뒤 “이제 반대 측 입장에서 이 초안의 허점을 공격하라”고 별도로 시키는 것과 같은 원리이고, 이건 어떤 분야의 문서 검토에든 그대로 이식할 수 있다.
모호한 보고를 금지한다. 상태 보고, 막연한 낙관, “이 부분은 자명하다”는 주장은 거부하고, 구체적인 보조정리·구성·방정식·반례만 인정한다. 그럴듯한 중간 보고로 일을 마친 척하는 탈출구를 산출물의 형식 자체로 막은 것이다.
한 줄로 요약하면 이렇다. 좋은 프롬프트는 명령문이 아니라 계약서다. 성공의 정의, 불인정 사유, 검증 절차, 종료 조건을 담은. 그리고 이것은 사람에게 일을 맡길 때의 원칙과 정확히 같다.
확률의 기계가 연역을 한다는 것
개인적으로 가장 흥미로운 지점은 이것이다. 수학적 증명은 결국 여러 명제 사이를 잇는 연역의 과정이다. 그런데 다음 단어의 확률을 계산하는 방식으로 작동하는 AI가, 가장 엄밀한 연역의 영역에서 힘을 내고 있다.
생각해 보면 “잇는 것”이야말로 수학의 본체다. 와일스의 페르마 정리 증명도 타원곡선과 모듈러 형식이라는 기존 분야를 잇는 것이었고, 각 조각은 이미 문헌에 있었다. 어느 조각과 어느 조각이 이어지는지 아는 것, 그게 수학적 통찰이다. 무에서의 창조는 수학에 거의 존재하지 않는다.
그렇다면 AI의 이점은 무엇인가. 기억이 완전해서는 아니다. 모델은 정리를 잘못 기억하고 없는 논문을 인용하기도 한다. 그래서 적대적 검증 장치가 필요했던 것이고. 이점은 다른 데 있다고 본다.
첫째, 분야 사이에 칸막이가 없다. 인간 수학자는 전공이라는 우물에 산다. 이번 증명은 흐름 이론, 채색 이론, 유한체 선형대수를 동시에 소환해야 했는데, 세 분야를 활성 기억으로 함께 들고 다니는 사람은 드물다. AI에게 이 비용은 0에 가깝다.
둘째, 실패의 비용이 거의 0이다. 잇기가 어려운 진짜 이유는 이어볼 조합이 천문학적인데 거의 전부가 막다른 길이라는 점이다. 사람에게 막다른 길 하나는 몇 달의 매몰 비용이라 유망한 한두 경로에 베팅할 수밖에 없지만, 64개 에이전트는 막히면 폐기하고 즉시 재배치된다. 실패 비용이 몇 달에서 몇 분으로 떨어지면 “일단 다 이어보는” 전략이 처음으로 채산이 맞는다.
셋째, 자존심이 없다. 50년 묵은 난제에 초등적 도구로 덤비는 것은 인간에게 평판 비용이 붙는 일이다. “그게 됐으면 벌써 누가 했겠지”라는 생각에 시도조차 안 되는 경로들이 있다. AI는 부끄러움 없이 그 길을 끝까지 가본다.
이 그림이 맞다면 AI가 앞으로 먼저 풀 문제들의 프로파일도 보인다. 여러 분야의 기존 도구를 새로 조합하면 풀리는, 그러나 조합의 경우의 수가 많아 사람이 못 훑던 문제들. 반대로 기존 도구 자체가 부족해 새 수학의 발명이 필요한 문제는 여전히 다른 차원의 벽일 것이다.
남은 질문들
물론 유보할 것은 유보해야 한다. 검증은 진행 중이고, 블룸은 증명을 칭찬하면서도 1983년의 선행 연구를 포함한 인용 누락을 비판했다. 핵심 논증이 문헌 어딘가에 이미 근접한 형태로 있었다면 “발견”의 무게는 달라진다. 다만 그 경우조차 흥미로운 사실 하나는 남는다. 프롬프트에는 증명의 핵심 아이디어가 들어 있지 않았다. 문제의 정의와 탐색의 규칙만 있었다. 사람이 한 일은 문제를 엄밀하게 정식화하고 검증 체계를 설계한 것이고, 잇는 일은 기계가 했다.
마지막으로, 이 사건이 건드리는 조금 더 깊은 질문 하나. 기계의 “발견”은 어쩌면 직관이 아니라 초고속 노가다일지 모른다. 64개의 에이전트가 아이디어의 공간을 대량으로 훑고, 검증 에이전트가 틀린 것을 쳐내는 과정 — 그 총합이 밖에서 보면 통찰처럼 보이는 것뿐일 수 있다. 그런데 이 깎아내림은 그대로 인간에게도 적용된다. 인지과학이 인간의 직관을 들여다본 바로는, 체스 고수의 “한눈에 보이는” 좋은 수도 수만 시간의 훈련으로 쌓인 패턴들이 무의식에서 검색되고 걸러진 결과다. 푸앵카레는 마차에 오르는 순간 통찰이 떠올랐다는 유명한 일화를 남겼지만, 본인 스스로 그 앞에 몇 주의 의식적 노력과 그 뒤의 무의식적 작업이 있었다고 기록했다. 인간의 번뜩임도 노가다의 부재가 아니라, 노가다가 보이지 않는 곳에서 일어난 것일 수 있다는 얘기다.
그렇다면 통찰이란 인간에게든 기계에게든 방대한 탐색의 산물이고, 차이는 그 탐색이 보이느냐 보이지 않느냐다. 기계의 탐색은 로그로 전부 기록되고, 인간의 탐색은 무의식에서 일어나 본인에게조차 보이지 않는다. 그래도 인간 직관의 아름다움은 살아남는다고 생각한다. 근거만 바뀔 뿐이다. 노가다 없이 해내서가 아니라 — 64개 에이전트와 적대적 검증 체계를 명시적으로 설계받아야 기계가 해내는 일을, 인간은 20와트짜리 뇌 하나로, 어느 길이 유망한지에 대한 형언할 수 없는 감각만으로, 자기도 모르게 해내기 때문이다.
4색 문제 때 우리는 “기계의 계산을 믿을 수 있는가”를 물었다. 그리고 만약 인간의 통찰도 접힌 노가다라면, 그 오래된 논쟁의 전제 — 기계의 일과 수학자의 일은 종류가 다르다는 — 부터 다시 볼 일이다. 이번에 물어야 할 질문은 이것 같다. 기계가 이어 온 것을 검증하는 눈, 그리고 애초에 무엇을 잇게 할지 문제를 정의하는 능력 — 사람의 일은 그쪽으로 옮겨가고 있다.
부록 — 가장 유명한 스나크에서 직접 돌려봤다
증명이 정말 작동하는지, 다른 곳도 아닌 페테르센 그래프 — 엄격한 도장 찍기가 불가능한 가장 작은 스나크, 50년 벽의 상징 — 에서 증명의 절차를 그대로 실행해 봤다.
교차로 10개, 길 15개. 먼저 8-흐름 정리가 보장하는 도장 배정을 찾고(존재했다), 각 교차로에 출발점 값을 부여한 뒤 모든 길에서 양 끝의 제안이 일치해야 한다는 연립방정식을 세웠다. 미지수 45비트, 방정식 45개. 증명이 예언한 대로 모순 없이 풀렸다.
결과로 나온 표식 쌍에서 코스를 뽑으니 다섯 개가 나왔다. 8각형 하나, 6각형 둘, 5각형 둘. 간선 수 합계는 8+6+6+5+5 = 30 = 15개 길 × 2회. 열다섯 개 길 전부가 정확히 두 코스에 속함을 확인했다.
덤으로 확인한 것 하나. 증명에 등장하는 보정 스위치(양 끝의 제안이 “완전히 같거나, 그 길의 색만큼 어긋나거나” 두 경우를 허용하는 1비트 장치)를 빼고 “완전히 같아야만 한다”는 빡빡한 조건으로 풀어보면 — 모순이 7개 발생하며 방정식이 안 풀린다. 증명의 부품 하나하나가 장식이 아니라 필수라는 뜻이다.
엄격한 놀이가 불가능한 바로 그 그래프에서, 완화된 절차는 아무 저항 없이 작동했다.
참고 자료