LLM은 생각보다 단순하다. 진짜 미스터리는 왜 작동하는가이다!
Terry Tao: "LLMs Are Simpler Than You Think – The Real Mystery Is Why They Work!" by Dr Brian Keating
필즈상 수상자이자 현대 수학의 거장인 테렌스 타오가 소수와 디지털 보안의 관계, 수학적 난제인 에르되시 불일치 문제, 인공지능이 수학 연구에 미치는 영향, 그리고 물리적 세계와 수학의 연결 고리에 대해 심도 있게 논의합니다.
소수와 디지털 보안의 위태로운 균형
- 우리가 비밀번호를 입력하거나 온라인 쇼핑을 할 때, 혹은 암호화된 메시지를 보낼 때 모든 보안은 소수(Prime Numbers) 의 패턴에 의존합니다.
- 소수는 **'곱셈의 원자'**로 불리며 무작위적이고 예측 불가능해야 합니다.
- 전 세계 디지털 보안 인프라는 소수가 무작위라는 가정 위에 구축되어 있습니다.
- 하지만 수학자들은 아직 소수에 숨겨진 패턴이 없다는 것을 완벽하게 증명하지 못했습니다.
- 만약 소수에 숨겨진 패턴이 발견된다면, 현재 모든 금융 거래를 보호하는 암호 체계가 무너질 수 있습니다.
수학계의 전설, 폴 에르되시와의 만남
- 테렌스 타오는 10세 때 호주 애들레이드에서 수학자 폴 에르되시를 만났습니다.
- 에르되시는 어린 타오를 어린아이가 아닌 대등한 수학자로 대우하며 함께 문제를 풀었습니다.
- 에르되시는 타오에게 나중에 수학 문제가 담긴 엽서를 보내기도 했습니다.
- 에르되시 수(Erdős Number) :
- 에르되시 본인은 0번입니다.
- 에르되시와 논문을 공동 집필하면 1번입니다.
- 1번과 논문을 공동 집필하면 2번입니다. 테렌스 타오의 에르되시 수는 2번입니다.
- 에르되시-베이컨 수: 수학적 네트워크와 할리우드 인맥 지수(케빈 베이컨 수)를 합친 개념입니다.
- 에르되시는 엄청난 생산성을 위해 암페타민을 복용했던 것으로 유명합니다. 한 달간 끊었을 때 "수학이 한 달 뒤처졌다"고 불평했습니다.
에르되시 불일치 문제(Erdős Discrepancy Problem)
- 테렌스 타오가 해결한 난제 중 하나로, 수열의 불규칙성에 관한 이론입니다.
- 불일치(Discrepancy) : 무작위 수열(+1과 -1)에서 합이 0에서 얼마나 벗어나는지를 측정하는 값입니다.
- 수열 전체가 균형을 이루더라도, 특정 간격(예: 짝수 번째 숫자들만 추출)으로 하위 수열을 만들면 불균형이 발생할 수 있습니다.
- 에르되시는 수열이 무한히 길어질 때 이 불일치 값이 반드시 무한대로 발산하는지 물었습니다.
- 타오는 정보 이론과 수론의 도구를 사용하여 불일치 값이 결국 무한대로 감을 증명했습니다.
자연의 패턴: 벤포드의 법칙(Benford's Law)
- 자연적인 데이터와 사람이 조작한 데이터를 구분하는 수학적 법칙입니다.
- 세상의 많은 수치 데이터에서 첫 번째 자릿수가 **1일 확률이 약 30%**에 달한다는 법칙입니다.
- 국가별 인구수, 부자들의 자산 규모, 생일 데이터 등에서 보편적으로 나타납니다.
- 인간은 진정한 무작위를 생성하는 데 서툴며, 인위적으로 만든 수치는 대개 균일한 분포를 보이려 하므로 벤포드의 법칙을 어기게 됩니다.
수학적 귀납법과 고차원의 신비
- 수학적 귀납법: 첫 번째 도미노가 쓰러지고, n번째가 쓰러지면 n+1번째도 쓰러진다는 원리로 무한한 사례를 증명하는 방식입니다.
- 최소 곡면(Minimal Surfaces) : 비눗방울처럼 표면적을 최소화하는 형태를 의미합니다.
- 짐 사이먼스는 최소 곡면이 7차원까지는 매끄럽지만, 8차원부터는 특이점(Singularity)이 발생한다는 사실을 발견했습니다.
- 수학에서는 고차원으로 갈수록 오히려 공간적 여유가 생겨 문제가 해결되기 쉬운 경우가 많습니다.
- 구와 정육면체 비유: 고차원 정육면체 안에 구를 내접시키면, 차원이 높아질수록 구가 차지하는 부피 비중은 0에 가까워집니다.
수학적 증명 기법: 귀류법(Reductio ad Absurdum)
- 결론이 거짓이라고 가정했을 때 모순이 발생함을 보여 결론이 참임을 증명하는 방식입니다.
- G.H. 하디의 비유: 체스 선수는 폰이나 기물을 희생하지만, 수학자는 **'게임 전체'**를 걸고 도박을 합니다.
- 초등학생들도 "가장 큰 수는 없다"는 것을 증명할 때 무의식적으로 귀류법을 사용합니다(가장 큰 수에 1을 더하면 더 큰 수가 나오기 때문).
- 유클리드는 소수의 무한함과 루트 2의 무리수성을 이 방법으로 증명했습니다.
인공지능(AI)과 수학의 미래
- 현재의 대규모 언어 모델(LLM)은 수학적 추론을 완벽하게 수행하지 못합니다.
- 훈련 데이터에 있는 교과서 내용을 암기하여 출력할 뿐이며, 논리적 흐름이 끊기면 터무니없는 환각(Hallucination) 증상을 보입니다.
- 활용 가치:
- 문헌 조사: 특정 문제에 대한 기존 연구 기법들을 제안받는 용도로 유용합니다.
- 패턴 감지: 매듭 이론 등에서 인간이 인지하지 못한 변수 간 상관관계를 찾아내는 데 기여했습니다.
- 교육의 변화: 학생들에게 단순히 지식을 전달하는 것이 아니라, AI가 내놓은 오답을 비판적으로 검토하고 수정하는 능력을 가르쳐야 합니다.
- 검증 시스템: AI의 제안을 수학적 소프트웨어가 자동으로 검증하는 시스템과 결합될 때 강력한 도구가 될 것입니다.
수학의 실제적 적용: 압축 센싱(Compressed Sensing)
- 테렌스 타오는 훨씬 적은 데이터로 물리적 이미지를 재구성하는 수학적 기법을 개발했습니다.
- 이 기술은 MRI 스캔 속도를 최대 10배까지 단축하는 데 기여하여 의료계에 실질적인 도움을 주었습니다.
- 기초 과학과 수학 연구가 수십 년 뒤 공학적 한계를 돌파하는 이론적 근거가 됨을 보여주는 사례입니다.
수학은 발명인가 발견인가?
- 테렌스 타오는 둘 다 해당한다고 믿습니다.
- 수학적 구조와 진리는 우주에 내재된 것으로서 **'발견'**되는 것입니다.
- 하지만 그 구조를 효율적으로 기술하기 위한 기호와 언어 체계는 인간에 의해 **'발명'**된 것입니다.
- 우리는 우주의 본질에 더 가깝게 다가가기 위해 수학적 언어를 끊임없이 개선하고 효율화하고 있습니다.