세상의 모든 패턴을 지배하는 수학 : 마르코프 연쇄

이 영상은 1900년대 초 러시아 수학계의 정치적 다툼에서 시작된 마르코프 연쇄(Markov Chain) 이론이 현대 과학과 기술에 어떤 영향을 미쳤는지 설명합니다.

• 도입 질문 및 맥락

  • 카드 덱을 몇 번 섞어야 진정으로 무작위가 될까?
  • 핵폭탄을 만드는 데 우라늄은 얼마나 필요할까?
  • 다음 단어를 예측하는 방법은?
  • Google은 검색 결과에서 어떤 페이지를 찾아야 할지 어떻게 알까?
  • 이 모든 질문의 해답은 100년 전 러시아에서 벌어진 수학적 불화에 있습니다.

• 러시아의 정치적 배경과 수학계의 분열

  • 1905년, 러시아 전역의 사회주의자 그룹이 차르(Tsar) 에 대항하여 봉기했습니다.
  • 이들은 완전한 정치 개혁을 요구했습니다.
  • 국가는 차르 지지자와 사회주의자로 분열되었고, 이 분열은 수학자들에게까지 영향을 미쳤습니다.

• 두 수학자: 네크라소프 대 마르코프

  • 차르를 지지한 쪽: 파벨 네크라소프(Pavel Nekrasov) , 비공식적으로 "확률의 차르"로 불림.
    • 네크라소프는 신앙심이 깊은 사람이었으며, 수학이 자유 의지와 신의 뜻을 설명하는 데 사용될 수 있다고 주장했습니다.
  • 사회주의를 지지한 쪽: 안드레이 마르코프(Andrey Markov) , "분노한 안드레이"로도 불림.
    • 마르코프는 무신론자였고, 비엄격한 사람들을 참지 못했으며 네크라소프를 비판했습니다.
    • 그는 네크라소프의 작업을 "수학의 남용"이라며 공개적으로 비난했습니다.

• 불화의 핵심: 큰 수의 법칙(The Law of Large Numbers)

  • 이들의 논쟁은 200년간 확률을 지배해 온 핵심 아이디어에 집중되었습니다.
  • 예시: 동전 던지기
    • 10번 던지면 6번 앞면, 4번 뒷면일 수 있습니다 (50/50 예상과 다름).
    • 그러나 횟수가 크게 증가하면 (예: 100번 던지면 51/49), 그 비율은 예상치인 ** 50/50에 수렴**합니다.
    • 이것이 큰 수의 법칙이며, 1713년 야코브 베르누이(Jacob Bernoulli) 가 처음 증명했습니다.
    • 베르누이의 증명은 오직 독립적인 사건에 대해서만 유효했습니다 (하나의 사건이 다른 사건에 영향을 미치지 않음).
  • 네크라소프의 확장된 주장
    • 독립성 $\rightarrow$ 큰 수의 법칙이 성립한다면, 큰 수의 법칙이 관찰될 경우 (결과가 수렴하는 경우) 그 근본적인 사건은 ** 반드시 독립적**이어야 한다고 추론했습니다.
    • 네크라소프는 결혼율이나 범죄율 같은 사회 통계에서 수렴 현상이 나타나는 것을 근거로, 인간의 행동이 자유 의지의 행위로 인해 독립적이라고 주장했습니다.

• 마르코프의 반론: 의존적인 시스템

  • 마르코프는 수학적 독립성을 자유 의지와 연결하는 것이 터무니없다고 생각했습니다.
  • 마르코프의 목표: 의존적인 사건도 큰 수의 법칙을 따를 수 있음을 증명하는 것.
  • 그는 텍스트를 데이터로 사용했습니다 (알렉산드르 푸시킨의 예브게니 오네긴에서 2만 자).
  • 그는 글자를 모음(V, 43%) 과 자음(C, 57%) 으로 나누고, 두 글자 쌍의 출현 빈도를 조사했습니다.
  • 독립적이라면 모음-모음 쌍은 **18%**여야 했지만, 실제로는 **6%**만 나타났습니다.
  • 결론: 글자들은 독립적이지 않다 (의존적이다).

• 마르코프 연쇄의 탄생

  • 마르코프는 이 의존적인 시스템이 큰 수의 법칙을 따른다는 것을 보여주기 위해 상태와 전이 확률을 정의했습니다.
  • 상태: 모음(V)과 자음(C).
  • 전이 확률: 현재 상태에서 다음 상태로 바뀔 확률을 계산했습니다 (예: V $\rightarrow$ V: 0.13, V $\rightarrow$ C: 0.87).
  • 이 예측 기계를 실행하자, 생성된 텍스트의 모음/자음 비율은 수렴하여 실제 텍스트의 비율인 43% 모음과 57% 자음과 일치했습니다.
  • 마르코프는 의존적인 시스템에서도 큰 수의 법칙이 성립함을 보였습니다.
  • 그의 마지막 논문은 "자유 의지는 확률을 하는 데 불필요하다"는 글로 끝맺었습니다.

• 몬테카를로 방법과 핵폭탄

  • 새로운 문제: 핵폭탄 내부의 중성자 거동을 이해하여 핵분열 연쇄 반응에 필요한 최소량의 핵분열성 물질을 파악하는 것.
  • 수많은 중성자의 상호작용을 직접 계산하는 것은 불가능했습니다.
  • 스타니슬라프 울람(Stanislaw Ulam) 이 병원에서 솔리테어를 하며 아이디어를 얻었습니다: 무작위 결과를 반복적으로 생성하여 통계적으로 근사하자.
  • 폰 노이만(John von Neumann) 은 중성자 거동이 다음 단계가 이전 단계에 의존하는 마르코프 연쇄임을 깨달았습니다.
  • 중성자 마르코프 연쇄:
    • 상태: 이동 중 $\rightarrow$ 이동 중 (산란), ** 이탈 또는 흡수** (종료), ** 핵분열** (새 중성자 생성).
    • 이들은 세계 최초의 전자 컴퓨터인 에니악(ENIAC) 에서 시뮬레이션을 실행했습니다.
    • 이들은 증식 인자(k) 를 계산하여 미분 방정식을 분석적으로 풀기 어려운 문제에 근사값을 얻었습니다.
  • 명칭: 울람은 이 무작위 샘플링 방법을 카지노에 비유하여 몬테카를로 방법이라 명명했습니다.

• Google의 페이지랭크(PageRank)

  • 새로운 문제: 1990년대 폭발적으로 성장한 인터넷에서 검색 결과를 찾는 방법.
  • 당시 검색 엔진(Yahoo, Excite, Lycos)은 키워드 빈도로 순위를 매겨 조작이 쉬웠습니다.
  • 래리 페이지(Larry Page) 와 세르게이 브린(Sergey Brin) 은 웹 페이지를 상태로, 링크를 전이로 보는 마르코프 연쇄로 모델링했습니다.
  • 개념: 링크는 추천입니다. 웹 서퍼가 무작위로 링크를 따라 이동할 때, 특정 페이지에 머무르는 정상 상태 확률이 그 페이지의 중요도입니다 (** 페이지랭크**).
  • 문제점: 링크가 없는 페이지에서 갇힐 수 있습니다.
  • 해결책: 감쇠 인자. 85%는 링크를 따라가고, **15%**는 무작위로 점프하여 모든 페이지에 도달할 수 있도록 했습니다.
  • 이들의 검색 엔진은 처음에는 "백럽(BackRub) "이었으나, 거대한 목표를 담아 큰 수인 "구골(Googol) "을 선택했고, 오타로 인해 Google이 되었습니다.

• 결론: 마르코프 연쇄의 힘

  • 클로드 섀넌(Claude Shannon) 은 글자가 아닌 단어를 예측 변수로 사용하는 마르코프 연쇄를 통해 텍스트 예측의 정확도를 높였습니다.
  • 오늘날의 거대 언어 모델(LLMs) 은 관심(attention) 메커니즘을 사용하여 더 나아갔지만, 여전히 마르코프 연쇄의 핵심 개념 위에 세워졌습니다.
  • 마르코프 연쇄의 힘은 복잡한 시스템을 단순화하여 의미 있는 예측을 가능하게 하는 기억 상실(Memoryless) 속성에서 나옵니다.
  • 최종 답변: 카드 덱을 무작위로 만들기 위해 필요한 셔플 횟수는 7번입니다 (라이플 셔플 기준).