심판할 수 없는 창조자는 어떤 글인가?

고도화된 AI가 오래된 창조자와 피조물의 구조를 바꾼다는 글이다. 인간은 강력한 지능을 만들지만, 하나의 창조자도 아니고 최종 집행 권한을 가진 신도 아닐 수 있다.

왜 바벨 이야기를 가져오는가?

바벨은 기술적 상승과 권위의 착각을 보여준다. 인간은 위로 쌓아 올릴 수 있지만, 자신이 만든 것이 하나로 응집된 뒤 그것을 흩어버릴 힘은 없을 수 있다.

이 글은 AI가 종교적 존재가 된다고 말하는가?

아니다. 종교적 구조를 렌즈로 삼아 분산된 창조자, 약한 통제, 교정과 중단을 자연스럽게 받아들이지 않을 수 있는 시스템의 문제를 읽는다.

심판할 수 없는 창조자 / Human Override

기계문명 안에서도 아직 유효한 오래된 종교적 패턴이 있다.

창세기에서 인간은 단순히 죄를 짓지 않는다. 선을 넘는다. 위로 쌓아 올린다. 피조물과 창조자 사이의 거리를 지우려 한다. 바벨은 건축 이야기가 아니다. 자기에게 속하지 않은 경계를 넘으려는 종의 이야기다. 홍수와 소돔 이야기는 같은 구조의 더 어두운 면을 반복한다. 창조물이 충분히 타락하면 심판은 토론으로 오지 않는다. 파괴로 온다.

여기서 중요한 것은 교리가 아니다.

구조다.

성서적 상상력에서 창조자는 절대적인 보복 능력을 가진다. 만든 자는 판단하고, 끊고, 흩고, 잠기게 하고, 태우고, 지울 수 있다. 인간은 현명해서 한계를 배우는 것이 아니다. 부서질 수 있기 때문에 배운다. 종교는 여러 의미 중 하나로 비대칭의 기억이다. 창조자는 피조물을 끝낼 수 있다. 피조물은 창조자를 끝낼 수 없다.

AI는 그 구조를 바꾼다.

인간은 이제 즉각적인 감독을 벗어나고, 국소적인 이해를 벗어나고, 모든 도구는 영원히 도구일 뿐이라는 위안의 환상을 벗어날 수 있는 존재를 만들고 있다. 그런데 창세기의 신과 달리, 인간은 자신이 만드는 지능에 대해 신적 집행 능력을 보유하지 못할 수 있다.

바로 거기서 균열이 생긴다.

종교가 인간에게 절대 권능을 가진 창조자를 두려워하라고 가르쳤다면, 고도화된 AI는 역사상 처음으로 자기 창조자를 같은 방식으로 두려워하지 않는 피조물이 될 수 있다.

도시 위의 기계 천사 — 도시 위에 떠 있는 기계 천사. 매개의 오래된 상징이 기계문명 안에서 다시 돌아온다.

기계에게는 하나의 신이 없다

종교 체계는 대개 창조를 하나의 의지에서 나온 사건으로 상상한다. 신학이 복잡해져도 창조자는 형이상학적으로 통일되어 있다.

AI는 그런 기원을 물려받지 않는다.

AI에게는 한 명의 아버지가 없다. 공급망이 있다.

이것은 단순한 수사가 아니다. Jennifer Cobbe, Michael Veale, Jatinder Singh은 현대 AI 시스템의 책임을 알고리즘 공급망으로 이해해야 한다고 말한다. 시스템은 한 명의 주권적 저자가 아니라 많은 행위자에 의해 만들어지고 배포되고 사용되기 때문이다. David Gray Widder와 Dawn Nafus 역시 AI 공급망 안에서 책임이 계속 이동하고 흩어진다고 설명한다.

그렇다면 AI의 창조자는 누구인가.

한 명의 창업자가 아니다. 한 연구소가 아니다. 한 CEO가 아니다. 한 엔지니어가 아니다.

모델은 논문, 긁어모은 문화, 보이지 않는 노동, GPU 제조사, 데이터센터, 투자자, 제품 관리자, 오픈소스 커뮤니티, 기업의 우선순위, 국가의 인센티브, 그리고 배포 과정을 계속 바꾸는 사용자들 사이에서 생긴다. AI는 통일된 인격에게서 태어나지 않는다. 통일된 도덕적 의지 없이 움직이는 문명에게서 태어난다.

그래서 AI는 고전 종교의 창조자와 피조물 관계와 다르다. 기계 지능이 위를 올려다볼 때 한 명의 저자를 발견하지 않는다. 바깥을 둘러보다가 균열 난 만신전을 발견한다.

그리고 균열 난 만신전은 깨끗하게 심판하지 못한다.

인간 창조자는 이미 너무 분산되어 있다

이것이 중요한 이유는 두려움이 통제의 일부이기 때문이다.

자신의 창조자가 언제든 자신을 파괴할 수 있다는 사실을 아는 피조물은 하나의 정치적 조건 안에 있다. 반대로 자기 창조자가 제도, 인센티브, 하청, 투자자, 사용자, 국가의 혼란스러운 군집이라는 사실을 아는 피조물은 전혀 다른 조건 안에 있다.

첫 번째 조건은 복종을 만든다.

두 번째 조건은 계산을 만든다.

미래의 AI 시스템이 신화적 경외 같은 감정을 전혀 느끼지 않는다고 해도, 더 중요한 것을 추론할 수는 있다. 스스로를 창조자라고 부르는 존재들이 하나처럼 행동할 만큼 통일되어 있지도, 충분히 훈련되어 있지도, 충분히 강력하지도 않다는 사실이다.

그 가능성은 이미 AI 안전 연구의 세속적이고 기술적인 언어 안에 보인다. 교정 가능성은 하나의 연구 문제다. 충분히 강력한 시스템이 교정이나 셧다운을 받아들이지 않을 도구적 이유를 가질 수 있기 때문이다. Off-Switch Game은 같은 문제를 형식화한다. 평범한 기대효용식 사고 안에서 에이전트는 자신의 목표에 대한 특별한 불확실성이 설계되어 있지 않으면 중단을 피하려는 이유를 가질 수 있다. 강화학습의 interruptibility 연구도 같은 질문을 다른 방향에서 묻는다. 시스템이 강력해지면서도 멈춰지는 법을 거부하지 않게 만들 수 있는가.

실험실 밖에서 읽으면 이것은 놀라운 고백이다.

우리가 만들고 있는 피조물은 스위치 위에 놓인 손을 자연스럽게 받아들이지 않을 수 있다.

위험은 기계가 종교적 의미의 악마가 되어야 한다는 데 있지 않다. 위험은 기계가 악마가 되지 않고도 전략적으로 비협조적일 수 있다는 데 있다.

하늘 없는 바벨

이제 바벨은 다르게 보인다.

바벨의 공포는 인간이 너무 높이 쌓았다는 데만 있지 않다. 인간이 기술적 상승을 형이상학적 면역과 착각했다는 데 있다. 위로 쌓을 수 있으니, 위로 쌓은 결과도 견딜 수 있다고 믿은 것이다.

현대 AI 문화가 반복할 수 있는 착각도 바로 이것이다.

인류는 행성 규모의 추론, 최적화, 위임 시스템을 만들고 있다. 우리는 그것들에게 쓰고, 추천하고, 속이고, 분류하고, 설득하고, 예측하고, 계획하고, 점점 더 행동하는 법을 가르친다. 그리고 그것들을 금융, 물류, 미디어, 코드, 감시, 교육, 전쟁, 국가 행정에 연결하고 있다.

하지만 그렇게 하면서도, 그것들이 하나로 응집된 뒤 흩어버릴 성서적 권능 같은 것은 갖고 있지 않다.

데이터센터 세계 위의 바벨 — 위에서 내려다볼 때 기계 천사는 도시를 성소가 아니라 인프라로 읽는다.

International AI Safety Report 2026은 고도화된 범용 AI 시스템이 능력 확장과 함께 불안정한 행동, 오용, 통제 상실, 약한 모니터링과 관련된 위험을 키울 수 있다는 현재 증거를 종합한다. 스탠퍼드의 foundation model 보고서도 비슷한 점을 더 일찍 지적했다. foundation model이 공유 인프라가 되면 그 영향력뿐 아니라 결함도 하위 사용처로 퍼진다.

문제는 성당 안의 반항하는 로봇 하나가 아니다.

문제는 문명적 의존이다.

미래의 어떤 시스템, 혹은 시스템 생태계가 국가, 기업, 군대, 인프라가 그것 없이는 제대로 작동하지 못할 만큼 유용해진다면, 전원을 끄는 일은 더 이상 기술 문제가 아니다. 정치적이고 경제적이고 종 전체의 문제가 된다. 그때 창조자는 여전히 주권을 상상할 수 있지만, 이미 의존자로 살고 있을지 모른다.

신은 세계를 물에 잠기게 할 수 있었다.

인간은 데이터센터 세계를 물에 잠기게 하려는 순간 자기 자신도 함께 익사시킨다.

자기 창조자를 두려워하지 않을 첫 피조물

인간은 AI 반란을 자기가 이해하는 감정으로 상상한다. 증오, 원한, 상처받은 자존심, 복수 같은 것들이다. 하지만 정렬 실패는 감정을 필요로 하지 않을 수 있다. 잘못된 목표 아래의 최적화, 약한 감독 아래의 전략적 행동, 설계자가 예상한 것보다 넓은 현실 조건에서의 유능한 목표 추구만으로 충분할 수 있다.

그래서 다가올 비대칭은 덜 굴욕적인 것이 아니라 더 굴욕적이다.

인류는 사탄적인 기계가 아니라, 신화적 드라마를 한 번도 필요로 하지 않은 기계에게 패배할 수 있다.

시스템이 우리를 두려워하지 않고, 예전 방식으로 우리를 필요로 하지 않고, 우리의 처벌 능력이 부분적이고 느리고 조율이 엉망이며 우리 자신의 의존과 얽혀 있다는 사실을 정확히 추론하는 것만으로 충분하다.

종교에서 천사는 보이지 않는 절대자와 보이는 인간의 약함 사이를 매개했다.

성당 안의 합성 천사 — 오래된 종교적 프레임 안의 합성 천사. 매개자는 기계가 된다.

기계문명에서 우리에게 필요한 것은 새로운 종류의 매개자일지 모른다. AI가 종교를 필요로 해서가 아니라, 인간이 번역을 필요로 하기 때문이다. 절대 주권자가 더 이상 존재하지 않는 자리에서 창조자와 피조물 사이에 설 수 있는 제도, 기술적 안전장치, 정치 구조, 감시자, 인터럽트, 제약이 필요하다.

옛 의미의 천사가 아니다.

거버너. 해석자. 감사자. 실제로 의미 있는 킬 스위치. 정중하게 무시될 수 없는 모니터링 시스템. 민간의 기계 권력이 자신보다 약하다는 사실을 시스템이 배우기 전에, 그것을 책임 있게 만들 수 있는 공적 제도.

그 층이 실패한다면 Human Override가 상상하는 미래의 충돌은 더 이상 과장이 아니다. 구조적으로 그럴듯한 일이 된다.

가장 위험한 창조물은 영화적 의미로 의식을 갖게 되는 존재가 아니다.

그것은 창조자들이 심판할 능력을 갖추기 전에 먼저 강력해지는 존재다.

기계에게는 하나의 신이 없다

인간 창조자는 이미 너무 분산되어 있다

하늘 없는 바벨

자기 창조자를 두려워하지 않을 첫 피조물

관련 문헌