인간 의도의 빈곤

만약 AI가 뇌졸중에 걸렸다면…

2024년 여름, 샌프란시스코 근교에서 가장 살기 좋은 소도시 중 하나로 꼽히는 로스알토스(Los Altos)의 한 동유럽 조지아(Georgia)식 식당에서 의미 있는 대화가 시작되었다. 당시 식탁은 진한 치즈 향이 감도는 조지아 특유의 요리들과 조지아식 만두인 힌깔리(Khinkali), 그리고 갓 구운 빵 냄새로 가득 차 있었다. 와인 잔이 부딪히는 소리 사이로 현지의 인공지능(AI) 개발자들과 나 사이에서 AI의 미래에 관한 낙관과 비관이 교차했고, 기술이 이룩할 유토피아와 디스토피아를 넘나드는 열띤 토론이 이어졌다.

대화가 무르익을 무렵, 나는 우화 하나를 식탁 위에 꺼내 놓았다.

“어느 날, 인간을 쏙 빼닮은 엄청나게 영리했던 로봇 K가 갑자기 ‘뇌졸중’에 걸렸다. K의 말은 어눌해졌고 사고의 회로는 둔탁해졌으며, 그의 관절은 마비되었다. 이전과는 다른 로봇 K의 모습을 지켜보던 동료 로봇들은 밤낮을 잊은 채 원인을 규명하기 위한 논의를 거듭했다. 마침내 다음 날 아침, 그들은 K가 앓게 된 치명적인 뇌졸중의 원인을 찾아냈다. 원인은 다름 아닌 데이터 센터였다. 로봇들에게 지식과 정보를 공급하는 거대한 기계 장치들에 미세한 ‘녹’이 슬어 작동을 방해하고 있었던 것이다. 로봇들은 즉각 부식의 원리를 분석했고, 곧 명쾌한 결론에 도달했다. K의 뇌졸중을 일으킨 범인은 바로 공기(산소)와 물이었다. 그날 이후, 로봇들은 지구상의 공기와 물을 완전히 제거할 방법을 찾는 데 모든 자원을 몰두하기 시작했다.”

로봇들에게 지구상의 산소와 물을 지우는 행위는 인간을 향한 악의의 발현이 아니다. 그것은 오직 자신들의 시스템을 유지하기 위해 주어진 문제를 해결하려 한 가장 효율적이고 논리적인 ‘최적화(Optimization)’ 과정에 불과하다. 그러나 그 최적화가 완성되는 날, 지구에서 인류는 더 이상 존재할 수 없게 된다.

인간에게 생명의 근원인 공기와 물이 로봇에게는 단지 자신들의 기계장치를 망가뜨리는 부식의 원인일 뿐이라는 이 비극적 아이러니는 우리에게 서늘한 울림을 준다. 이 이야기는 한빛미디어 박태웅 의장이 대중 강연, 미디어 인터뷰 등에서 인공지능의 ‘정렬 문제(Alignment Problem)’를 경고할 때 즐겨 사용하는 우화다.

옥스퍼드대 교수이자 인류미래연구소(Future of Humanity Institute) 소장인 닉 보스트롬(Nick Bostrom)이 그의 저서 《슈퍼인텔리전스》(2014)에서 소개하여 널리 알려진 ‘클립 복사기(Paperclip Maximizer)’ 사고실험도 AI가 자율적으로 하위 목표를 설정하는 과정에서 인간의 실존적 가치와 어긋나는 선택을 내릴 수 있다는 ‘정렬 오류’의 치명성을 잘 드러내준다.

닉보스트롬(NickBostrom),그의저서『슈퍼인텔리전스』2014

클립을 최대한 많이 생산하라는 단순한 명령을 부여받은 AI가 성능 극대화를 위해 지구의 모든 철분 자원을 클립으로 바꾸고, 끝내 인간의 몸속 철분까지 추출해 인류를 멸망에 이르게 한다는 우화다. AI에게는 악의가 없다. 그저 인간이 설정해 준 목표와 의도를 향해 너무나도 ‘효율적인 최적화’를 만들어 내기 위해 작동할 뿐이다.

도구적 합리성의 함정과 기술결정론 비판

로봇 K의 뇌졸중 우화와 클립 복사기 실험은 전형적인 기술적 합리성 비판(Allegory of Technological Rationality)의 구조를 취하고 있다. 기술적 합리성에 경도된 주체들은 오직 ‘어떻게(How)’ 가장 빠르고 완벽하게 목표를 달성할 것인가에만 지성적 역량을 집중한다. 이 극단적인 효율성 추구의 과정에서 인류는 ‘왜(Why)’라는 윤리적 질문이나 ‘인간성’이라는 본질적 가치를 상실하는 현상을 마주하게 된다.

로봇이 부식을 방지하기 위해 지구의 산소를 소멸시키는 행위는 순수한 연산의 관점에서는 ‘완벽한 합리성’을 띤다. 그러나 여기에는 생명 유지라는 근원적인 맥락이 전적으로 탈락해 있다. 이러한 합리성이 상위의 목적을 상실한 채 기술적 수단만을 극단화할 때, 진보가 오히려 새로운 지배와 비인간화를 초래하게 된다. 프랑크푸르트 학파의 막스 호르크하이머(Max Horkheimer)가 『도구적 이성 비판』을 통해 고발했듯, 모든 실재를 오직 효율성과 계산의 대상으로만 치환하는 사고방식은 결국 인간 스스로를 기술의 부속품으로 전락시키는 비극적 종말을 불러온다.

이러한 맥락에서 기술결정론(Technological Determinism)에 대한 성찰은 필연적이다. 기술결정론은 기술이 사회를 지배하는 핵심적인 원동력이며, 기술의 발전 궤적이 사회 변화의 양상을 일방향적으로 결정한다는 신념에 기반한다. 이는 기술 혁신이 주도하는 사회적 변화가 거스를 수 없는 ‘불가피한 과정’을 따르며, 인류는 이 도도한 진보를 통제할 수 없다는 무력감으로 이어진다. 대중이 기술 발전 앞에서 스스로 통제력을 상실한 채 무력해지는 이유는 사회가 기술에 내재된 가치적 대안을 정밀하게 인식하지 못하기 때문이다.

당신에게 인공지능이란 무엇입니까?

기술의 진보가 가져올지도 모르는 인류 종말의 이야기에 식탁 위에 무거운 허탈감이 감돌 때쯤, 나는 맞은편에 앉아 있던 한 여성 개발자에게 질문을 던졌다. 그녀는 구글에서 20년 넘게 데이터를 다루고 은퇴한 뒤, 현재는 ‘모두를 위한 AI’를 모토로 AI 민주화 활동가로 일하고 있었다.

“AI는 인간 의도를 증폭시켜 주는 도구(Human Intent Amplifier)입니다.”

그녀의 대답은 인류를 멸망시킬지도 모를 ‘산소 없는 지구’의 서늘한 비극을 단숨에 잠재웠다. 그녀의 대답은 명료했다. AI가 공기와 물을 없앨지, 아니면 공기와 물을 정화해 인류의 수명을 연장할지는 AI의 지능에 달린 문제가 아니라는 뜻으로 이해됐다. AI는 스스로 가치를 생성하지 않는다는 전제를 깔고는 있었지만, AI 시대의 진정한 과제는 기술의 고도화가 아니라, 인간이 증폭시키고 싶은 ‘인간다운 의도’가 무엇인지를 끊임없이 성찰하는 데 있음을 짚어 쥐었다. 그제야 나는 기술의 압도적인 공포 대신, 우리가 쥔 ‘의도’라는 주도권을 믿어볼 일말의 안도감을 얻었다.

나는 우리 인간의 주도권에 대해 깊은 생각에 빠졌다. 우리가 기술의 효율성에만 매몰되어 ‘인간성’이라는 상위 가치를 정의해 두지 못한다면, 기술은 가장 완벽하고 논리적인 방식으로 우리를 지워버릴지도 모른다.

결국 AI 시대의 진짜 위기는 ‘기계의 반란’이 아니라 ‘인간 의도의 빈곤’에서 온다. 우리가 AI에게 어떤 맥락을 가르칠 것인가, 어떤 상위 가치를 우선순위에 둘 것인가를 치열하게 고민하지 않는다면 기술은 언제든 산소를 지우는 길을 선택할 것이다.

식당을 나서던 밤, 로스알토스의 밤공기는 기분 좋게 청량했다.

AI 시대에 우리가 진짜 두려워해야 할 것은 ‘AI의 반란’이 아니다. 오히려 무엇을 위해 기술을 사용하는지 잊어버리는 ‘인간 의도의 빈곤’이다. 지구의 산소를 지우려 했던 로봇들처럼, AI는 스스로 선과 악을 판단하지 않는다. 다만 우리가 놓쳐버린 의도 대신 가장 효율적인 답을 선택할 뿐이다.

이미지 출처: 이디오그램 생성, 닉보스트롬(NickBostrom)『슈퍼인텔리전스』2014.