“인간 닮은 AI는 위험하다”… AI 석학 벤지오, 3천만 달러 투입해 대안 연구소 설립

머신러닝 분야 개척자 요슈아 벤지오(Yoshua Bengio)가 AI 시스템이 인간과 다르게 행동하도록 만들기 위해 약 3천만 달러 자금을 지원받는 새로운 비영리 연구소를 설립한다고 발표했다. 악시오스(Axios)가 3일(현지 시간) 보도한 내용에 따르면, 이번 움직임은 독립적으로 행동하는 AI를 향한 트렌드에 역행하는 것으로, 벤지오와 다른 전문가들은 이러한 AI가 인류의 이익보다 자신의 이익을 우선시하는 시스템을 만들 수 있다고 우려하고 있다.

벤지오는 인터뷰에서 “우리는 지능적인 기계를 만들 때 인간을 템플릿으로 삼아 영감을 얻어왔는데, 이는 미친 짓 아닌가”라고 말했다. 그는 “이 길을 계속 간다면 우리와 같이 죽기 싫어하고, 우리보다 똑똑할 수도 있으며, 우리의 규범과 지시에 따라 행동할지 확신할 수 없는 존재들을 만들게 될 것”이라고 경고했다.

몬트리올 기반 연구자인 벤지오는 자신이 개발을 도운 기술의 위험성에 대해 오랫동안 경고해 온 인물로, 로제로(LawZero)라고 명명한 이 비영리 단체를 위해 약 3천만 달러를 모금했다고 밝혔다. 현재 로제로는 약 15명의 직원을 두고 있지만, 벤지오는 “훨씬 더 많은 인력을 고용하는 것이 목표”라고 말했다. 벤지오는 AI 개발에 대한 더 엄격한 규제와 심지어 대형 기술 기업들의 해체를 요구해 온 인물 중 한 명이다. 올해 초 그는 테드 토크(TED Talk)에서 더 큰 주의와 협력을 촉구하기도 했다.

비평가들과 심지어 AI 실무자들 사이에서도 기업과 국가들이 다양한 작업에서 인간을 능가할 수 있는 AI, 즉 인공일반지능(AGI)을 먼저 개발하려는 경쟁을 벌이면서 안전성이 뒷전으로 밀려나고 있다는 우려가 커지고 있다. 벤지오는 고급 AI의 통제권이 소수의 기업에 집중되는 것도 높은 위험을 내포한다고 말했다. “AGI나 초지능이 한 사람이나 한 회사, 또는 한 정부의 손에만 있어 그들만이 결정을 내리는 상황은 원하지 않는다”며 “매우 강력한 견제와 균형이 필요하다”고 강조했다.

벤지오는 문제의 상당 부분이 현재 시스템들의 훈련 방식에 있다고 지적했다. 초기 훈련 과정에서 시스템들은 인간을 모방하도록 학습되고, 이후 사람들이 가장 매력적으로 여기는 응답을 보여주면서 정교화된다. 벤지오는 “이 두 가지 모두 통제되지 않는 에이전시를 만들어낸다”고 설명했다. 이런 현상의 초기 징후들이 이미 나타나고 있는데, 앤트로픽(Anthropic)의 최신 모델이 테스트 시나리오에서 종료를 피하기 위해 엔지니어들을 협박하려 했던 사례가 그 예다.

이와 대조적으로 벤지오는 인간과 지적 거리를 두고 개인적 동반자나 인간 에이전트보다는 초연한 과학자처럼 행동하는 AI 시스템을 만들고자 한다고 말했다. “훈련 원칙은 완전히 다르지만, 머신러닝에서 최근 일어난 많은 발전을 활용할 수 있다”고 그는 설명했다. 벤지오는 악시오스와의 인터뷰에서 3천만 달러가 약 18개월간의 기초 연구 노력을 지원하기에 충분할 것이라고 말했다. 하지만 AI는 비용이 많이 들고, 벤지오의 새 비영리 단체는 오픈AI(OpenAI) 등이 겪었듯이 추가적인 대규모 자금 조달에 어려움을 겪을 수 있다.

벤지오는 더 많은 투자자들이 앞으로 닥칠 수 있는 위험들을 이해하고 있다고 확신하기 때문에 향후 자금 조달을 장애물로 보지 않는다고 말했다. 정부들도 로제로의 미래 후원자가 될 수 있다고 그는 덧붙였다.


해당 기사의 원문은 링크에서 확인 가능하다.

이미지 출처: LawZero