Emerging best practices for Responsible AI deployment in banking
리스크에 민감한 은행 산업, AI 리스크 관리에 연간 41% 투자 확대
은행은 전통적으로 리스크에 민감한 조직이다. 고도로 규제되고 경쟁이 치열한 산업에서 소비자 신뢰를 구축하고 유지하는 것이 무엇보다 중요하기 때문이다. 이러한 특성에 맞춰 은행들은 수십 년에 걸쳐 견고한 기술 통제, 리스크 관리, 거버넌스 프레임워크를 구축해왔다. 여기에는 모델 리스크 관리, 운영 복원력 프로그램, 규제 준수 구조 등이 포함된다.
그러나 인공지능(AI)은 새로운 형태의 리스크를 가져왔다. 인텔리전스 플랫폼 Evident Insights가 발표한 리포트에 따르면, 기존 투자들이 AI 특유의 리스크를 관리하기 위한 기반을 제공하지만, AI 시스템의 역동적이고 블랙박스 같은 특성과 데이터 집약적 성격을 다루는 능력은 한계에 도달했다. 특히 에이전트형 AI(Agentic AI)의 등장은 이러한 도전을 더욱 심화시키고 있다. 매개변수가 잘 정의되어 있더라도, 에이전트는 자체 최적화 능력을 갖추고 API와 고객 상호작용을 통해 외부 소스와 교류할 수 있어 기존의 정적 거버넌스 프로토콜로는 예측, 통제, 감사하기 어렵다.
앞으로 몇 년간 은행들이 생성형 AI 역량을 기업 전체로 확장하려면, 기존의 견고한 거버넌스 프로세스와 진화하는 AI 복잡성을 고려한 보다 역동적인 통제 사이의 균형을 맞추는 것이 중요하다. 이 분야에 조기에 지속적으로 투자하는 기관은 책임감 있는 AI가 경쟁 우위의 원천이 될 것임을 깨닫게 될 것이다.
블랙박스 모델에서 지속가능성까지: AI 리스크의 4가지 차별화 요인
전문가들은 AI가 다른 기술 리스크와 근본적으로 다른 네 가지 차별점을 지적한다.
첫째, 생성형 AI는 ‘블랙박스’ 문제를 가지고 있다. 이 모델들은 특정 결과에 이르는 정확한 추론 과정을 파악하기 어려운 방식으로 출력물을 생성한다. 은행들이 설명 가능한 AI(XAI)에 많은 자원을 투입하고 있지만, 엄격한 통제와 감사 가능성을 요구하는 운영 환경에서는 아직 시작 단계에 불과하다.
둘째, AI와 관련된 리스크는 단순한 모델 리스크를 넘어선다. 개별 시스템, 알고리즘, 조직 관행에까지 확장된다. ISO/IEC JTC 1/SC 42와 같은 신흥 표준에 따르면, 이해관계자들은 훈련 데이터, 개발 및 배포 프로세스, 시스템 엔지니어링 문서에 대한 접근을 요구하는 포괄적인 감사를 예상할 수 있다.
셋째, 많은 생성형 AI 애플리케이션은 다양한 사용자가 다양한 비즈니스 라인에서 다양한 목적으로 사용하는 범용 플랫폼(예: RAG 챗봇)을 포함한다. 결과적으로, 확립된 리스크 벡터는 모델(고도로 제한된, 목적에 맞게 구축됨)에서 사용자(다양한 사용 사례, 일반 목적)로 이동한다.
넷째, 생성형 AI의 증가된 사용은 높은 에너지 요구, 탄소 배출, 물 소비, 하드웨어 폐기물로 인한 지속가능성 우려를 제기한다. AI가 산업에 혁명을 일으키는 동안, 혁신과 환경적 책임 사이의 균형은 AI 배포의 지속 가능한 미래를 보장하는 데 중요할 것이다.
JPMorgan부터 NatWest까지: 249명의 책임감 있는 AI 전문가들이 이끄는 변화
에비던트 AI 인덱스를 매년 업데이트할 때, 추적 중인 50개 은행에서 “책임감 있는 AI”와 관련된 역할에서 일하는 개인의 총 수를 조사한다. 2024년 4분기 기준으로 50개 은행 전체에서 책임감 있는 AI 인재는 총 249명에 달한다. 이는 작은 인력풀이지만 전년 대비 41%라는 급격한 성장세를 보이고 있다.
책임감 있는 AI 인재는 이제 더 많은 은행에서 발견되고 있다. 2024년에는 50개 은행 중 41개 은행에서 이러한 역할이 확인되었으며, 이는 2023년 31개 은행에서 증가한 수치다. 이는 세계 최대 은행들 사이에서 책임감 있는 AI에 대한 관심이 증가하고 있음을 반영할 뿐만 아니라, 이러한 기능 내에서 AI 특유의 리스크에 대한 보다 구체적인 전문 지식을 갖춘 개인의 필요성에 대한 인식이 높아지고 있음을 보여준다.
미국 은행들이 이러한 AI 전문 직위의 최대 수를 보유하고 있으며, 초기 진입자인 JPMorganChase는 평균 은행보다 3배 이상 많은 20개 이상의 일치하는 역할을 보유하고 있다. 하지만 이러한 지역 전망도 빠르게 변화하고 있다. 은행들이 본사를 둔 각 지역에서 책임감 있는 AI 인재의 보편적 성장이 관찰되지만, 영국 은행과 유럽 은행들이 가장 빠르게 인재 확보를 가속화하고 있다.
설명 가능한 AI 연구 136% 급증: 블랙박스 문제 해결을 위한 은행들의 노력
생성형 AI에서는 모델이 출력에 도달하는 방식과 그것이 AI 기반 의사 결정에 어떤 영향을 미치는지에 대한 설명 가능성 문제가 그 기반이 되는 대규모 기초 모델의 보다, 역동적이고 복잡하며 “비결정적” 특성으로 인해 해결하기 훨씬 더 어려워졌다.
이는 AI 모델이 어떻게 작동하고 어떻게 통제해야 하는지 이해해야 하는 모든 관련 GRC(거버넌스, 리스크, 컴플라이언스) 팀에게 도전을 제시할 뿐만 아니라, AI가 의사 결정에 미치는 영향에 대한 흔적을 제공하는 것이 제품 책임을 최소화하고 사용자 신뢰를 유지하는 데 중요하다고 여겨지는 생성형 AI 기반, 고객 대면 사용 사례를 우선시하는 은행들에게도 대체로 해결되지 않은 문제이다.
많은 은행들은 RAI 특정 연구 범위 내에서 설명 가능성 전문성을 심화시킴으로써 이러한 도전에 대응하기 위한 기반을 마련했으며, 이는 선별된 기관 그룹 사이에서 계속해서 우선 주제로 남아 있다. 실제로, RAI 연구 결과는 지난 3년 동안 136%의 누적 성장을 보였으며, 이 기간 동안 전체 연구의 거의 15%를 차지했다.
미래를 준비하는 AI 보증 플랫폼: 규제 대응 시간 단축의 핵심
진단 설문지가 AI 사용 사례 배포가 확장됨에 따라 중요한 안전 점검을 제공하지만, 이는 조직이 자동화된 평가, 감사 기능, 거버넌스 통제를 포함하는 더 넓은 그림을 볼 수 있게 하지는 않는다. 이를 달성하기 위해 은행들은 현재 하이프 사이클에서 두각을 나타내고 있는 용어인 AI 보증 플랫폼을 개발하고 있다.
가장 기본적인 수준에서, AI 보증 플랫폼은 빠르게 변화하는 규제 환경에 맞춰 AI 모델이 운영되는 것을 평가, 모니터링, 보장하도록 설계된 시스템, 프레임워크, 도구 키트의 통합이다. 보증 플랫폼이 더 자동화됨에 따라, 리스크를 줄이고, 신뢰를 강화하며, 규정 준수를 보장하는 데 도움이 될 것이다.
결과적으로, 산업 실무자들이 보증 플랫폼에서 가장 먼저 배당금을 볼 것으로 예상하는 영역 중 하나는 글로벌 AI 규제(예: EU AI Act, NIST AI 리스크 관리 프레임워크, 연방준비제도이사회 SR 11-7)에 맞춰 자동화된 규정 준수 점검과 감사 추적을 제공하는 규제 준수 분야이다.
조직, 시스템, 모델 수준 정보를 검증하기 위한 “원스톱 샵” 또는 “정산소”를 제공함으로써 은행들은 빠르게 움직이는 기술이 천천히 움직이는 정책 지침과 경쟁하는 세계에서 (의도하지 않은) 미준수와 관련된 법적, 재정적 리스크를 크게 줄일 것이다.
FAQ
Q. 책임감 있는 AI가 정확히 무엇이며 은행에서 왜 중요한가요?
A: 책임감 있는 AI는 은행에서 리스크를 완화하면서 기존 및 신흥 규제와 윤리적 표준을 준수하는 방식으로 AI를 개발하고 배포하는 것을 의미합니다. 기존의 견고한 거버넌스, 리스크, 컴플라이언스 프로세스를 신흥 AI 리스크에 적응해야 할 필요성과 통합합니다. 은행과 같은 고도로 규제된 환경에서 소비자 신뢰와 데이터 보호가 핵심이기 때문에 매우 중요합니다.
Q. 생성형 AI는 은행의 기존 리스크 관리 관행에 어떤 새로운 도전을 제시하나요?
A: 생성형 AI는 ‘블랙박스’ 문제, 더 넓은 리스크 범위(단순 모델 리스크 이상), 범용 플랫폼의 사용자 주도 리스크, 그리고 높은 에너지 요구와 관련된 지속가능성 우려 등 새로운 도전을 제시합니다. 기존의 정적 거버넌스 프로토콜로는 예측, 통제, 감사하기 어려운 AI 시스템의 역동적이고 데이터 집약적 특성을 다루어야 합니다.
Q. 은행들이 책임감 있는 AI를 구현하기 위해 어떤 실질적인 단계를 취하고 있나요?
A: 은행들은 전담 책임감 있는 AI 리더 고용, RAI 전문가 팀 구성, AI 거버넌스 위원회 설립, 광범위한 교육 프로그램 개발, RAI 원칙을 구체적인 통제에 매핑, 설명 가능한 AI 연구 강화, 자가 서비스 진단 도구 개발, 그리고 종합적인 AI 보증 플랫폼 구축을 통해 책임감 있는 AI를 구현하고 있습니다. 이러한 노력은 단지 혁신의 장벽이 아니라 오히려 핵심 촉진제가 되고 있습니다.
해당 기사에서 인용한 리포트 원문은 링크에서 확인할 수 있다.
기사는 클로드와 챗GPT를 활용해 작성되었습니다.
관련 콘텐츠 더보기
