챗GPT가 공무원 되다? 미국 주정부, 생성형 AI로 40억 달러 예산 절감 성공

딜로이트의 ‘엔터프라이즈 생성형 AI 현황’ 4분기 보고서에 따르면, 생성형 AI는 몇 년 전만 해도 상상할 수 없었던 방식으로 산업, 경제, 사회를 변화시키고 있으며, 정부 영역에서도 확산되고 있다. 2024년 미국 주정부 CIO 협회(National Association of State Chief Information Officers)의 설문조사에 따르면, 주정부 CIO의 절반 이상이 소속 기관 직원들이 일상 업무에서 생성형 AI 도구를 사용하고 있다고 응답했다. 예산 제약이 예상되는 상황에서 미국 주 및 지방 정부는 보다 효율적으로 업무를 수행할 수 있는 도구를 찾고 있으며, 이미 생성형 AI가 실질적인 효과를 가져오고 있다.

딜로이트의 ‘엔터프라이즈 생성형 AI 현황’ 조사 결과에 따르면, 조직 내에서 생성형 AI 이니셔티브가 가장 발전된 부서는 정보 기술(Information technology) 부서로 28%를 차지했다. 그 다음으로는 운영(Operations) 부서가 11%, 마케팅(Marketing) 부서가 10%로 뒤를 이었다. 고객 서비스(Customer service)와 사이버보안(Cybersecurity) 부서는 각각 8%를 차지했으며, 제품 개발(Product development)은 7%, 연구 개발(Research and development)은 6%를 차지했다. 판매(Sales)와 전략(Strategy) 부서는 각각 5%, 공급망(Supply chain)과 재무(Finance) 부서는 각각 4%를, 인적 자원(Human resources)과 제조(Manufacturing) 부서는 각각 2%를 차지했다. 법률, 위험 및 규정 준수(Legal, risk, and compliance) 부서는 1%로 가장 낮은 비율을 보였다. 이 조사는 2024년 7월/9월에 진행된 ‘엔터프라이즈 생성형 AI 현황 조사’에서 2,773명의 응답자를 대상으로 한 결과이다.

인디애나주는 주 기록 보관소 접근성을 개선하기 위해 생성형 AI를 활용하고 있다. 직원들은 1세기에 걸친 수백만 개의 문서를 역사적 비즈니스 기록부터 최근 재무 신고까지 신속하게 검색할 수 있게 되었다. AI는 일반 언어 질의를 이해하여 검색을 빠르고 직관적으로 만든다. 이 기술은 인디애나주가 투명성과 효율성을 개선하고 방대한 역사적 데이터를 접근 가능하고 유용한 정보로 변환하는 데 도움을 준다.

뉴저지주 혁신 사무소(New Jersey Office of Innovation)는 고객에게 보내는 이메일을 쉬운 언어로 다시 작성하기 위해 생성형 AI를 활용하고 있다. 이러한 변화 덕분에 고객 응답 속도가 35% 빨라지는 효과를 거두었다.

뉴욕시는 2023년 10월 MyCity Business와 NYC.gov 기반의 생성형 AI 기반 챗봇을 출시했다. 시민들은 “운전면허증을 어떻게 신청할 수 있나요?” 또는 “제가 받을 수 있는 서비스는 무엇인가요?”와 같은 간단한 질문을 할 수 있게 되었다. 현재 진화 중인 이 챗봇은 뉴욕 시민들이 복잡한 정부 서비스를 더 쉽게 탐색할 수 있도록 도울 것으로 기대된다.

생성형 AI는 다양한 적용 사례를 제공한다. 딜로이트의 보고서에 따르면, 생성형 AI는 응답자들에게 정보 기술, 운영, 마케팅 영역에서 가장 큰 영향을 미치고 있다. 정부 기관 전반에 걸쳐 유사한 기능에 대한 생성형 AI 적용 사례가 많이 있으며, 이러한 도구를 채택하는 기관들은 효율성과 생산성의 상당한 향상을 목격하고 있다.

정보 기술 분야에서는 유타주 정부가 사이버보안을 강화하기 위해 생성형 AI를 도입했다. 이 도구는 일일 2테라바이트의 데이터를 처리하며, 경고의 품질과 실행 가능성을 개선하여 사전 위험 완화를 가능하게 했다.

운영 측면에서는 지난 1년 동안 미국 국무부가 다양한 생성형 AI 도구를 통합하여 효율성과 생산성을 향상시켰다. 이 도구들은 이메일 작성, 문서 번역, 정책 브레인스토밍 등을 지원한다. 이를 통해 직원들은 수만 시간을 절약하여 보다 전략적인 업무에 집중할 수 있게 되었다.

펜실베이니아와 콜로라도 주정부는 다양한 기관의 직원들에게 특정 AI 도구를 사용할 수 있도록 했다. 펜실베이니아에서는 이 계획으로 사용자들이 하루 평균 1시간 이상을 절약하게 되었다. 콜로라도에서는 사용자의 1/3 이상이 매주 최소 6시간을 절약하고 있다.

영국 스윈던 자치구 의회(Swindon Borough Council)는 30개 이상의 언어를 사용하는 주민들을 위해 정부 문서를 번역하고 단순화하기 위해 생성형 AI를 사용한다. 이 도구는 번역 비용을 99.96% 절감하고 번역 시간을 16일에서 14분으로 단축했다.

고객 서비스 측면에서 콜로라도 지역 문제부(Colorado Department of Local Affairs)는 주택 바우처 프로그램의 프로세스 개선을 식별하는 데 필요한 시간을 크게 줄이기 위해 생성형 AI를 사용했다. 이전에는 프로세스 개선 작업이 프로세스에 관련된 개인들로부터 상세한 정보 수집과 프로세스 맵을 구축하기 위한 길고 상세한 논의가 필요했다. 그러나 팀은 ‘코코(Coco)’라는 컴퓨터 컨설턴트를 사용하는 방식으로 전환했다. 코코는 수십 명의 이해관계자와 일대일 인터뷰를 진행하고, 자연 언어로 질문하며, 모든 정보를 종합하여 프로세스 맵을 만들었다. 이제 직원들은 이 프로세스 맵을 활용하여 프로세스를 효과적으로 재설계하고 있다.

2024년 미국 재무부는 정부 지불에서 사기를 탐지하기 위해 AI 도구를 사용하기 시작했고, 40억 달러의 부적절한 지불을 방지하거나 회수했는데, 이는 전년도보다 33억 달러 이상 개선된 수치이다. 재무부의 “Do Not Pay” 서비스와 같은 많은 고영향 AI 애플리케이션은 조직의 경계를 넘어 연결되어 있다. 이 서비스는 주 실업 기관을 사회 보장 행정부의 사망자 마스터 파일(Death Master File)과 연결하여 부적절한 지급을 줄인다.

에이전틱 AI(Agentic AI)의 등장은 고급 자동화의 새로운 영역을 열고 있다. AI 에이전트는 생성형 AI, 로봇 프로세스 자동화, 심지어 인간 작업자와 같은 다른 자동화 도구의 행동을 조정할 수 있는 오케스트라 지휘자와 같다. 예를 들어, AI 에이전트는 여러 도구의 작업을 조율하여 차량 등록 갱신을 간소화할 수 있다. 폼과 지원 문서에서 정보를 추출하기 위해 머신 비전을 사용하고, 갱신 자격을 결정하기 위해 규칙 엔진을 사용하며, 문제가 발생하거나 신청이 즉시 자격이 없는 경우 사례를 인간 작업자에게 확대하고, 마지막으로 생성형 AI를 사용하여 갱신 알림을 발행한다.

그러나 미국의 지방 정부 실무자들을 대상으로 한 설문조사에 따르면, AI가 다양한 부문에서 점점 더 관련성이 높아지고 있음에도 불구하고, 응답자의 6% 미만이 “서비스 제공 전략에서 AI를 중요한 초점으로 우선시했다”고 답했다. 또한 지방 정부들은 규모 확대에 필요한 역량을 갖추지 못하고 있다. 조사된 지역사회 중 10%만이 AI 노력을 감독하는 책임자가 있고, 단 9%만이 AI 사용을 관리하는 조직 전체의 정책을 가지고 있었다.

정부에서 생성형 AI 확장은 상업 부문을 단순히 모방할 수 없기 때문에 어려울 수 있다. 상업 세계에서는 판매 및 수익과 같은 명확한 지표가 생성형 AI를 포함한 모든 기술의 투자 수익을 측정하는 간단한 방법을 제공한다. 비즈니스 임원들은 일반적으로 기술 채택에 대해 하향식, 중앙 집중식 접근 방식을 추구한다.

이와 대조적으로, 정부는 때때로 미션 효과에 대한 생성형 AI의 영향을 측정하는 데 어려움을 겪을 수 있다. 딜로이트의 ‘엔터프라이즈 생성형 AI 현황’ 조사에 따르면, 정부 직원과 기술 전문가들은 민간 부문 동료들보다 생성형 AI를 실험하는 데 더 열정적이다. 그러나 이러한 열정은 조사된 공공 부문 지도자들 사이에서는 그다지 일반적이지 않다.

또한 이 조사의 또 다른 발견은 정부 및 공공 서비스 제공자들이 민간 부문 동료들과 달리 인력에 대한 생성형 AI에 대한 접근성을 최대화하는 것이 이러한 이니셔티브에서 가장 많은 가치를 창출할 가능성이 높다고 믿는다는 것이다. 이는 정부에서 생성형 AI를 확장하는 경로가 인력 전체에 걸쳐 생성형 AI 도구에 대한 더 넓은 접근성을 제공하는 데 있음을 시사한다.

정부 직원들 사이에서 생성형 AI에 대한 광범위한 접근을 가능하게 하는 한 가지 전략은 AI 마켓플레이스 생성이다. 이는 사용자가 자신의 문제에 대한 솔루션을 만들고 배포할 수 있는 통제된 기술 환경이다. 솔루션이 작동하면 마켓플레이스는 조직 전체에 확장할 수 있는 거버넌스 메커니즘을 갖추고 있다.

마켓플레이스는 다중 빌딩 블록이 있는 플랫폼을 제공하여 사용자가 자신의 생성형 AI 사용 사례를 빠르게 구축할 수 있다. 데이터의 민감도에 따라 다양한 오픈 소스 대규모 언어 모델(LLM)과 온프레미스 LLM 중에서 선택할 수 있는 옵션을 제공할 수 있다. 조직의 클라우드 인프라에 호스팅되는 온프레미스 LLM은 데이터가 오픈 소스 LLM에 전송되는 것을 방지한다. 이 플랫폼은 사용자 친화적인 인터페이스를 통해 사용자가 자신의 데이터와 워크플로우를 AI 도구에 연결할 수 있게 하여 비기술 직원이 복잡한 코딩을 이해할 필요 없이 생성형 AI 기능을 활용할 수 있도록 한다.

또한 마켓플레이스는 기관이 데이터 보안 및 규정 준수를 지원하도록 돕는다. 솔루션이 조직 전체에 확장될 때 위험을 줄이기 위해 필요한 가드레일을 제공한다. 이러한 가드레일에는 데이터가 외부 LLM을 훈련시키는 데 사용되지 않음을 확인하고, 데이터 및 도구에 대한 역할 기반 액세스를 관리하며, 개인 식별 정보가 공개 LLM에 전송되는 것을 차단하는 것이 포함된다. 사용 데이터도 모니터링하여 규정 준수 및 보안을 지원하여 정부 직원들이 생성형 AI의 잠재력을 활용할 수 있는 안전하고 효과적인 환경을 제공한다.

생성형 AI 도입은 잘못될 수 있는 여러 방법이 있다. 한 가지 큰 베팅을 하거나 100개의 작은 개념 증명을 시작함으로써 진전을 이루지 못할 수 있다. 그러나 좋은 소식은 50개 주가 올바른 방향으로 나아갈 수 있는 많은 방법들이 있다는 것이다. 필요한 구성 요소는 동일하지만, 규모를 확장하는 정확한 경로는 모든 주마다 다를 것이다. 그러나 몇 가지 이정표는 올바른 경로를 유지하는 데 도움이 될 수 있다.

기술 기반 구축: 현재 많은 주가 전략 계획을 가지고 있지만 그 전략을 현실화할 수 있는 도구가 없을 수 있다. 기술 플랫폼을 올바르게 구축하면 직원들이 새로운 AI 도구를 만드는 데 사용할 프로세스와 인프라에 전략적 가치를 내재화하는 데 도움이 된다. 이러한 강력한 기술 플랫폼 기반은 자연스럽게 추가 위험 없이 AI에 대한 더 넓은 접근을 허용하는 궁극적인 거버넌스, 교육 및 기타 필요한 기능을 지원할 수 있다.

초기에 직원들 참여시키기: 직원들이 적극적으로 참여하는 경우에만 생성형 AI로 고영향 사용 사례를 찾을 수 있다. 참여 부족은 성공적인 구현을 방해할 수 있다. 조직은 직원들이 도구를 구축할 수 있도록 권한을 부여하고 가드레일과 적절한 결과가 프로세스의 모든 단계에서 내재화되도록 강력한 문화를 조성해야 한다.

투명성: 대중과 직원들에게 투명하게 공개하는 것은 공공 부문에 대한 신뢰를 구축하는 데 도움이 될 수 있다.

생성형 AI는 공공 부문 전체에서 핵심 도구가 될 잠재력을 가지고 있다. 견고한 인프라, 직원 참여, 강력한 거버넌스 구축을 우선시함으로써 주 및 지방 정부는 효과적인 미션 결과를 더 잘 이끌어내기 위해 생성형 AI를 규모에 맞게 구현하는 길을 효과적으로 닦을 수 있다.