ChatGPT 출시 2년이 지난 현재, 기업들은 생성형 AI와 에이전틱 AI를 운영에 실제로 구현하는 단계에 접어들었다. 맥킨지의 오아나 체타(Oana Cheta) 파트너는 “기업들이 AI 호기심에서 AI 책임감으로 전환하고 있다”며 현재 상황을 진단했다.
기업들이 다음 단계로 나아가면서 가장 중요하게 고려하는 요소들이 명확해지고 있다. 첫째, 투자 수익률과 비즈니스 임팩트에 대한 압박이 증가하고 있다. 기업들은 AI 이니셔티브에서 실질적이고 측정 가능한 수익을 입증하고 추가 투자를 정당화해야 하는 상황에 직면했다.
둘째, 단순한 업무 자동화를 넘어 업무 방식 자체를 재설계하는 것이 핵심이 되었다. 이는 효율성 향상이 아닌 근본적인 변화를 의미한다. AI나 생성형 AI만 도입하는 것으로는 충분하지 않으며, 기업들은 AI를 운영의 핵심에 통합하도록 프로세스를 재설계해야 한다. AI는 의사결정, 워크플로우, 결과 등을 주도해야 하며, 단순한 부가 기능이 아니어야 한다.

생성형 AI에서 에이전틱 AI로의 진화
Parloa의 공동창립자이자 CEO인 말테 코수브(Malte Kosub)는 AI 기술의 진화 과정을 명확히 설명했다. 모든 것은 이미지, 텍스트, 비디오를 생성하는 생성형 AI에서 시작되었다. 초기에 기업들, 특히 고객 지원 기능에서는 이 기술을 고객이 전화하거나 문의할 때 내부 FAQ를 운영하는 데 활용했다.
두 번째 단계에서는 챗봇을 통해 고객에게 직접 답변을 제공하는 외부 세계로의 확장이 이루어졌다. 현재 우리가 목격하고 있는 것은 생성형 AI 세계에서 에이전틱 세계로의 이동이다. 에이전틱 AI는 목표 지향적 접근 방식으로, AI가 인간을 대신하여 의사결정을 내리고 행동을 취할 수 있는 능력을 갖추고 있다.
이 세 번째 단계에서 기업들은 목표 지향적이고 프로세스 중심적인 업무와 작업에서 가치를 얻기 위해 에이전틱 AI를 구현하고 있다. 이미 기업들이 네 번째 단계로 진입하고 있는데, 여기서는 에이전틱 워크플로우를 외부 세계와의 거래에 통합하고, 에이전틱 AI가 고객들이 실시간으로 문제를 해결하도록 돕고 있다.
에이전틱 AI 구현을 위한 준비 과정
에이전틱 AI로의 전환을 위해 기업들이 올바르게 준비해야 할 핵심 요소들이 있다. 가장 중요한 것은 고객을 대신하여 실제로 행동을 취하는 AI 에이전트를 배포하는 프로세스를 구축하는 것이다. 기업 환경에서 수많은 AI 에이전트들을 대규모로 조율하는 방법을 고려해야 하며, 가드레일과 모든 보안 조치가 제자리에 있도록 적절한 컴플라이언스 계층을 정의하는 방법을 생각해야 한다.
또한 AI 에이전트들이 참여하게 될 수백만 건의 대화를 시뮬레이션하고 평가하여 가능한 한 최고의 정확도를 보장하는 방법도 고려해야 한다. 이는 기업에 AI를 구현하는 완전히 새로운 방식이며, 에이전틱 AI를 대중에게 제공하기 위해서는 적절한 인프라가 구축되어야 한다.
현장에서의 실제 적용 사례
맥킨지 뒤셀도르프 오피스의 브라이언 블랙에이더(Brian Blackader) 파트너는 현재 고객들이 경험하고 있는 실제 상황을 공유했다. 100명의 다른 고객들과 대화해보면 99명이 무언가를 하고 있다고 말할 것이라고 했다.
가장 많은 관심을 받는 부분은 코파일럿, 챗봇, 음성봇에 관한 것이다. 최근 조사에 따르면 대화하는 고객들의 95%가 여전히 파일럿 단계에 머물러 있고, 단지 5%만이 확장 단계에 있다. 따라서 이는 쉽지 않은 일이다. 하지만 성공하는 기업들의 성과는 정말 인상적이다.
에이전트들이 고객과 더 나은 경험을 더 빠르게 창출하기 위한 정보를 제공받는 코파일럿 솔루션과 AI 코칭 같은 것들은 실제로 더 많은 견인력을 얻고 있으며, 사용 사례에 따라 현재 30%에서 45% 사이가 확장 단계에 있다.
덜 명백하지만 효과적인 적용 영역
전통적인 고객 관리 공간을 벗어나 백오피스나 미드오피스 기능으로 확장되는 덜 명백한 영역에서 더 많은 견인력을 보이고 있다. 한 가지 예는 에이전트들을 위한 코칭이다. 북미와 유럽의 통신회사들과 함께 작업하면서, 콜센터와 현장 서비스 에이전트들을 위한 코칭과 학습 기회를 식별하는 알고리즘을 구축했다.
이 기술은 개입하여 “특정 유형의 통화나 현장에서 다루고 있는 특정 문제가 있는데 당신이 잘 처리하지 못하고 있다”고 말할 수 있다. 해당 직원을 위한 맞춤형 학습 여정을 제작하고 그 효과를 검토했다. 12-15주 기간 동안 알고리즘은 작은 비디오부터 PDF까지 다양한 콘텐츠를 에이전트에게 정기적으로 푸시하여 도움을 주었다. 이러한 콘텐츠들은 일주일에 몇 번씩 정기적으로 2-3분 정도 소비할 수 있는 것들이었다.
측정 가능한 성과 지표
이러한 조직들에서 전반적인 개선이 나타나고 있지만, 실제로 달러 가치를 연결할 수 있는 첫 번째이자 가장 명백한 것은 평균 처리 시간의 단축이다. 즉, 누군가가 문의를 처리하는 데 걸리는 시간이 줄어들고 있다. 하지만 고객 관점에서 더 중요한 것은 첫 연락 해결률이 개선되고 있다는 것이다. 이는 사람들이 처음에 문제를 해결했기 때문에 문제를 해결하기 위해 다시 전화할 필요가 없다는 의미이다.
CIO와 COO 간의 협력 강화
AI 구현에서 오랫동안 지속되어온 문제 중 하나는 최고운영책임자(COO)와 최고정보책임자(CIO) 간에 필요한 협력이다. 체타 파트너는 CIO와 COO 간의 정렬이 성공에 매우 중요하다고 강조했다. 이것 없이는 기업들이 실행을 저해하고 궁극적으로 비즈니스 가치를 희석시킬 수 있는 부정렬의 위험에 직면한다고 했다.
성공적인 기업들은 두 부문 간의 공동 결과 소유권을 보장한다. 그들은 비즈니스 결과를 정렬하고 KPI와 인센티브를 해당 목표에 연결한다. AI는 IT에만 고립되지 않고 운영에 완전히 통합된다. 또한 의사결정에 협력을 내재화할 필요가 있다. 기술에 관한 것이 아니라 영업과 같은 다양한 기능 영역의 운영이 AI 의사결정을 안내하여 일상 운영을 방해하기보다는 향상시키도록 하는 피드백 루프를 만드는 방법이다.
실용적 의미와 성과 관리 프레임워크
에이전틱 AI를 실제로 생각하고 구현하기 위해서는 이를 팀 멤버로 생각해야 한다. 이 경우의 추진력은 “어떤 업무를 위임할 수 있고, 어떻게 성공을 측정할 것인가?”였다. AI 에이전트들이 지원에서 워크플로우를 완전히 소유하는 것으로 진화하고, 인간은 감독하고 필요한 경우에만 개입하면서, COO와 CIO 및 그들의 팀은 실시간 피드백을 제공하는 성과 관리 프레임워크를 설계하기 위해 긴밀히 협력해야 한다.
구체적인 프레임워크는 민첩성을 지원하고 디지털 또는 하이브리드 인력의 변화하는 역학에 적응해야 한다. 이를 통해 두 팀 모두 성과 격차를 추적하고, 프로세스를 개선하거나 재정의하며, 인간의 감독이 자동화와 적절한 균형을 유지하도록 할 수 있다.
조직 구조의 변화와 새로운 협력 모델
과거에는 CIO의 업무가 끝나는 지점과 COO의 업무가 시작되는 지점이 더 명확했다. 인프라가 작동해야 하고, 전화 시스템이 작동해야 하며, CRM이 있어야 하는 등이 CIO의 업무였고, 운영은 경험을 제공해야 했다. 새로운 기술이 경험을 제공하면서 이러한 전통적인 경계선들이 흐려지고 있다.
현재 보고 있는 것은 COO와 CIO, 또는 기술 역할의 사람들과 운영의 사람들이 실제로 팀으로 함께 일해야 한다는 것이다. 에이전틱 AI나 다른 기술 솔루션의 구현을 순전히 기술 구현 프로젝트로 만든다면, 실패할 가능성이 높다. 안전하고 다른 모든 시스템과 통합되도록 하는 것은 CIO의 업무이고, 운영은 임팩트를 제공하고 이러한 것들에 대한 ROI가 있도록 해야 한다.
미래의 고객 경험 혁신
코수브 CEO는 고객 경험이 이전보다 더 급격하게 변화할 것이라고 예측했다. 모든 홈페이지, 모든 앱, 모든 고객 접점이 향후 3-5년 내에 다르게 보일 것이다. 모든 접점이 대화형이 될 것이며, 각각에서 개인 AI 에이전트가 고객과 대화할 수 있을 것이다.
항공사에 전화하는 상황을 상상해보자. 현재는 아마도 15분 동안 줄을 서서 기다린 다음, 전화할 때마다 다른 사람과 대화할 것이다. 하지만 이제 항공사에 전화하면 1초 후에 개인 AI 에이전트가 전화를 받아 “안녕하세요, 크리스천, 어떠세요? 뉴욕에서 샌프란시스코로 가는 다음 항공편을 비즈니스 클래스로 업그레이드할지 결정하셨나요? 아니라면 괜찮습니다. 20분 후에 다시 전화해 주세요”라고 말할 것이다.
20분 후에 같은 개인 AI 에이전트가 다시 전화를 받을 것이고, 1초 후에 같은 맥락을 가진 AI 에이전트가 “안녕하세요, 크리스천, 결정하셨나요? 항공편 업그레이드를 도와드릴 수 있습니다”라고 말할 것이다.
다중 채널 통합 서비스
전화를 원하지 않는다면 스마트폰을 꺼내서 WhatsApp이나 iMessage에 메시지를 써서 항공편 업그레이드에 대해 채팅할 수도 있다. 채팅이나 전화를 원하지 않는다면, 다음 주 월요일에 개인 AI 에이전트가 전화를 걸어 “안녕하세요, 크리스천, 비즈니스 클래스에 단 두 자리만 남았습니다. 그 중 하나를 원하시나요? 그렇지 않으면 다른 사람에게 그 자리를 줄 예정입니다”라고 말할 수도 있다.
이는 고객과 회사 간의 완전히 다른 관계이다. 항공사가 1억 명의 고객을 가지고 있다면, 1억 명의 개인 AI 에이전트를 갖게 될 것이다. 그리고 이러한 개인 AI 에이전트들은 전체 고객 여정을 따라 고객들을 안내하며 단순히 고객 지원만 하는 것이 아니다. 그들은 영업 마케팅을 하고 있다. 그들은 관계를 구축하고 있다.
인재 전략의 혁신적 변화
체타 파트너는 오랫동안 엔지니어부터 데이터 사이언티스트, 사이버보안 전문가 등에 이르기까지 기술 인재의 필요성에 대해 이야기해왔지만, 조직이 인재 혁명에 대해 전체적으로 어떻게 생각해야 하는지에 대한 관심은 상대적으로 적었다고 지적했다. 현재는 마침내 그것에 대해 이야기하기 시작했고 기술 전문가들에 대한 이야기는 줄어들고 있다.
기업들이 전체 인력 구조를 재고하고, 역할을 어떻게 할당할지, 어떤 기술이 필요한지, 팀이 AI 및 에이전트와 함께 일하도록 어떻게 최적화될지, 그리고 혼합된 인간-디지털 인력을 어떻게 관리할지에 대한 더 많은 논의가 되어야 한다.
실제 도전은 운영 인재를 AI를 보완하도록 적응시키는 방법의 문제로 판명되고 있다. 성공적인 기업들이 이에 접근하는 다양한 방법들이 있는데, 인력 전반에 걸친 문해력 구축부터 역할 재구성까지 모든 것을 포함하는 재교육과 업스킬링이 있다. 반복적인 일상 업무를 제거하는 것뿐만 아니라 관계 관리, 전략적 사고, 복잡한 문제 해결로 초점을 이동시키는 것이다.
구현을 위한 핵심 과제들
블랙에이더 파트너는 기업들이 이 비전을 현실로 만들기 위해 먼저 올바르게 해야 할 중요한 것들을 세 가지를 제시했다.
첫 번째는 보안과 규제에 관한 것이다. 안전하고 보안이 확보되도록 하고, 잘못된 일을 해서 규제 당국의 문제가 되지 않도록 하는 것이다. 대부분의 기업 고객들이 이 점에서 상당히 보수적이라는 것이 밝혀졌다. 그들은 규제 당국이 자신들을 괴롭히는 것을 원하지 않는다.
두 번째는 데이터와 시스템에 관한 것으로, 특히 기업 부문에서 그렇다. 콜센터 에이전트들과 고객 관리에서 일하는 사람들은 업무를 수행하기 위해 다양한 시스템과 데이터 세트를 다뤄야 한다. 에이전트가 최대 7-10개의 시스템에 액세스해야 하는 경우를 자주 본다. 데이터는 종종 좋지 않고 단편화되어 시스템 전반에 분산되어 있을 수 있다.
세 번째 범주는 콜센터에서 많은 시간을 보내지 않는 사람들에게는 덜 명백하지만 콜센터에서 일해본 사람에게는 명백한 것으로, 에이전트가 하는 일 중 상당 부분이 어디에도 문서화되어 있지 않다는 것이다. 최근 소규모 연구에서 콜센터에서 일하는 응답자의 거의 70%가 매일 하는 일의 최소 25%가 어디에도 문서화되어 있지 않다고 말했다. 이는 세대를 거쳐 전해지고 이전에 그 자리에 앉았던 사람으로부터 전해지는 민간전승과 같다.
시작을 위한 실용적 조언
각 전문가들이 제시한 기업들이 현재 여정을 시작해야 할 지점에 대한 조언은 다음과 같다.
체타 파트너는 “장기적으로는 자동화와 파괴를 위해 설계하되, 단기적으로는 구성 요소에 집중하라”고 조언했다.
코수브 CEO는 “항상 작게 시작하고, 첫 번째 시스템을 통합하고, 빠르게 학습하고, 크게 생각하라. 이는 모든 기업이 고객 경험에서 큰 도약을 할 수 있는 기회이기 때문이다”라고 말했다.
블랙에이더 파트너는 “크게 생각하고 비전을 갖는 것이 중요하지만, 실질적인 결과를 보여줄 수 있는 것으로 시작할 수 있는 것도 매우 중요하다. 이와 관련하여 기술이 해결책이라고 믿는 것은 아마도 시작하는 잘못된 방법일 것이다. 그것은 그것의 일부이다. 변화 관리, 사람들의 행동 변화, 그리고 운영이 어떻게 작동하는지 실제로 이해하는 것이 똑같이 중요하다”고 강조했다.
관련참고기사:The future of customer experience: Embracing agentic AI