2025년 현재, 생성형AI은 전 세계 기업들의 전략 의사결정에서 빠질 수 없는 화두가 되었다. 수많은 기업이 AI 파일럿 프로그램을 도입하며 생산성 향상, 비용 절감, 매출 증대를 노리고 있지만, 실제 성과는 기대에 크게 못 미치고 있다. 최근 MIT 산하 NANDA 이니셔티브가 발표한 보고서는 이러한 현실을 명확히 드러낸다. 연구에 따르면, 기업의 생성형AI 도입 시도 가운데 단 5%만이 빠른 매출 성장으로 이어졌으며, 나머지 95%는 목표 성과를 달성하지 못한 채 정체되거나 무의미한 결과에 그쳤다.
이 보고서는 150명의 경영진 인터뷰, 350명의 직원 설문조사, 그리고 300건의 공개된 AI 도입 사례 분석을 토대로 작성되었다. 결과는 단순히 기술적 한계 때문이 아니라, 기업 내부의 워크플로우 적응 실패와 전략적 자원 배분의 오류가 주요 원인임을 지적한다. 이는 AI가 단순한 도구를 넘어 기업 운영 방식 전반에 어떤 식으로 통합되느냐가 성패를 좌우한다는 점을 시사한다.
성공과 실패를 가르는 ‘95 대 5’의 간극
보고서가 가장 먼저 주목한 것은 압도적인 실패율이다. AI 모델 자체의 성능은 상당히 진보했음에도 불구하고, 실제 기업 성과와 연결되는 사례는 극히 드물다. MIT 연구진의 핵심 메시지는 명확하다. 문제는 AI 모델의 품질이 아니라, 그것을 기업 환경에 맞게 ‘학습시키고 통합하는 능력’이다.
예를 들어, 개인 사용자에게 폭넓게 활용되는 ChatGPT 같은 범용 툴은 유연성과 범용성 덕분에 유용하지만, 기업 차원에서는 오히려 적응에 실패한다. 기존 워크플로우와 데이터 환경에 맞게 최적화되지 않기 때문이다. 따라서 기업이 AI를 단순히 도입하는 것만으로는 성과를 보장할 수 없으며, 이를 조직의 실제 운영 구조에 ‘심층적으로’ 결합해야 한다.
성공하는 기업의 특징
그러나 실패 일색의 통계 속에서도 눈에 띄는 성공 사례가 존재한다. 바로 소수의 스타트업과 일부 대기업의 파일럿 프로젝트다. MIT 보고서의 수석 연구자 아디티야 찰라팔리(Aditya Challapally)는 인터뷰에서 이렇게 설명했다.
“어떤 스타트업들은 0에서 시작해 단 1년 만에 매출 2천만 달러를 달성하기도 했습니다. 그들은 하나의 고통 지점을 정확히 짚고, 집중해서 실행하며, 현명하게 파트너십을 맺었습니다.”
즉, 성공의 핵심은 ‘집중과 실행, 그리고 파트너십’이었다. 모든 분야에 AI를 억지로 적용하려 하기보다, 특정 문제에 집중하고 이를 해결하는 과정에서 적절한 외부 파트너와 협력하는 것이 훨씬 높은 성공 확률을 보장했다.
MIT 데이터에 따르면, 외부 전문 업체의 솔루션을 도입한 기업은 67%의 성공률을 기록한 반면, 내부에서 자체적으로 개발한 경우 성공률은 33%에 불과했다. 특히 금융이나 의료처럼 규제가 강력한 산업에서는 보안 및 규제 위험을 이유로 자체 개발을 선호하지만, 실제 성과로 이어지는 비율은 오히려 낮았다.
자원 배분의 오류
보고서는 또 다른 실패 요인으로 잘못된 투자 우선순위를 지적했다. 전체 AI 예산의 절반 이상이 주로 영업과 마케팅 부문에 쓰였지만, MIT의 분석에 따르면 가장 높은 ROI(투자 대비 수익률)는 백오피스 자동화에서 나타났다.
예컨대 행정 업무 자동화, 외주 업무 제거, 외부 에이전시 비용 절감 같은 영역에서 AI는 직접적인 비용 절감 효과를 창출했다. 반면 마케팅과 영업 부문은 여전히 ‘사람 대 사람’의 상호작용이 핵심이어서, 지나친 자동화가 성과로 연결되기 어려웠다. 이는 많은 기업들이 화려한 ‘고객 접점’ 혁신에 치중하면서, 정작 수익성 개선 효과가 큰 백엔드 자동화를 간과한 결과라 할 수 있다.
조직 구조와 문화의 역할
AI의 성공적인 도입은 단순히 기술적 문제를 넘어 조직 구조와 문화적 적응력에 크게 의존한다. MIT 연구진은 특히 중앙집중식 AI 연구소보다 현장의 라인 매니저에게 권한을 부여하는 방식이 더 효과적이라고 밝혔다. 실제로 일선 부서의 관리자가 직접 AI 도입을 추진하고, 그 부서의 구체적인 업무 흐름에 맞게 적용했을 때 성과가 두드러졌다.
또한 기업 내에서는 승인되지 않은 ‘섀도우 AI(Shadow AI)’ 사용이 확산되고 있다. 이는 직원들이 공식 도구보다 ChatGPT 같은 범용 툴을 개인적으로 활용하는 현상이다. 이는 혁신을 촉진할 가능성이 있지만, 동시에 보안과 규제 리스크를 수반하기 때문에 기업의 관리 역량이 더욱 중요해지고 있다.
고용과 노동시장에 미치는 영향
AI 도입의 영향은 인력 구조 변화에서도 확인된다. 현재까지 보고된 바에 따르면, AI 때문에 직접적인 대규모 해고가 발생한 사례는 드물다. 그러나 많은 기업이 공석을 더 이상 충원하지 않는 방식으로 인건비를 줄이고 있다. 특히 고객 지원, 행정직, 데이터 입력과 같은 저가치 반복 업무가 가장 먼저 영향을 받았다.
MIT는 이를 두고 “대규모 해고가 아니라, 보이지 않는 방식의 고용 축소”라고 설명한다. 하지만 일부 CEO들은 더 비관적인 전망을 내놓고 있다. Anthropic의 다리오 아모데이와 Ford의 짐 팔리 등은 “앞으로 5년 안에 생성형 AI가 화이트칼라 초급 사무직의 절반을 대체할 수 있다”고 경고했다.
차세대 전망: 에이전틱 AI의 부상
보고서는 또한 현재의 생성형AI를 넘어서는 차세대 ‘에이전틱 AI(Agentic AI)’에 대한 실험이 이미 일부 기업에서 진행되고 있음을 언급한다. 이 시스템은 단순히 응답을 생성하는 수준을 넘어, 스스로 학습하고 기억하며, 제한된 범위 내에서 독립적으로 행동할 수 있는 능력을 갖춘다. 이는 향후 기업 운영의 패러다임을 근본적으로 바꿀 수 있는 잠재력을 지니고 있다.
MIT의 이번 연구는 기업들의 AI 도입 현실에 냉정한 경고를 던진다. 화려한 기대와 달리 95%의 실패율은 AI를 단순한 기술적 ‘플러그인’으로 여기는 접근 방식의 한계를 보여준다. 성공하는 기업은 한정된 영역에 집중하고, 적절한 파트너십을 맺으며, 조직 내 현장의 리더십을 활용한다. 반면 실패하는 기업은 무분별한 자체 구축, 잘못된 자원 배분, 규제에 대한 과도한 경계심으로 발목을 잡힌다.
향후 AI가 노동시장과 기업 운영에 미칠 파장은 아직 진행형이다. 다만 확실한 점은, AI의 성패가 단순히 기술의 성능에 달린 것이 아니라, 조직이 이를 어떻게 흡수하고 활용하는가에 있다는 것이다. 앞으로 기업들이 에이전틱 AI와 같은 차세대 기술을 도입할 때도, 이 교훈을 잊지 않는 것이 무엇보다 중요하다.
AI는 기회이자 위협이다. 기업이 올바른 전략과 구조를 갖추지 못한다면, AI는 성과가 아닌 비용으로 남을 수 있다. 결국 AI 도입의 성공 여부는 기술이 아니라 사람과 조직의 선택에 달려 있다.
