쇼피파이의 AI트랜스포메이션 -AI 실험을 위한 인프라 구축: LLM 프록시와 MCP(3편) –

쇼피파이(Shopify)는 몇 년 전, AI에 전사적으로 집중하겠다는 과감한 결정을 내렸다. 이커머스 거인인 쇼피파이가 AI 기술을 수용하는 방식과 그 결과는 주목할 만하다. AI 기술이 단순히 코딩 도구를 넘어 기업의 문화, 채용, 그리고 업무 방식 자체를 바꿔 나가고 있으며, 쇼피파이는 AI 연구소와의 긴밀한 협력, 비엔지니어링 부서의 AI 도구 활용, 그리고 파격적인 인턴 채용 프로그램 등 독특한 방식으로 AI 시대를 선도하고 있다.

쇼피파이는 직원들이 AI를 안전하고 효율적으로 사용할 수 있도록 내부 인프라 구축에 일찍부터 투자했다. 대표적인 것이 LLM 프록시(LLM Proxy)다. 이는 직원들이 챗GPT나 클로드 같은 외부 서비스에 고객 데이터나 내부 민감 정보를 실수로 유출하는 것을 방지하기 위해 만들어졌다. 모든 AI 모델 API는 이 프록시를 통해 접근되며, 직원들은 개인 토큰을 발급받아 사용한다.

이 프록시는 단순히 보안 기능만 제공하는 것이 아니다. 어떤 팀이 얼마나 많은 토큰을 사용하는지 추적하고, 이를 통해 비용을 관리하며, 사용량에 대한 리더보드를 만들어 가장 많은 토큰을 사용한 직원을 공개적으로 축하하기도 한다. 이는 AI 활용에 드는 비용을 절감의 대상이 아닌, 생산성 향상을 위한 투자로 보는 쇼피파이의 관점을 보여준다. 파르한 타바르는 “엔지니어의 생산성을 10% 높일 수 있는 도구에 월 1,000달러를 쓰는 것은 너무 저렴하다”고 말하며, AI 도구에 대한 비용을 아끼지 말아야 한다고 강조했다.

또 다른 핵심 인프라는 MCP(Model Component Provider)다. MCP는 회사의 다양한 내부 데이터를 AI가 쉽게 접근하고 활용할 수 있도록 표준화된 엔드포인트를 제공하는 기술이다. 쇼피파이는 사내 위키인 ‘볼트(The Vault)’, 피그마, 세일즈포스 등 거의 모든 내부 시스템 앞에 MCP를 구축했다. 덕분에 직원들은 사내 챗봇인 ‘리브라챗(LibraChat)’을 통해 “쇼피파이의 오프라인 결제 시스템(Point of Sale)은 언제 출시되었나요?”와 같은 복잡한 질문을 던지면, 관련된 모든 내부 문서, 회의록, 이사회 자료를 종합하여 마치 ‘사내용 퍼플렉시티(Perplexity)’처럼 정확한 답변을 얻을 수 있다.

관련참고기사:Farhan Thawar와 함께 Shopify의 소프트웨어 엔지니어링을 변화시키는 AI

AI트랜스포메이션 교육이 필요하신가요?

기업의 AI트랜스포메이션 추진에 필요한 AI트랜스포메이션 전략, AI리터러시, AI비즈니스모델 구축
AI마케팅, 생성형AI활용까지 AI트랜스포메이션 역량강화에 필요한 방법을 배울 수 있습니다.

Similar Articles

AI트랜스포메이션 뉴스레터

국내외 주요 금융, 리테일, 제조 기업 등의 AI트랜스포메이션 전략추진, 프로젝트사례, 역량강화방법 등의 최신 정보를 뉴스레터(News Letter)로
매주 받아 보실 수 있습니다.

최신 Article

error: Content is protected !!