[BCG] 우리 팀의 가장 유능한 직원, AI 에이전트 (25.05)

핵심 요약

AI 에이전트 신기술은 단순한 자동화를 넘어 "행동"할 수 있다는 점에서 차별화됩니다. AI 에이전트는 관찰하고, 이해하며, 계획하고, 실행하는 능력이 있습니다.

 

 

• AI 에이전트는 단순한 자동화를 넘어서, 기업이 가장 중요한 비즈니스 목표를 달성할 수 있도록 도와주는 실질적인 가치를 제공합니다.
  
  
• 기업은 AI 에이전트를 독립적인 도구가 아닌, 효율성, 혁신, 성장의 핵심 기반으로 인식하고 받아들여야 합니다.
  
  
• AI 에이전트는 비즈니스 프로세스를 재구성합니다. 따라서, 도입 과정에서 기존 프로세스의 근본적인 원칙과 AI 에이전트로 인해 새롭게 발생하는 과제를 모두 함께 고려해야 합니다.

 

 

목차

1. AI 에이전트의 핵심 역량
2. AI 에이전트의 성과
3. AI 에이전트 도입 체크리스트
4. 조직 운영 효율성의 필수 요소

 

이 글은 BCG가 2025년 5월에 발행한 "Al Agents Can Be the New All-Stars on Your Team"를 의역한 글입니다.

 

아티클의 정확한 내용이 궁금하신 분들은 원문(영어)을 참고해 주세요.

 

 

---

1. AI 에이전트의 핵심 역량

이제 AI 에이전트를 "AI 올스타(All-Stars)"라고 부를 수 있을지도 모릅니다. AI 기술이 진화한 형태인 AI 에이전트는 단순한 예측이나 대화를 넘어, 실제로 비즈니스 프로세스를 재구성하고 실질적인 업무를 수행합니다.

 

이들은 적절한 지시와 감독 아래 실제로 행동하며, 작업을 실행하고 목표를 달성하며, 현실 세계와 상호작용할 수 있다는 점에서 기존 AI와 구별됩니다. AI 에이전트는 기업이 가장 중요한 비즈니스 목표를 달성하는 데 있어 핵심적인 역할을 수행할 수 있는 강력한 도구입니다.

 

사람처럼 텍스트와 이미지를 이해하고 생성하는 능력을 가진 생성형 AI가 등장한 이후, AI 에이전트는 훨씬 더 강력한 혁신으로 주목받고 있습니다.

 

 

대화형 AI가 이해하고 반응하는 데 그친다면, AI 에이전트는 관찰하고, 이해하고, 계획하고, 실제로 행동까지 할 수 있습니다. (Exhibit 1 참고) 이들이 반드시 필요한 이유는 다음과 같은 핵심 역량에 기반합니다:

 

계획 수립과 추론 능력

고도화된 추론 기능을 갖춘 에이전트는 복잡한 목표를 더 작고 실행 가능한 작업 단위로 나누고, 이를 실행하기 위한 계획을 수립할 수 있습니다.

 

행동 중심의 자율성

에이전트는 일정 수준의 자율성을 가지고 작동하도록 설계되어 있으며, 이는 인간 감독자에 의해 설정됩니다.

 

그들은 목표와 주변 환경을 기반으로 스스로 의사결정을 내리고 행동할 수 있습니다. 필요에 따라, 각 단계나 특정 행동 전에 승인 요청을 하도록 설정할 수도 있으며, 시간이 지나며 성능에 대한 신뢰가 쌓이면 자율성을 점진적으로 확대할 수 있습니다.

 

기억과 맥락 유지 능력

에이전트는 긴 시간 동안의 상호작용 속에서 맥락을 추적하고 기억하며, 과거의 행동과 정보를 바탕으로 향후 결정을 내릴 수 있습니다. 이를 통해 복잡하고 다단계로 구성된 작업 흐름도 효과적으로 처리할 수 있습니다.

 

시스템 및 도구와의 통합

에이전트는 다양한 소프트웨어 시스템, 도구, 데이터 소스와 연결되어 이를 활용할 수 있습니다. 덕분에 기존 기술 인프라와 상호작용하며 작업을 수행하는 것이 가능합니다.

 

---

2. AI 에이전트의 성과

BCG는 2023년부터 고객들과 함께 AI 에이전트를 구축하고 이를 실제 업무에 도입하는 프로젝트를 진행해 왔습니다.

 

 

BCG는 30개 이상의 프로젝트에서 활용된 오픈소스 기반 에이전트 구축 툴킷(AgentKit)을 개발했으며, 이 과정을 통해 단순한 자동화를 넘어서 실질적으로 "행동하는" AI 에이전트가 얼마나 큰 변화를 일으킬 수 있는지를 목격했습니다.

 

실제로 BCG의 고객들은 다음과 같은 분야에서 놀라운 성과를 달성했습니다:

 

연구 및 개발(R&D)

한 조선회사는 추론 및 계획 기능이 탑재된 자율적 다중 에이전트 구조를 활용해 선박 설계 업무를 자동화했습니다. 그 결과, 엔지니어링 인력 투입은 45% 감소했고, 선박 갑판 한 개당 리드타임은 80% 단축되었습니다.

 

영업

글로벌 물류 기업은 에이전트를 활용해 제안요청서(RFP) 응답 프로세스를 자동화했고, 이로 인해 30~50%의 효율 향상을 이루었습니다.

 

영업 및 마케팅

동남아시아의 대형 은행은 에이전트를 통해 고객 담당자가 실시간으로 개인 맞춤형 금융 상품을 제안할 수 있도록 지원했습니다. 그 결과, 관리 자산(AUM)은 5~10% 증가했고, 고객 전환율을 4~6배 향상되었습니다.

 

고객 참여

글로벌 화장품 기업은 생성형 AI 기반 뷰티 어시스턴트를 통해 소비자 경험을 혁신했고, 기존 디지털 채널에 비해 전환율을 5~10배 향상시켰습니다.

 

공급망 관리

한 산업재 기업은 에이전트를 활용해 공급망 시뮬레이션을 수행하고 운영 리스크 및 영향을 분석한 후, 대응 방안을 제시함으로써 영업이익률(EBIT)을 3~10%포인트 개선했습니다.

 

이러한 사례들의 공통점은, AI 에이전트가 기존의 불필요하게 나뉘어 있던 워크플로우를 통합하고 불필요한 단계를 제거하며, 조직 구조를 뛰어넘어 비즈니스 프로세스를 재구성했다는 점입니다. 이러한 변혁적인 가치를 실현하려면 기업의 전반적인 비즈니스 목표에 기반한 전략적 접근이 필수적입니다.

 

또한, AI 프로젝트에 대한 자원 배분을 설명하는 '10–20–70 법칙'은 여전히 유효합니다.

 

즉, 전체 노력의 10%는 알고리즘에, 20%는 기술 및 데이터에, 나머지 70%는 사람과 프로세스에 집중해야 한다는 것입니다.

 

에이전트가 리스크 관리와 프로세스 무결성의 세부 영역까지 개입하게 되는 만큼, 책임 있는 AI 활용 원칙을 철저히 지키는 것도 그 어느 때보다 중요해졌습니다.

 

---

 

3. AI 에이전트 도입 체크리스트

AI 에이전트의 성공은 결국 프로세스 재설계에 달려 있습니다. 에이전트를 도입한다는 것은 기존 프로세스의 핵심 원칙을 재검토하고, 에이전트가 초래하는 새로운 과제들에 적극적으로 대응해야 한다는 뜻입니다.

 

프로세스 재설계

잘못된 프로세스를 자동화하면, 결과도 잘못될 수밖에 없습니다. AI 에이전트를 도입하려면 업무 흐름을 처음부터 다시 설계해야 합니다. 불필요한 단계를 제거하고, 역할을 재정의하며, 작업을 통합하고, 자동화 전에 프로세스의 논리적 구조가 탄탄한지 점검해야 합니다.

 

지식의 체계화

AI 에이전트는 지식을 기반으로 작동하기 때문에, 조직은 각 프로세스에 대한 모범 사례(best practice)를 명확히 정의해야 합니다. 이는 전략이나 창의성이 요구되는 부서에서는 특히 중요합니다. 해당 부서의 워크플로우는 비공식적이고 표준화되어 있지 않은 경우가 많기 때문입니다.

 

시스템과 데이터의 품질

AI 에이전트는 다양한 시스템에 접근할 수 있는 능력을 바탕으로 작동하지만, 그 결과물의 품질은 전적으로 시스템 자체와 기초 데이터의 품질에 달려 있습니다. 단순히 정돈된 데이터베이스를 넘어서, 에이전트가 의사결정에 사용하는 예측 모델의 품질까지 포함되어야 합니다.

 

리스크 관리 및 테스트

하나의 대형 또는 소형 언어모델과는 달리, AI 에이전트는 여러 단계를 거치며 작동하고, 때로는 여러 모델을 순차적 또는 병렬로 호출합니다.

 

이는 에이전트의 강력한 기능이기도 하지만, 동시에 책임 있는 AI 구현의 중요성을 높이고, 테스트, 품질 보증, 리스크 관리의 복잡성을 급격히 증가시킵니다.

 

오류 대응, 해석 가능성 확보, 비상 시나리오 대응 트리거, 에이전트의 실행 흐름을 조율하고 모니터링하는 기능 확보는 점점 더 어려운 과제가 됩니다.

 

통합

AI 에이전트는 각 기업의 니즈와 상황에 맞게 맞춤화되어야 합니다. 그럼에도 불구하고, 시판 중인 AI 에이전트 플랫폼은 설치된 워크플로우 빌더를 통해 빠른 배포와 초기 비용 절감을 가능하게 합니다.

 

이후, 각 조직은 고유한 업무 프로세스, 목표, 독점 데이터, 예측 모델에 맞춰 에이전트를 커스터마이징할 수 있습니다. 기업은 내부 개발 역량을 자사만의 차별성을 제공하는 분야에 집중함으로써, 고객에게 독보적인 가치를 제공할 수 있습니다.

 

---

 

4. 조직 운영 효율성의 필수 요소

에이전트를 도입하는 것은 단순히 새로운 기술을 채택하는 일이 아닙니다. 그것은 AI 중심의 미래에 맞춰 비즈니스를 근본적으로 재설계하는 일입니다. (Exhibit 2 참조)

 

 

AI 에이전트는 독립적인 도구로 보는 것이 아니라, 효율성, 혁신, 성장의 핵심 기반으로 받아들이는 것이 중요합니다.

 

대부분의 조직에게 있어, AI 에이전트는 단독으로 경쟁 우위를 지속적으로 창출할 수 있는 수단은 아닐 수 있습니다. 하지만 머지않아 AI 에이전트는 조직 운영의 효율성을 위해 필수적인 요소가 될 것입니다.

 

에이전트가 진정한 차별화를 제공할 수 있는 영역은 다음 세 가지에 달려 있습니다. 1) 핵심 프로세스의 체계화 수준, 2) AI 에이전트의 기반이 되는 데이터의 품질, 그리고 3) 에이전트를 기존 핵심 업무 방식에 얼마나 원활하게 통합할 수 있는가 하는 점입니다.

 

에이전트를 고유 데이터로 강화하고, 의사결정을 정교화하며, 새로운 역량을 비즈니스 목표 달성에 집중시켜 조직의 운영에 성공적으로 정착시킨 기업은 경쟁사가 쉽게 모방할 수 없는 지속 가능한 경쟁 우위를 확보하게 될 것입니다.