[Bain] 미국 기업들의 생성형 AI 도입 성과 (25.05)

핵심 요약

생성형 AI의 도입이 급속히 확산되고 있습니다. 미국 기업의 95%가 이를 도입했으며, 이는 1년 새 12%포인트 증가한 수치입니다. 실제 운영 단계에 적용된 활용 사례는 두 배로 늘었으며, 그중 IT 분야가 가장 빠른 성장세를 보이고 있습니다.

 

 

• 전체 사용 사례의 80% 이상이 기대에 부합하거나 기대를 초과했으며, 만족한 기업의 약 60%는 실질적인 비즈니스 성과를 보고했습니다.
  
  
• 활용 규모가 커지면서 인재 부족과 벤더 관련 문제가 드러나고 있으며, 보안, 산출물 품질, 리더십의 지원 부족에 대한 우려는 도입 속도를 늦출 수 있습니다.
  
  
• 투자 역시 급증하고 있습니다. AI 예산은 지난 1년간 두 배로 증가했으며, 향후 투자금의 60%는 기존 일반 예산에서 집행될 것으로 보입니다.

 

 

 

목차

1. 생성형 AI의 성장세
2. 생성형 AI 성장을 늦추는 요인
3. 비즈니스 성과
4. 투자 성과

 

이 글은 Bain & Company가 2025년 5월에 발행한 "Generative AI’s Uptake Is Unprecedented Despite Roadblocks"를 의역한 글입니다.

 

아티클의 정확한 내용이 궁금하신 분들은 원문(영어)을 참고해 주세요.

 

 

---

1. 생성형 AI의 성장세

생성형 AI는 이제 비즈니스의 필수 요소로 자리 잡고 있습니다. 미국 기업의 95%가 이를 사용하고 있으며, 이는 1년 전보다 12%포인트 증가한 수치입니다.

 

생성형 AI 도입의 깊이도 증가하고 있습니다. AI가 실무에 투입된 평균 활용 사례 수는 2023년 10월부터 2024년 12월 사이에 두 배로 늘었습니다(Figure 1 참고).

 

 

베인의 조사에 따르면, 여전히 소프트웨어 코드 개발이 가장 널리 활용되는 분야이지만, IT 부문에서 가장 빠른 성장이 나타났습니다.(Figure 2 참고)

 

 

대부분의 사용 사례는 생산성 향상과 비용 절감을 목표로 하지만, 매출 성장에 초점을 맞춘 사례도 적지 않습니다.

 

불과 1년여 만에 AI를 최우선 과제로 꼽은 기업의 비율은 9%에서 15%로 증가했습니다. 구현 로드맵을 명확히 가진 기업의 비율도 18%포인트 증가해 절반에 달했습니다.

 

하지만 이것은 여전히 절반의 기업이 명확한 실행 계획 없이 움직이고 있다는 것을 의미하기도 합니다.

 

---

 

2. 생성형 AI 성장을 늦추는 요인

보안과 프라이버시 문제는 특히 생성형 AI를 선도적으로 도입한 기업들 사이에서 더욱 부각되고 있습니다(Figure 3 참고).

 

 

반면, 정확성에 대한 우려는 점차 완화되고 있어, 기업들이 생성형 AI의 결과물에 대한 신뢰를 쌓아가고 있음을 시사합니다.

 

도입 초기 단계에 있는 기업들은 조직의 준비 상태와 그에 따른 장애 요인을 더 크게 우려하는 반면, 도입이 성숙 단계에 접어든 기업들은 데이터 보안, 프라이버시, 출력 품질 및 정확성에 더 집중하는 경향을 보입니다.

 

마지막으로, 기술 확산은 여전히 어려운 과제로 남아 있습니다. 75%의 기업이 핵심 기능 전반에서 필요한 사내 전문 인력을 확보하는 데 어려움을 겪고 있다고 답했습니다.

 

---

 

3. 비즈니스 성과

초기 결과는 비교적 명확합니다. 생성형 AI는 실질적인 성과를 내고 있습니다. 전체 사용 사례 중 80% 이상이 기대에 부합하거나 기대를 초과했으며, 성과에 만족한 기업 중 거의 60%는 비즈니스 성과 또한 향상되었다고 보고했습니다(Figure 4 참고).

 

 

생성형 AI를 본격적으로 확산한 기업 중 약 90%는 기술이 목표를 충족하거나 초과 달성했다고 응답했습니다.

 

기술에 실망한 기업들 간에도 경험에는 차이가 있습니다. (Figure 5 참고)

 

 

파일럿 단계 사용자와 운영 단계 사용자 모두 낮은 성능과 데이터 비호환성을 공통적으로 지적했지만, 파일럿 단계의 기업은 프로세스 재설계나 리더십의 지지 부족을 더 큰 문제로 보았고, 운영 단계에 진입한 기업은 낮은 품질의 벤더 문제를 주로 언급했습니다.

 

이러한 벤더 문제는 초기에는 파악하기 어려운 경우가 많습니다. 프로젝트가 확장됨에 따라 내부 압박도 커지고 출력 품질 문제도 더욱 뚜렷해져, 성장 과정이 예상보다 더 어렵게 느껴질 수 있습니다.

 

---

 

4. 투자 성과

이러한 난관에도 불구하고, 기업들은 생성형 AI에 대한 재정적·인적 투자를 더욱 확대하고 있습니다.

 

2024년 초 이후 연간 예산은 두 배로 증가하여 현재 평균 1,000만 달러에 달하며, 이는 2024년 2월 대비 102% 증가한 수치입니다(Figure 7 참고).

 

점점 더 많은 기업이 생성형 AI를 표준 운영 방식에 통합하고 있으며, 전체 프로그램 중 60%는 일반 예산을 통해 자금을 조달할 계획입니다.

 

인적 자원에 대한 투자도 빠르게 증가하고 있습니다. 평균적으로 약 160명의 직원이 생성형 AI 업무에 일부라도 시간을 투입하고 있으며, 이는 불과 몇 달 전보다 30% 증가한 수치입니다.

 

이러한 추세는 확고합니다. 이제 과제는 단순한 도입이 아니라, 전략적이고 안전하게, 그리고 적절한 인재와 함께 확산을 실현하는 것입니다.

 

이를 가장 먼저 성공적으로 해내는 기업은 단순히 생성형 AI를 선도하는 데 그치지 않고, 업계 전체의 기준을 새롭게 정의하게 될 것입니다.