[BCG 번역] GenAI Doesn’t Just Increase Productivity. It Expands Capabilities (Part 2)

즉각적인 역량 확장 효과

이번 연구에서 생성형 AI를 사용할 수 있었던 컨설턴트들은 새로운 과제에서 자신의 역량을 즉시 확장할 수 있었습니다.

 

코딩이나 통계에 대한 경험이 전혀 없었던 경우에도, 생성형 AI에 접근할 수 있었던 컨설턴트들은 코드를 작성하고, 머신러닝 모델을 적절히 적용하며, 잘못된 통계 처리 과정을 수정할 수 있었습니다(Exhibit 2 참조).

 

 

 

가장 두드러진 역량 확장 효과는 코딩 영역에서 나타났습니다. 코딩은 생성형 AI가 특히 뛰어난 성능을 보이는 과제입니다.

 

실험 참가자들은 두 개의 판매 데이터 세트에서 누락되었거나 잘못된 데이터를 수정하고, 두 세트를 병합한 후, 특정 월에 해당하는 상위 5명의 고객을 추출하는 코드를 작성하라는 어려운 과제를 받았습니다.

 

 

생성형 AI를 사용한 참가자들은 데이터 과학자들이 설정한 기준 대비 평균 86%에 해당하는 점수를 기록했습니다. 이는 생성형 AI를 사용하지 않은 참가자들에 비해 49퍼센트포인트 높은 수치였습니다. 또한 생성형 AI를 활용한 그룹은 이 작업을 데이터 과학자들보다 약 10% 더 빠르게 완료했습니다.

 

코딩을 한 번도 해본 적이 없던 컨설턴트조차도, 생성형 AI를 사용한 경우 데이터 과학자의 기준 대비 84% 수준에 도달했습니다.

 

한 참가자는 이렇게 말했습니다. "저는 코딩을 할 줄 모르지만, 지금은 마치 코딩을 할 수 있는 사람이 된 느낌입니다! 혼자서는 절대 불가능한 결과를 만들었어요."

 

 

반면, 생성형 AI 없이 작업한 참가자들은 대부분 파일을 열고 첫 번째 '지저분한' 데이터 필드를 정리하는 수준에 그쳤으며, 데이터 과학자의 기준 대비 단 29%의 성과만을 달성했습니다.

 

 

대부분의 컨설턴트들은 데이터 정리에 대한 기초 지식을 가지고 있으며, Alteryx와 같은 노코드(no-code) 도구를 사용하여 이러한 작업을 수행한 경험이 있습니다.

 

따라서 파이썬을 이용한 코딩 작업은 처음이었더라도, 정답이 어떤 형태일지는 어느 정도 알고 있었던 것입니다. 이는 생성형 AI로 증강된 근로자에게 매우 중요한 요소입니다.

 

만약 도구의 출력을 감독할 수 있을 만큼의 지식이 없다면, 그 도구가 명백한 오류를 범하더라도 이를 인지할 수 없습니다.

 

---

 

강력한 브레인스토밍 파트너

예측 분석 과제는 참가자와 생성형 AI 모두에게 어려운 과제였습니다. 하지만, 이 경우에도 생성형 AI는 브레인스토밍 파트너로서 가치가 있었습니다.

 

모든 과제는 생성형 AI가 단독으로 해결할 수 없도록 설계되었지만, 예측 분석 과제는 특히 참가자의 적극적 개입이 필요했습니다.

 

실험 참가자들은 국제 축구 경기 데이터를 활용해 투자 전략을 수립하는 예측 모델을 생성해야 했고, 그 모델이 실제로 투자 결정에 사용할 만큼 신뢰할 수 있는지를 평가해야 했습니다.

 

 

Exhibit 2에 따르면, 이 과제는 생성형 AI를 사용한 컨설턴트가 데이터 과학자 수준의 성과를 내기 가장 어려웠던 과제였습니다.

 

이는 참가자가 프롬프트를 전체 복사해 그대로 입력할 경우, 생성형 AI가 최종 목적을 정확히 이해하지 못할 가능성이 높기 때문입니다. 그 결과, 생성형 AI를 사용한 참가자들이 오히려 잘못된 방향으로 이끌릴 가능성이 더 컸습니다.

 

 

그럼에도 불구하고, 생성형 AI의 지원을 받은 참가자 중 상당수는 자신의 익숙한 영역을 벗어나 도전할 수 있었습니다.

 

이들은 생성형 AI와 함께 브레인스토밍을 진행하며, 자신과 AI의 지식을 결합해 새로운 모델링 기술을 발견하고 문제 해결의 적절한 단계를 찾아냈습니다.

 

생성형 AI를 활용한 참가자는 비활용자보다 머신러닝 기법을 적절히 선택하고 적용할 가능성이 15퍼센트포인트 더 높았습니다.

 

---

 

재학습? 생성형 AI와 함께일 때만 가능

생성형 AI는 새로운 과제에 대한 수행 능력을 즉시 향상시켰지만, 그렇다고 해서 참가자들이 재학습되었다고 할 수 있을까요?

 

재학습은 새로운 직무나 산업으로 이동할 수 있도록 새로운 역량이나 지식을 갖추는 것을 의미합니다.

 

 

연구 결과에 따르면, 생성형 AI를 활용한 참가자들은 인간이나 AI 단독으로는 할 수 없는 새로운 역량을 획득했다는 점에서 일종의 재학습이 이루어졌다고 볼 수 있습니다.

 

그러나 생성형 AI는 어디까지나 외골격일 뿐이며, 생성형 AI와 함께 작업을 수행했다는 것이 곧 학습이 이루어졌다는 의미는 아닙니다.

 

 

참가자들은 세 가지 과제 중 두 개만 배정받았지만, 실험 종료 후에는 세 과제 모두와 관련된 문항을 포함한 종합 평가를 받았습니다.

 

예를 들어, 코딩 과제를 수행하지 않은 참가자에게도 코딩 문법에 관한 문제가 출제되었습니다. 그 결과, 실제로 코딩 과제를 수행한 참가자와 그렇지 않은 참가자의 평가 점수는 차이가 없었습니다.

 

다시 말해, 데이터 과학 과제를 수행했다고 해서 코딩과 관련된 지식이 향상된 것은 아니었습니다.

 

 

물론 이들은 각 과제를 90분 안에 마쳐야 했습니다. 반복 학습이 있었다면 더 많은 학습이 이루어졌을 수 있습니다.

 

또한 우리는 참가자들에게 사후 테스트가 있다는 사실을 사전에 알리지 않았기 때문에, 학습에 대한 동기가 있었다면 결과가 달라졌을 가능성도 있습니다.

 

중요한 점은, 특정 주제에 대한 최소한의 배경 지식이 실제 성과에 영향을 준다는 것입니다.

 

 

실제로 생성형 AI를 사용할 수 있었던 참가자 중에서도, '나는 초보자다'라고 자평한 이들보다 '중간 수준의 코딩 경험이 있다'고 평가한 이들이 세 과제 모두에서 10~20퍼센트포인트 더 높은 성과를 냈습니다. 심지어 이 중 한 과제는 코딩이 전혀 필요 없는 과제였습니다.

 

이러한 결과를 바탕으로 우리는 코딩 그 자체보다는 코딩이 길러주는 엔지니어링적 사고방식—예를 들어 문제를 작은 구성 요소로 나누고 이를 점검하고 수정하는 능력—이 더욱 중요하다는 결론을 내릴 수 있습니다.

 

 

그렇다면 코딩을 완전히 자동화해버리면 어떤 일이 벌어질까요? 사람들은 이러한 사고방식을 아예 기를 기회조차 갖지 못할 수 있습니다.

 

개발 자체가 필요 없어지는 환경에서는, 이 능력을 어떻게 유지할 수 있을까요? 이는 더 큰 질문으로 이어집니다. ‘자동화할 수 있는 기술’ 중에서도, 이렇게 중요한 사고능력을 기르는 데 쓰이는 기술들은 어떻게 다뤄야 할까요?

 

이러한 기술들이 결국에는 단지 사고방식을 훈련시키기 위한 수단으로만 존재하게 되는, 일종의 ‘현대판 라틴어’가 되어버릴지도 모릅니다.