예측 정확도가 낮은 이유, 혹시 '데이터' 말고 '모델' 때문은 아닐까요?

수요예측 시스템을 도입해도 기대만큼의 예측 정확도가 나오지 않는다는 이야기를 자주 듣게 됩니다. 대부분 이런 상황에서 가장 먼저 의심하는 건 '데이터 품질'입니다. 데이터가 부족하거나, 누락된 정보가 많거나, 이상치가 포함돼 있을 거라고 생각하죠. 물론 데이터 품질이 중요한 건 사실입니다. 하지만 아무리 데이터를 꼼꼼하게 정제하고 보완해도 예측 정확도가 좀처럼 오르지 않는다면, 문제는 다른 곳에 있을지도 모릅니다. 바로 예측에 사용하는 ‘모델’ 그 자체입니다.

최근 연구들을 보면, 흥미로운 사실을 알 수 있습니다. 수요예측의 정확도를 결정짓는 핵심은 데이터 자체가 아니라, 수집된 데이터의 특성에 얼마나 잘 맞는 모델을 고르느냐에 달려 있다는 겁니다. 첨단 머신러닝이나 딥러닝 모델이 평균적인 정확도를 높이긴 했지만, 데이터가 희소하거나 간헐적으로 발생하거나 극단적인 수요를 보이는 상황에서는 여전히 일관적으로 잘 맞추지 못합니다. 실제로 멜버른 대학에서 2024년에 진행된 물 수요 예측 연구에서도, 여러 최신 머신러닝 모델들이 평균적으로는 좋은 성과를 냈지만 아주 높거나 낮은 수요를 예측하는 데는 대부분 실패했습니다. 이것은 데이터가 잘못된 게 아니라 데이터 패턴에 어울리지 않는 모델을 선택했기 때문입니다.

많은 기업들은 전통적인 통계 기법이나 비교적 단순한 머신러닝 모델로 수요예측을 시도합니다. 반복되는 규칙적인 패턴에서는 이런 모델들이 잘 맞지만, 현실에서 마주하는 복잡한 비즈니스 환경까지 제대로 담아내는 경우는 드뭅니다. 국제 학술지에 실린 여러 연구들을 보면, 데이터 특성과 모델의 불일치, 과적합이나 과소적합, 극단 상황 처리 한계, 외부 변수 활용 부족, 모델 해석의 어려움 등이 예측 정확도를 떨어뜨리는 주요 원인으로 지적됩니다. 다시 말해, 아무리 좋은 데이터를 갖고 있어도 그 특성에 꼭 맞는 모델을 고르지 못하면 원하는 만큼 정확한 예측을 하기 어렵다는 뜻입니다.

‍

AI의 핵심은 데이터, 그러나 데이터가 다는 아닙니다

좋은 데이터는 정확한 예측의 첫걸음입니다. 예를 들어, 과거 판매 기록이나 재고 상황, 시장 동향 같은 자료가 충분히 모여 있으면 분명 큰 도움이 되죠. 하지만 아무리 데이터가 많아도, 그 안에서 의미 있는 미래의 흐름을 읽어내는 일은 결국 모델이 해야 할 일입니다.

예시로 한 의류 브랜드를 생각해볼 수 있습니다. 이 브랜드가 지난 3년간 쌓아온 판매 데이터를 가지고 있다고 해보겠습니다. 여기에 계절별 판매량, 프로모션 기록, 날씨 정보까지 포함되어 있다고 합시다. 이런 데이터를 단순 회귀 모델에 넣으면, 평균적인 판매 추세 정도는 파악할 수 있습니다.

하지만 갑자기 유행이 바뀌거나, 경쟁사가 새로운 제품을 내놓거나, SNS에서 특정 상품이 화제가 되는 등 다양한 변화가 생기면 이야기가 달라집니다. 데이터는 충분히 있어도, 이런 복잡한 변화까지 읽어낼 수 있는 모델을 고르지 못하면 제대로 된 예측을 기대하기 어렵습니다. 데이터만으로는 한계가 있고, 마지막에는 모델 선택이 중요한 역할을 합니다.

‍

정확도가 낮은 예측 모델이 놓치고 있는 것들

과적합과 과소적합의 함정

최근 연구에서 가장 많이 지적하는 문제는 모델이 데이터의 패턴과 잘 맞지 않을 때 발생한다는 점입니다. LSTM 같은 딥러닝 모델이 전형적인 패턴은 잘 익히지만, 표본 밖의 극단적인 값이나 구조가 갑자기 바뀌는 상황에는 약하다는 사실을 알 수 있습니다. 이런 현상은 모델이 '정상' 상태에서 발생하는 노이즈까지도 지나치게 학습해버리는 과적합 때문입니다.

반대로, 단순한 통계 모델이나 얕은 수준의 머신러닝 모델은 데이터 안에 숨겨진 복잡한 구조를 잘 잡아내지 못합니다. 예를 들어, 계절성이나 프로모션, 외부 요인들 사이에 비선형적인 상호작용이 일어나는 다변량 시계열 데이터에서는, 오히려 중요한 패턴을 놓치면서 과소적합 문제가 생깁니다. 간헐적 수요 예측 관련 연구를 보면, 머신러닝 모델이 데이터가 희소하고 엔트로피가 높을 때, 신뢰할 만한 파라미터 추정이 어렵고 예측 또한 불안정해진다는 점이 드러나 있습니다.

결국 모델의 복잡도와 데이터의 특성이 잘 맞지 않으면 이런 문제가 생깁니다. 모델이 너무 복잡하면 불필요한 잡음까지 따라 배우고, 너무 단순하면 알아야 할 중요한 패턴조차 놓칩니다. 단순히 데이터를 더 많이 모은다고 해결되는 게 아니라, 데이터의 복잡도와 패턴에 가장 잘 어울리는 모델을 고르는 게 무엇보다 중요합니다.

극단값과 변동성 예측의 어려움

실무에서 정말 중요한 순간은 평소와 같은 평균적인 상황보다, 오히려 수요가 갑자기 급증하거나 급감하는 극단적인 상황입니다. 불규칙한 패턴이 나타나는 그 짧은 순간들이 재고 관리나 생산 계획에 훨씬 더 큰 영향을 미치죠. 실제로 2024년 멜버른에서 진행한 물 수요 연구도 이런 점을 보여줍니다. 다양한 최신 머신러닝 모델들이 전체적으로는 좋은 성능을 보였지만, 수요가 비정상적으로 높거나 낮을 때는 예측이 자주 빗나갔습니다.

기존 머신러닝 아키텍처는, 수요가 한동안 아예 없다가 갑자기 확 늘어나는 식의 불규칙한 패턴을 처리하도록 설계되지 않았습니다. 그러다 보니, 정작 운영에서 가장 민감한 순간에 정확도가 떨어질 수밖에 없습니다.

체제 전환이나 구조적 단절 역시 간과할 수 없는 위험요소입니다. 딥러닝 기반 부하 및 수요 예측에 대한 여러 리뷰 논문들도 이런 부분을 지적하고 있습니다. 과거 데이터를 바탕으로 학습한 모델은 소비자 행동이 변하거나 정책이 바뀌거나, 외부 충격이 생길 때 성능이 크게 흔들릴 수 있습니다. 사실 표준 아키텍처에는 이런 변화의 순간을 감지하거나 대응하는 메커니즘이 명확히 들어가 있지 않기 때문이죠.

외부 변수 영향을 제대로 녹여내지 못하는 모델

수요는 단순히 과거 판매량만으로 정해지지 않습니다. 경제 성장률, 환율 변화, 유가, 정책 변화처럼 다양한 외부 요인이 함께 작용하죠. 하지만 많은 전문가들은 여전히 많은 모델이 주로 과거 데이터를 외삽하는 수준에 머물러 있고, 인과 구조를 충분히 반영하지 못한다고 지적하고 있습니다.

수요예측에 주로 활용되는 Decision Tree 기반 모델을 예시로 살펴보겠습니다. 이 모델들은 머신러닝이 이론적으로는 날씨, 거시경제 지표, 소셜 데이터 등 여러 외부 변수를 처리할 수 있음에도 불구하고, 실제로는 과거 수요에만 크게 기대는 경향이 여전하다고 합니다. 이 때문에 모델이 가질 수 있는 이점도 자연히 줄어들죠. 또, 프로모션이나 가격 변동, 일회성 캠페인처럼 수요에 영향을 미치는 여러 개입 요소도 단순하게 코딩되는 경우가 많습니다. 예를 들어 프로모션 여부를 단순히 한 줄의 플래그 값으로 알려주기만 하면, 모델이 프로모션 기간 동안의 수요 상승이나 종료 이후의 변화 등의 패턴을 제대로 파악하지 못하기 때문에 이를 방지하기 위한 추가적인 데이터 보정 작업이 필요합니다.

2025년에 발표된 Nature 논문에서는 하이브리드 가중 앙상블 프레임워크가 중요한 시사점을 제시했습니다. 시간에 따라 변화하는 양상과 여러 입력 변수의 영향을 각기 잘 반영하는 모델들을 결합하면 예측 정확도가 실제로 높아진다는 겁니다. 즉, 외부 변수를 단순히 추가하는 데 그치지 않고, 이 변수들을 효과적으로 학습하고 통합하는 구조 자체가 예측 성능을 좌우한다는 뜻이기도 합니다. 그래서 어떤 외부 변수를 입력하느냐 만큼이나, 그걸 어떻게 잘 녹여내는 모델을 쓰느냐가 중요합니다.

블랙박스 모델의 신뢰성 문제

정확도가 낮다는 것은 모델이 왜 그런 결과를 내는지 알기 어렵다는 점과도 이어집니다. 2024년부터 2025년까지 이뤄진 여러 수요 예측 연구를 보면, 딥러닝 모델이 블랙박스처럼 작동해 예측 과정을 제대로 알 수 없고, 이 때문에 담당자들이 발생한 오류의 원인을 찾고 수정하기가 쉽지 않다는 점을 지적하고 있습니다.

만약 모델이 특정 예측을 내린 이유를 설명하지 못한다면, 결과가 틀렸을 때 어디를 손봐야 할지 감을 잡기 어렵죠. 2025년 공급망 예측 프레임워크를 다룬 연구에서는 SHAP 같은 설명 가능한 인공지능 기법을 활용해 모델 결과를 밝혀내면, 어떤 요인이 영향을 미쳤는지 확인하고 그 정보를 의사결정에 반영할 수 있다고 설명합니다.

이런 해석 가능한 모델에 대한 관심이 최근 부쩍 높아졌으며, 수요예측 분야에서는 설명 가능성이 정확도만큼이나 중요한 요소로 꼽힙니다. 그래서 모델을 고를 때는 단순히 예측력이 높은지만 볼 게 아니라, 결과를 얼마나 명확하게 설명해줄 수 있는지도 살펴야 합니다. 데이터의 성격에 잘 맞으면서도 해석이 쉬운 모델을 택하는 것이 조직이 계속해서 배우고 발전할 수 있는 바탕이 되기 때문입니다.

‍

예측 정확도를 높일 때, 고도화된 AI 모델이 필요한 이유

최근 연구에서 드러난 모델의 한계를 뛰어넘으려면 기존과는 다른 시각이 필요합니다. 최신 수요예측 분야만 봐도, 이제는 단순히 복잡한 모델을 만드는 데 그치지 않고, 데이터의 특성에 맞는 차별화된 구조를 갖춘 고도화된 AI 모델에 관심이 쏠리고 있습니다.

모델의 한계를 극복하려면 단순히 모델 구조를 더 복잡하게 만드는 데 그치지 않고 데이터가 가진 특성을 깊이 있게 파악하고 이를 제대로 학습할 수 있는 새로운 접근이 필요합니다. 이런 관점에서, 기존과는 완전히 다른 방식으로 설계된 고급 AI 모델들이 점점 더 많은 관심을 받고 있습니다. 더 이상 복잡함만을 추구하기보다는, 데이터에 대한 이해를 바탕으로 설계된 모델들이 주목받는 분위기입니다.

장기 의존성과 복합 패턴 학습

여전히 많은 모델이 긴 시간 간격의 의존성을 제대로 다루지 못합니다. 초창기 RNN 모델은 순차 데이터를 처리할 수는 있었지만, 중장기 수요 예측에 꼭 필요한 장기 패턴을 충분히 배우지 못하는 한계가 있었습니다.

이런 문제를 보완하기 위해 등장한 것이 GRU와 LSTM 같은 순환 신경망이었죠. 이 모델들은 시간의 흐름에 따라 바뀌는 패턴을 더 잘 포착할 수 있도록 고안되었습니다. 그럼에도 불구하고, 기본적으로 여전히 RNN과 비슷한 순환 구조를 가지고 있다 보니, 아주 긴 시계열 의존성을 학습하는 데 구조적인 한계가 남아 있었습니다.

최근에는 I-Transformer, TFT처럼 트랜스포머 구조를 바탕으로 한 새로운 모델들이 등장해 이런 제한을 많이 극복했습니다. 트랜스포머 모델은 완전히 다른 방식의 어텐션 구조를 사용해서, 시계열 데이터에 숨어 있는 장기 패턴도 효과적으로 찾아낼 수 있습니다. 예를 들어, 반 년 전에 진행한 프로모션의 영향이 시간이 지나도 꾸준히 이어지는 현상이나, 특정 시기의 재고가 이후 몇 달 동안 매출에 미치는 영향 등 복잡한 장기 관계도 잘 파악할 수 있죠.

다만 트랜스포머 기반 모델은 구조가 복잡하다 보니 모델 크기도 크고, 학습 시간이나 컴퓨팅 자원도 많이 필요합니다. 그래서 데이터가 가진 장기 패턴의 복잡함과 원하는 예측 정확도 수준에 따라 어떤 모델이 더 적합할지 신중히 고르는 게 중요합니다. 만약 장기 패턴이 상대적으로 단순하다면 GRU나 LSTM도 충분하지만, 복잡한 장기 의존성이 핵심이라면 트랜스포머 모델이 더 좋은 선택이 될 수 있습니다.

단일 모델의 한계와 하이브리드 접근

지금까지 언급했던 수요예측 관련 연구 결과를 종합해 보면, 모든 제품이나 예측 기간, 그리고 다양한 수요 유형에 똑같이 최고 성능을 내는 단일 모델 구조는 존재하지 않는다는 점이 분명해집니다. LSTM이나 MLP, SVR 같은 어떤 모델을 쓰더라도, 특정 그룹에서는 어김없이 예측이 빗나가는 경우가 생깁니다. 하나의 '글로벌' 모델을 모든 상황에 똑같이 적용하면, 오히려 맞지 않는 영역에서 성능이 크게 떨어지는 문제가 나타납니다.

가중 앙상블 프레임워크 연구에서는 통계 기반 모델과 머신러닝 기반 모델을 섞은 하이브리드 앙상블이 여러 종류의 수요 패턴을 더 효과적으로 포착할 수 있음을 실제로 보여줍니다. 이런 방식은 단일 모델 접근이 갖는 근본적인 한계를 피해 가는 하나의 해답이라고 할 수 있습니다.

자동화된 모델 최적화와 다양성 확보

단일 모델로는 한계를 넘기 어렵기 때문에, 여러 모델을 자동으로 학습시키고 그중에서 최적의 조합을 찾아내는 방법도 많이 쓰입니다. 실제로 제품이나 SKU에 따라 가장 잘 맞는 모델이 다 다를 수 있는데, 이런 경우 사람 손으로 일일이 고르는 건 현실적으로 거의 불가능하죠.

그래서 자동화된 파이프라인을 이용하면 데이터 전처리, 피처 엔지니어링, 모델 학습과 평가 등 모든 과정을 한 번에 처리할 수 있습니다. 이 과정에서 수억 가지 조합을 빠르게 검토하며, 각각의 품목에 가장 적합한 예측 모델을 골라냅니다. 게다가 데이터가 새로 들어올 때마다 모델이 자동으로 다시 학습되기 때문에, 최신 정보도 놓치지 않습니다.

최근에는 그저 다양한 모델을 시도하는 데 그치지 않고, 각기 다른 강점을 가진 모델들을 전략적으로 결합하는 데 더 주목하고 있습니다. 예를 들어 어떤 모델은 계절성을 잘 잡아내고, 다른 모델은 트렌드를 잘 읽습니다. 또 어떤 모델은 외부 변수를 효과적으로 반영하죠. 이런 다양한 모델을 잘 조합하면 각각의 약점을 보완해 더 정확한 결과를 얻을 수 있습니다.

‍

임팩티브AI Deepflow가 제공하는 차별화된 예측 기술

임팩티브AI는 지난 5년 동안 수요와 가격 예측에 특화된 기술을 꾸준히 개발해온 AI 전문 기업입니다. 현재 67건의 관련 특허와 224개의 고급 AI 모델을 보유하고 있으며, 이 기술력을 바탕으로 만든 Deepflow 솔루션은 제조와 유통, SCM 등 다양한 분야에서 뛰어난 예측 정확도를 인정받고 있습니다.

Deepflow Forecast에는 하이브리드 앙상블 방식이 적용되어 있습니다. I-Transformer, TFT 같은 트랜스포머 기반 시계열 모델뿐만 아니라 GRU, DilatedRNN, TCN, LSTM 등 여러 딥러닝 아키텍처를 함께 사용하고 있습니다. 단일 모델에 의존하지 않고, 224개 모델이 경쟁하는 구조로 각 제품과 상황에 가장 잘 맞는 예측을 찾아냅니다.

특히 Deepflow는 학술 연구에서 지적된 모델의 설명 가능성에 대한 한계를 직접 해결했습니다. 거시경제 지표나 날씨, 시장 트렌드 같은 외부 변수는 단순히 추가하는 것이 아니라, 각각이 예측에 어느 정도 영향을 줬는지 수치로 보여줍니다. 덕분에 예측 결과가 어떤 근거로 나왔는지 쉽게 이해할 수 있어 해석의 어려움도 크게 줄었습니다.

실제 도입 사례를 살펴보면, 원자재 가격 예측에서는 최대 98.6%의 정확도를 기록했고, 재고 과부족도 평균 33.4%나 줄였습니다. 어떤 고객사는 한 달에 248억 원의 재고 비용을 절감했고, 업무 효율이 대폭 향상된 결과도 있었습니다.

Deepflow의 가장 큰 차별점은 예측 결과를 설명할 수 있다는 점입니다. AI 업계의 트렌드로 꼽히는 ‘설명 가능한 AI’처럼, 어떤 변수들이 예측에 근거가 되었고 각 변수의 기여도가 얼마인지 구체적으로 보여줍니다. 단순히 숫자만 제시하는 것이 아니라, 왜 그런 결과가 나왔는지까지 확인할 수 있어야 실제 현장에서 신뢰하고 활용할 수 있기 때문입니다. 이런 투명성 덕분에 조직은 모델을 지속적으로 개선하고, 더 똑똑하게 활용할 수 있습니다.

‍

직접 경험해보세요, 2주 무료 PoC 프로그램

아무리 뛰어난 기술이라도 우리 회사 데이터에 직접 적용해보기 전에는 실제로 어떤 결과가 나올지 알 수 없습니다. 그래서 임팩티브AI에서는 딥플로우의 기본 모델을 통해 AI 수요예측을 검증할 수 있는 무료 PoC를 한시적으로 제공하고 있습니다.

이 프로그램을 통해 여러 가지를 직접 경험할 수 있습니다. 기업이 가지고 있는 실제 판매 및 수요 데이터를 활용해 AI 수요예측을 진행하며, 전체 과정은 약 2주 정도 소요됩니다. 200개가 넘는 고도화된 AI 모델이 자동으로 학습을 거친 뒤, 그중 최적의 모델이 자동으로 선택됩니다. 이를 통해 재고 비용을 30% 이상 줄일 수 있고, 업무 시간 역시 1/6 수준으로 단축하는 효과를 확인하실 수 있습니다. 또, 예측 결과에 대한 분석과 주요 영향 요인까지 자세히 담긴 리포트도 함께 받으실 수 있습니다.

진행 방식도 매우 간단합니다. 먼저 PoC 신청 페이지를 통해 무료 상담을 신청하시면, 담당자가 연락을 드려 수요예측에 필요한 데이터를 안내해드립니다. 안내에 따라 데이터를 제공해 주시면 2주 동안 AI가 수요예측을 진행하고, 완료 후에는 이메일로 PoC 결과를 받아보실 수 있습니다. 마지막으로 수요예측 결과 리포트와 주요 내용을 설명해드리는 시간도 마련되어 있습니다.

‍

데이터 특성에 맞는 모델이 정확도를 결정합니다

수요 예측의 정확도를 높이려면 데이터 품질을 개선하는 것이 중요하지만, 그와 똑같이 중요한 점은 바로 데이터의 특성에 맞는 모델을 고르는 일입니다.

실제로 과적합이나 과소적합, 극단값을 예측하지 못하는 문제, 외부 변수를 잘 활용하지 못하는 상황, 모델이 어떻게 예측을 도출했는지 알기 어려운 점, 한 가지 구조만 고수하는 한계 같은 문제들은 대개 데이터와 모델이 잘 맞지 않아 생깁니다. 아무리 양질의 데이터가 있다고 해도, 그 특성을 제대로 반영할 수 있는 모델을 선택하지 못하면 기대만큼 정확한 예측을 얻기 힘듭니다.

반대로 데이터의 특성에 꼭 맞는 고도화된 AI 모델, 특히 여러 방법을 적절히 결합한 하이브리드 앙상블 접근법을 활용하면 똑같은 데이터를 활용해도 훨씬 더 정확하고 신뢰할 수 있는 예측이 가능합니다. 최근 연구들은 트랜스포머 기반 시계열 모델, 다양한 모델 구조의 전략적 조합, 그리고 설명 가능한 AI 기법의 도입이 점점 중요해지고 있다고 강조합니다.

혹시 지금 쓰고 있는 예측 시스템의 결과가 만족스럽지 않다면, 데이터를 추가로 모으거나 다듬는 것보다 먼저, 현재 데이터에 가장 적합한 모델을 쓰고 있는지 다시 한 번 점검해 보시길 권합니다. 임팩티브AI에서 제공하는 2주 무료 PoC 프로그램을 통해, 최신 연구를 반영한 고급 AI 모델이 실제 비즈니스에 어떤 변화를 일으킬 수 있는지 직접 경험해 보세요.

‍