수요 예측 AI의 정확도와 차별성을 높이는 머신러닝 기술

수요 예측 연구의 시작과 동기

수요 예측 분야에 매력을 느끼게 된 계기는 무엇인가요?

학부생 시절 지도 교수님을 통해 시작하게 되었습니다. 코딩과 관련된 다양한 기술들을 실제 산업에 어떻게 적용할 수 있는지에 대해 공부하다가, 실제 기업과 연계된 프로젝트를 진행하는 교수님, 현재 저희 대표님을 만나게 되어 실제 기업 데이터를 활용한 연구를 시작하게 되었습니다.

수요 예측이라는 분야가 굉장히 어려우면서도 아직 정형화되지 않은 영역이라는 점에서 큰 매력을 느꼈습니다. 쉽게 도전할 수 없는 분야라는 점에서 오히려 호기심이 생겼고, 수요 예측은 기존 시계열 예측 방법론뿐만 아니라 다양한 외부 변수들 간의 관계를 활용하는 모델링, 신제품과 관련된 외부 상황 데이터 크롤링 등 정말 다양한 방향으로 확장 가능한 분야입니다. 아직 충분히 연구되지 않은 영역이면서 앞으로 연구할 주제가 무궁무진하다는 점에서 매력을 느꼈습니다.

정두희 대표님과 함께 일하게 된 계기가 있나요?

대표님께서 굉장히 열정적으로 일하시면서 배울 점이 많은 분이라고 생각했습니다. 자기 관리와 학문적 측면 모두에서 뛰어나시죠. 다른 훌륭한 교수님들도 많지만, 일부 교수님들은 제자들에게 업무를 맡기고 본인은 뒤로 빠지는 경우도 있다고 들었는데, 저희 교수님은 모든 과정에 직접 개입하시고 끝까지 책임지시며, 학생들보다도 더 열심히 일하십니다. 그런 모습을 보면서 옆에서 많은 것을 배울 수 있겠다는 확신이 들었습니다.

현재 연구하고 계신 주요 내용을 간단히 소개해주세요.

기업이 보유한 원본 데이터를 기반으로 수요 예측을 진행하는 과정에서, 데이터를 효과적으로 활용하기 위한 연구 방법론을 개발하고 있습니다. 특히 데이터 증강 기법과 LLM을 활용한 수요 예측 모델 개발, 데이터 부족 상황에서의 간헐적 수요 예측 방법론 연구에 집중하고 있습니다.

‍

‍

고객사 데이터 분석의 도전과 해결책

다양한 고객사 데이터를 분석하면서 가장 어려웠던 기술적 도전은 무엇이었나요?

저희는 다양한 기업을 대상으로 하다 보니 각 기업이 보유한 데이터가 공통점도 있지만, 해당 기업만의 고유한 형태나 같은 개념을 다르게 표현하는 경우 등 고객사마다 데이터 구조가 상이한 점이 가장 큰 페인 포인트였습니다.

이러한 다양한 데이터들을 표준화하여 저희 시스템에 통합하고, 데이터 분석 과정에서 자동화를 구현하는 것이 가장 큰 도전이었습니다. 다양한 기업을 상대하다 보니 자동화가 필수적인데, 아직 완벽한 100% 자동화는 달성하지 못했지만, 현재 가장 큰 과제는 너무 다양한 형태의 데이터를 저희 규격에 맞게 범주화하고, 각 범주에 적합한 데이터 분석 방법을 개발하는 과정입니다.

데이터 정규화 과정에서 구체적으로 어떤 어려움이 있었나요?

데이터마다 특성이 매우 다릅니다. 어떤 데이터는 짧은 기간에 여러 개가 있고, 어떤 제품은 판매와 미판매가 불규칙하게 반복되며, 계절마다 1년 주기의 패턴을 보이는 경우도 있고, 일주일 단위로 패턴이 변하는 경우도 있습니다. 이처럼 다양한 특성을 가진 데이터들을 시스템에 통합해야 하는 상황에서 정규화 과정이 상당히 복잡했습니다.

이런 도전을 극복할 수 있었던 임팩티브AI만의 강점은 무엇인가요?

다양한 품목 데이터를 CTO님과 함께 종류별로 분류하고 표준화하는 작업을 진행했습니다. 이는 엔지니어와 리서처 간의 긴밀한 소통이 필수적인 작업이며, 모델링과 직결되면서 동시에 서비스에서 데이터가 표시되는 부분과도 연관됩니다. 데이터를 모델링과 시스템 양쪽에서 모두 효율적으로 사용할 수 있도록 종류별 구분과 표준화를 진행한 과정이 저희만의 강점이라고 생각합니다.

‍

모델 정확도 향상을 위한 핵심 전략

모델을 구축할 때 정확도를 높이기 위해 가장 신경 쓰는 부분은 무엇인가요?

가장 중요하게 여기는 부분은 데이터 특성 파악입니다. 각 모델마다 고유한 가정들이 있습니다. 데이터가 특정한 패턴을 따를 것이라는 가정들 말이죠. 이런 가정들과 앞서 말씀드린 데이터 분류를 매칭시키는 작업을 통해 모든 모델을 시도해보지 않아도 효율적으로 최적의 모델을 선택할 수 있고, 이를 통해 정확도를 향상시킬 수 있습니다.

또한 모델 정확도의 정의 자체도 중요하게 고려하는 부분입니다. 일반적으로 실제 값과 예측 오차의 비율을 퍼센트로 나타내는데, 실제 값이 0인 상황에서 예측 값이 1이 나오면 무한대 오차가 발생하는 문제가 있습니다. 매월 또는 매주 판매되지 않는 간헐적 품목에 대해서도 고객사가 이해하기 쉬운 정확도 지표를 정의하는 것, 그리고 절대 오차량을 계산할 것인지 아니면 상승하락 패턴을 얼마나 정확히 예측했는지를 볼 것인지 등 다양한 정확도 정의가 있기 때문에 이를 신중하게 선택하는 과정을 중요하게 여기고 있습니다.

고객사마다 데이터 품질이나 양의 차이를 어떻게 극복하고 있나요?

품질 측정을 위한 저희만의 내부 기준을 정의하되, 고객사가 이해할 수 있는 수준으로 설정하여 원활한 소통이 가능하도록 합니다. 모델링에 지장을 주지 않으면서도 서로 이해하기 쉬운 기준을 마련해서 적용하고 있습니다.

고객사에서도 AI나 빅데이터에 대한 관심이 높아진 상황이므로, 품목별 데이터 수라는 개념으로 설명합니다. 실제 판매 이벤트가 발생한 월별 데이터 개수를 기준으로, 향후 6개월을 예측하는데 과거 데이터가 12개월분밖에 없다면 모델 학습이 어렵다는 식으로 데이터 양에 대해 설명하고, 매번 판매되는지 아니면 간헐적으로 판매되는지, 간헐적 판매의 간격이 규칙적인지 불규칙적인지 등을 분산, 표준편차 같은 통계 지표를 최대한 이해하기 쉬운 언어로 설명드리고 있습니다.

데이터 부족을 극복하기 위하여 시계열 데이터 증강 기법이나 다양한 파생피처를 개발하여 모델링에 적용하고도 있습니다. 

비개발자와 소통할 때의 노하우가 있다면?

과도한 설명은 오히려 역효과를 낸다는 것을 깨달았습니다. 초기에는 제가 알고 있는 모든 지식을 전달하여 동일한 이해 수준을 만들려고 했는데, 미팅 시간이 1-2시간으로 제한적이고 고객사에서도 그 정도의 상세함을 원하지 않을 수 있다는 점을 고려해야 했습니다.

결과를 이해할 수 있는 선에서 최대한 간결하게 전체적인 흐름만 파악할 수 있도록 설명하는 것이 효과적이라는 것을 깨달았습니다. 큰 맥락을 이해할 수 있을 정도로만 설명하고, 더 자세한 정보가 필요한 경우 별도 자료를 제공하는 방식이 저희의 실무 노하우입니다.

‍

간헐적 수요 예측 방법론의 혁신

간헐적 수요 예측이 일반적인 수요 예측과 어떻게 다른가요?

일반적인 수요 예측은 연속적인 수요를 가정하고 방법론을 개발합니다. 즉, 수요 존재 여부보다는 수요가 있다는 전제 하에 그 양이 얼마인지를 예측하는 것이 주된 접근법입니다. 반면 간헐적 수요 예측은 '수요가 발생할 것인가'와 '발생한다면 얼마나 발생할 것인가'라는 두 단계의 예측을 수행해야 합니다.

기존 방법론을 그대로 적용하면 지속적인 수요가 있다고 가정하거나 예측값이 비정상적으로 변동하는 등 부정확한 결과가 나올 수 있습니다. 간헐적 수요 예측 방법론 중 하나는 수요 발생 여부를 예측하는 모델과 수요량을 예측하는 모델을 분리하여 개발한 후, 두 결과를 통합하는 방식입니다.

이렇게 하면 수요 발생 여부와 수요량에 대한 정확도를 각각 향상시킬 수 있어서, 모델이 두 가지 과제를 분리해서 처리함으로써 전체적인 정확도가 높아지는 효과가 있습니다.

이러한 예측 방식의 차별점은 무엇인가요?

저희가 주로 논문을 바탕으로 연구하기 때문에 다른 기업이나 연구소의 간헐적 수요 예측 방법론을 분석해본 결과, 대부분 데이터가 풍부한 환경에서 연구되었다는 점을 발견했습니다. 일별이나 주별 데이터의 경우 한 달에 주별로는 4개, 일별로는 30개 정도의 데이터 포인트가 있지만, 저희가 다루는 월별 데이터는 한 달에 1개의 데이터만 생성되어 1년간 모아도 12개의 데이터에 불과합니다.

데이터가 적은 상황에서 복잡한 모델을 설계하면 오류가 누적되어 오히려 성능이 저하될 수 있습니다. 저희는 월별 예측이라는 어려운 조건에서 데이터 부족을 어떻게 극복할 것인가에 집중했습니다. 다른 연구들이 데이터가 풍부한 상황에서의 예측 성능 향상에 초점을 맞췄다면, 저희는 데이터가 제한적인 상황에서도 간헐적 수요 예측 방법론의 장점을 최대한 활용할 수 있는 방법을 연구한 것이 주요 차별점입니다.

데이터가 부족한 상황에서 예측 성능을 높이기 위한 구체적인 방법은?

두 가지 접근 방식을 활용하고 있습니다. 데이터적 측면에서는 데이터 증강 기법을 중점적으로 연구하고 있고, 모델링 측면에서는 데이터가 부족한 상황에서도 효과적으로 학습할 수 있는 모델을 개발하고 있습니다. 이번 연구에서는 데이터 처리 방법과 모델 학습 방법 두 가지 접근을 결합하여 간헐적 수요 예측 모델을 구축했습니다.

‍

LLM을 활용한 외부 변수 생성의 혁신

LLM을 원자재 관련 변수 생성에 활용한다고 하셨는데, 구체적으로 어떤 방식인가요?

특정 원자재나 품목에 영향을 미치는 사회적 이슈들이 있습니다. 전쟁, 자연재해 등이 대표적인 예죠. 기존에는 작업자들이 경험과 직감을 바탕으로 '어느 지역의 자연재해가 이 제품에 얼마만큼 영향을 미칠 것'이라는 판단을 내렸는데, 이를 모델에 적용하기가 매우 어려웠습니다. 전쟁, 자연재해 등 다양한 이벤트가 있고, 이전에 경험하지 못한 새로운 사건들이 지속적으로 발생하기 때문에 정형화하기 어려웠습니다.

기존 모델은 과거 데이터를 기반으로 학습하는데, 새로운 유형의 이벤트가 발생하면 이를 처리할 수 있는 방법이 없었습니다. 저희는 LLM을 활용하여 제품이나 원자재와 관련된 키워드를 중심으로 뉴스 기사를 수집하고, 관련 키워드를 생성합니다. 그다음 LLM에게 '이 기사의 이벤트가 해당 원자재에 긍정적 영향을 줄 것인지, 부정적 영향을 줄 것인지'에 대한 가치 판단을 맡기는 방식입니다.

이런 접근법을 시도할 때 어떤 가설을 갖고 시작하셨나요?

LLM이 완전히 신뢰할 수 있는 수준은 아니고 모든 정답을 알고 있지는 않지만, 사람이 생각하는 수준의 기본적인 판단은 가능하다고 보았습니다. 예를 들어 관세가 인상되면 어떤 영향이 발생할 수 있을지에 대한 단순하지만 복잡한 상황들을 자동으로 처리할 수 있을 것이라는 가정이었습니다.

긍정적인지 부정적인지 정도의 간단한 가치 판단은 LLM이 충분히 수행할 수 있다고 판단했고, 이를 자동화한다면 기존에 사람이 수행하던 가치 판단 작업을 LLM을 통해 더 효율적이고 신속하게 처리할 수 있을 것이라는 가설로 접근했습니다.

특히 LLM은 언어모델이기 때문에 수치적 예측을 하지는 못하지만 뉴스기사는 읽을 수 있습니다. 전쟁이나 팬데믹과 같은 이벤트는 정량화된 데이터로 존재하지는 않지만 뉴스로는 빠르게 나옵니다. LLM이 이러한 뉴스를 읽어서 다양한 지표들을 만들어낼 수 있습니다. 이러한 지표들이 저희의 예측모델 학습에 활용됩니다. 

예를 들면 어떠한 지표를 만들어내나요?

원자재 가격에 영향을 줄 수 있는 생산지, 소비지, 글로벌 전역 별로 전쟁이나 생산시설 중단이나 정치인의 발언 등 주요 이슈들을 정의합니다. 이 이슈들에 대하여 여러가지 지표들을 정량화 하여 만드는데 강도와 빈도를 포함한 여러 기준을 활용합니다. 예를들어 니켈 원자재 가격에 영향을 주는 생산지 관련 이슈에 대하여 뉴스기사의 발신횟수, 그리고 각 기사들의 가격 상승/하락에 영향을 주는 긍정 부정 분석, 그리고 각 이슈들의 가격에 대한 영향력 강도, 그리고 이러한 강도와 빈도를 결합하며 만든 임팩트 스코어 등을 만들어냅니다. 

기존 방식과 비교했을 때 어떤 장점이 있나요?

가장 큰 장점은 자동화입니다. 비용과 시간을 크게 절약할 수 있죠. 저희는 예측에 활용하기 위한 목적으로 개발했기 때문에, 예측에서 활용할 수 있는 수준의 정확도를 가진 외부 변수들을 빠르고 비용 효율적으로 생성할 수 있다는 점이 기존 방식과의 주요 차별점입니다.

실제 예측 정확도 향상에는 얼마나 기여하고 있나요?

현재 연구 결과를 지속적으로 분석하고 있는 단계입니다. 현재까지는 긍정적으로 정확도가 약 5% 향상되는 것으로 나타나고 있습니다. 이는 아직 초기 단계로, 예측에 긍정적 영향을 주는 변수를 성공적으로 개발했다는 의미입니다. 향후에는 10% 이상의 향상을 달성할 수 있는 기술로 발전시키는 것이 목표입니다.

일상적인 상황에서는 큰 차이가 없을 수 있지만, 특정 사건이 발생했을 때의 효과를 측정하기 위해 해당 사건을 임팩트 스코어로 계산하고 이를 적용하지 않은 경우와 비교하여 향상 정도를 측정해나갈 예정입니다.

이 연구를 통해 궁극적으로 달성하고자 하는 목표는?

첫 번째는 정확도 향상입니다. 기존 모델들은 과거와 동일한 패턴이 지속될 것이라는 전제로 예측하기 때문에 상황이 변할 때 이를 감지하기 어려웠는데, 임팩트 스코어를 통해 이런 변화를 반영함으로써 정확도를 향상시키는 것이 첫 번째 목표입니다.

두 번째는 설명 가능성 향상입니다. 외부 변수의 급격한 변화를 반영하지 않으면 급변 상황을 정확히 예측했더라도 '어떻게 이것이 가능한가'라는 고객사의 질문에 답하기 어려웠습니다. 임팩트 스코어가 예측에 반영되면 '외부적으로 부정적 사건이 발생했고, 관련된 사건들은 이러한 것들이다'라는 설명이 가능해져서 예측력 향상과 설명 가능성 향상이라는 두 가지 목표를 달성할 수 있습니다.

LLM 활용 과정에서 가장 크게 느꼈던 기술적 어려움은?

임팩트 스코어 측정이 정확하게 이루어졌는지에 대한 확신을 갖는 것이 가장 어려웠습니다. 기준이 없는 상황에서 저희가 새롭게 만들어내야 하는 상황이었기 때문에, 임팩트 스코어의 정확도라고 할 수 있는 기준을 찾는 것이 매우 어려웠습니다. 이전에는 임팩트 스코어라는 개념 자체가 없었기 때문에 정확하게 측정되었다고 판단할 수 있는 기준이 없었습니다.

이것이 환각 현상인지 아니면 실제로 정확한 판단인지를 구분할 수 있는 기준을 연구원들과 지속적으로 논의하면서 설정하고, 그 기준에 따라 측정 결과를 검증한 후, 이를 예측에 적용했을 때의 성과를 확인하는 두 단계 과정을 설계하고 실행하는 것이 가장 어려운 부분이었습니다.

현재 이 기능은 어느 정도 개발이 진행됐나요?

현재는 상용화 준비 단계에 있습니다. 상용화할 수 있는 수준까지 완성되고 저희가 확신을 갖게 되면 그때 Drift Flow에 통합할 예정입니다. 

‍

모델 커스터마이징과 고객 맞춤형 솔루션

고객사별 특성을 파악하기 위한 정보 수집 프로세스는 어떻게 이루어지나요?

데이터 파악 단계에서는 업종별로 각 데이터가 어떤 의미인지에 대한 저희의 이해가 정확한지 확인하는 과정을 거칩니다. 해당 데이터에 대한 이해와 데이터가 생성된 배경에 대한 이해를 위한 시간을 충분히 갖습니다.

이해한 내용을 바탕으로 저희만의 정교한 방식으로 데이터 특성을 추출합니다. 그러면 데이터에서 예측이 어려운 페인 포인트들이 파악되고, 각 페인 포인트를 효과적으로 해결할 수 있는 모델을 선정하는 단계를 거칩니다.

이런 방식으로 각 데이터의 특성을 파악하고 예측이 어려울 수 있는 핵심 페인 포인트를 찾아낸 후, 저희가 보유한 다양한 가정을 가진 모델들 중에서 적합한 모델로 커스터마이징을 진행합니다. 또한 외부 변수를 활용하기 때문에 해당 도메인에 적합한 외부 변수가 무엇인지에 대한 분석도 함께 수행됩니다.

모델 커스터마이징의 두 가지 방법 중 어떤 것을 선택하는 기준은?

해당 모델이 어떤 문제를 해결할 수 있는가에 초점을 두고 있습니다. 기존 베이스라인 모델들이 해당 문제들을 효과적으로 해결할 수 있다면 베이스라인 모델에 파인튜닝을 적용하는 방식으로 접근하고, 기존 모델들로는 해결하기 어려운 문제들이 있다면 그 문제를 해결할 수 있는 모델을 설계하고 간헐적 수요 예측 모델과 같은 새로운 아키텍처를 설계하여 연구합니다.

모든 기업을 대상으로 새로운 설계를 하기에는 리소스가 제한적이기 때문에, 여러 기업과의 경험을 통해 특허 출원과 함께 공통적인 문제들을 발견할 때마다 해당 문제들을 해결할 수 있는 모델을 개발합니다.

유사한 페인 포인트가 있다면 저희가 설계한 모델을 사용하고, 기존 모델로도 접근 가능한 데이터라면 기존 모델을 사용하는 방식으로 두 가지 접근법을 적절히 활용하고 있습니다.

각 방식의 장단점은 무엇인가요?

기존 모델의 경우 다수에 의해 검증된 모델이기 때문에 안정성이 확보되고 빠른 적용이 가능하다는 장점이 있습니다. 하지만 고객사의 특별한 페인 포인트가 기존 모델의 범위를 벗어나는 경우 사용하기 어렵다는 단점이 있습니다.

저희가 설계한 모델의 경우 시간이 오래 걸리고, 고객사의 데이터에서 주로 검증되어 베이스라인 모델들보다 상대적으로 검증이 부족하다는 단점이 있습니다. 하지만 해당 데이터의 특성에 가장 적합한 모델을 설계하기 때문에 예측 성능이 더 높다는 장점이 있어서 두 가지 방식을 상황에 따라 선택적으로 사용하고 있습니다.

같은 업종이라고 해도 회사마다 다른 특성을 보이는 경우가 있나요?

업종이나 판매 제품이 유사하다면 거시적으로는 비슷한 특성을 보입니다. 하지만 각 회사만의 고유한 데이터 패턴도 있어서 세부적인 부분에서는 차이가 나타납니다. B2B 제조사, B2C 유통업체, 패션 업계 등 구조가 유사하다면 대수의 법칙에 따라 각 업종에 맞는 큰 패턴은 비슷한 경향을 보이는 것 같습니다.

‍

고객 의구심 해소와 시각화 전략

고객사의 의구심을 해소하기 위한 시각화 전략은?

저희가 사용하는 기본적인 보고 틀이 있어서 대부분의 요구사항을 커버할 수 있습니다. 기본적으로는 과거 실제 값과 저희 예측값에 대한 그래프를 제공하거나 정확도 점수에 대한 설명과 함께 몇 퍼센트의 정확도가 달성되었는지 안내합니다.

간헐적 패턴이 많은 경우에는 데이터 특성 파악을 통해 발견된 페인 포인트들에 따라 시각화를 다르게 적용합니다. 간헐적 예측의 경우 해당 패턴을 얼마나 정확하게 포착했는지에 대한 시각화를 하거나, 외부 임팩트 스코어가 큰 영향을 미치는 경우 임팩트 스코어와 실제 예측 데이터 간의 관계나 변동성을 시각적으로 보여드립니다. 이는 데이터 파악을 통해 발견한 페인 포인트들을 성공적으로 극복했다는 것을 증명하기 위한 시각화입니다.

보고서 형태로 제공되는 자료의 중요성은?

고객사가 예측 결과를 어떤 형태로 받아볼 수 있는지는 중요한 세일즈 포인트가 됩니다. B2B 환경에서는 상부 보고가 중요한데, 고객사 실무자가 직접 보고서를 작성할 필요 없이 임팩티브에서 제공하는 보고서를 그대로 활용할 수 있다면 업무 효율성을 크게 높일 수 있습니다. 이런 부분이 실무자에게는 매우 중요한 가치 제안이 됩니다.

‍

설명 가능성의 도전과 혁신

설명 가능성 측면에서 어려움을 겪은 적이 있나요?

AI 설명 가능성은 모델이 복잡할수록 설명하기 어려워지는 특성이 있습니다. 저희 엔지니어들은 모델에 특정 입력을 넣었을 때 나오는 출력을 보고 모델이 어떤 관계를 학습했는지 파악하고, 모델이 각 변수를 얼마나 중요하게 여기는지 등을 모델 관점에서 설명해왔습니다.

하지만 모델 자체를 신뢰하지 않는 고객사에게는 '이런 모델 중심적인 설명이 기존 업무 방식과 어떻게 연결되는가'라는 질문에 충분히 답하기 어려웠습니다.

이런 문제를 어떻게 해결하고 있나요?

데이터적 관점에서 접근하고 있습니다. 이 데이터가 어떤 관계를 가지고 있고, 어떤 외부 변수와 관련이 있어서 이런 내용을 모델에 학습시켰으며, 그 결과 이런 예측이 나왔다는 식으로 설명합니다. 데이터에 대한 전반적인 이해를 모델이 할 수 있게 만들었다는 관점에서, 고객사가 기존에 이해하던 방식을 잘 반영한 설명 방법들을 지속적으로 연구하고 있습니다.

기억에 남는 가장 큰 실패나 예상과 다른 결과가 있었나요?

실제로 데이터가 들어오는 대로 예측을 하면 해당 데이터가 지속될 것이라고 가정하고 자동화를 진행하는데, 더 이상 판매되지 않는 품목에 대한 정보가 없는 상황이 있었습니다. 데이터상으로는 판매되지 않지만 저희가 해당 정보를 파악하지 못해서 '향후에도 이 정도 판매될 것'이라는 가정으로 예측한 결과들이 몇 개 발견되었습니다. 이런 경우들을 통해 판매 여부에 대한 정보를 별도로 받기보다는 저희 내부적으로 처리하자는 결론에 도달했습니다.

또한 외부 원자재 가격 예측 시 외부 상황의 급격한 변화, 특히 최근 트럼프 관세 정책 등이 자주 변하는 상황에서 예측력을 높이는 방법을 고민하다가 LLM 활용 연구를 시작하게 되었습니다.

이런 케이스들이 가장 기억에 남습니다. 중요한 것은 문제를 그대로 방치하지 않고 해결 방법을 내부적으로 논의하면서 찾아내고, 새로운 연구 주제로 발전시켜 나가는 과정이 저희의 장점이라고 생각합니다.

‍

수요예측 연구 효율성과 자동화

연구원들의 실험이나 자동화 모듈 개발이 연구 품질에 어떤 영향을 주고 있나요?

연구 기록들이 축적되는 과정에서 '이런 경우에는 이런 모델이 효과적이다'와 같은 지식을 연구원 간에 공유할 때, 표준화된 방법이 없으면 공유가 제대로 이루어지지 않거나 누군가가 이미 수행한 작업을 중복으로 진행하는 문제가 발생할 수 있습니다.

이런 소통상의 손실을 방지하기 위해 하나의 코드 모듈로 만들어서 데이터가 들어왔을 때 모델링 코드를 직접 작성하지 않아도 자동화된 방식으로 모델이 생성되도록 하는 과정을 구축했습니다.

지속적으로 새로운 모듈과 방법론들이 개발되는데, 이들이 표준화된 방식으로 공유되어 다른 연구원들도 큰 노력을 들이지 않고 해당 방법론을 활용할 수 있는 환경을 만들기 위해 개발했습니다.

팀원들의 반응은 어땠나요?

매우 긍정적인 반응을 보였습니다. 기존에는 코드를 직접 받아서 작업해야 했는데, 조직이 커지면서 이런 방식이 한계가 있을 것 같아서 자동화 모듈을 제공했을 때 업무 편의성이 크게 향상되었고 실제 작업 속도도 훨씬 빨라졌습니다. 이를 더욱 발전시켜서 기본적인 모델링 범주를 확대할 수 있게 되어 저희는 새로운 연구에 집중하고 이전 작업들은 체계적으로 기록할 수 있는 자체 라이브러리가 구축되었습니다. 연구원들 모두 만족하며 활용하고 있습니다.

앞으로 추가로 개발하고 싶은 것들이 있나요?

현재는 모델 실험만 자동화되어 있는데, 실험 결과를 비교하고 분석하는 방법까지 표준화하고 싶습니다. 연구원마다 중점적으로 보는 지표가 다를 수 있는데, 이런 다양한 실험 결과를 비교 분석하는 방법론을 표준화하면 예측 결과의 품질이 표준화되어 연구원이 누구든 상관없이 안정적인 예측 결과를 고객에게 제공할 수 있습니다.

고객사의 예측 결과가 우수한지, 어떤 실험이 가장 좋은 성과를 냈는지 등 예측 결과에 대한 비교 분석을 표준화하고 고도화하는 것이 다음 목표입니다.

다른 솔루션들과 비교했을 때 정확도 측면에서 어느 정도 수준이라고 자신하시나요?

최근 경쟁사와 동일한 기업의 동일한 데이터로 정확도 비교를 실시한 결과, 데이터 품질에 따라 차이가 있지만 최소 3-5%에서 최대 10% 이상 저희가 더 높은 정확도를 보였습니다.

3-10% 범위에서 저희가 확실히 더 우수한 예측 결과를 제공할 수 있다고 말씀드릴 수 있습니다. 데이터가 많을수록 모델 학습이 잘 되어 정확도 편차가 줄어드는데, 저희가 특히 자신 있는 부분은 데이터가 부족한 상황에서의 성능입니다. 데이터가 추가로 확보된 상황에서는 3-5% 향상이지만, 데이터가 부족한 상황에서는 약 10%의 향상을 달성했습니다.

예측이 어려운 상황에 집중해서 연구한 결과, 이런 부분에서 다른 기업보다 10% 정도 더 우수한 성능을 발휘할 수 있다는 것이 입증되어 저희가 자신감을 갖고 있습니다.

데이터가 부족한 상황에서 더 강한 힘을 발휘한다는 건가요?

맞습니다. 많은 기업들이 실제로 데이터가 충분하지 않은 상황이기 때문에, 저희가 이 부분에 집중한 연구 결과가 좋은 성과로 이어진 것 같아서 만족스럽습니다.

‍

완벽한 수요 예측에 대한 비전

완벽한 수요 예측이란 어떤 모습인가요?

고객사 관점에서 완벽해야 한다고 생각합니다. 저희 기준으로는 다양한 방법론을 추가하고 적용해서 어느 정도 만족할 만한 수준이라고 생각했던 결과가 고객사에게는 완전히 다르게 느껴지거나 소통이 원활하지 않은 경우가 있었습니다.

완벽한 예측이란 고객사가 완벽하다고 느낄 수 있어야 한다고 생각합니다. 이를 위해 설명 가능성을 강화하고 활용 가능한 변수들을 늘려서 예측 결과를 고객사가 신뢰하고 실제 업무에서 활용할 수 있도록 하는 것이 완벽한 수요 예측이라고 봅니다. 임팩티브 AI는 현재 완벽하게 도달했다고 할 수는 없지만, 완벽함에 대한 정의를 명확히 하고 그 목표에 도달하기 위해 지속적으로 노력하고 있습니다.

연구하시면서 가장 뿌듯했던 순간은?

다른 기업보다 예측 결과가 우수하다는 피드백을 받을 때마다 큰 보람을 느꼈습니다. 예측 결과를 도출하는 연구를 하다 보니 '내가 연구를 잘하고 있구나'하는 확신을 갖게 되는 순간이 가장 뿌듯했습니다.

성과가 명확하게 드러나는 것이 장점이면서 동시에 부담이기도 합니다. 점수로 바로 나타나기 때문에 상당한 압박감이 있어서 초기에는 잠을 이루기 어려웠습니다. 정답을 모르는 상태에서 예측값만 제공해야 하는 불안감이 있었죠. 하지만 대표님께서 열심히 하는 모습을 인정해주시고, 결과가 좋지 않을 때도 원인 파악에 집중하자고 하시며 비난하지 않으셔서 버틸 수 있는 힘이 되었습니다.

수요 예측 분야에서 본인만의 철학이나 접근 방식이 있다면?

수요 예측에서는 100% 완벽한 예측은 불가능하다는 관점을 갖고 있습니다. 기존 대비 향상에 초점을 맞추니까 오히려 마음이 편해지고 어떻게 하면 향상시킬 수 있을지에 대해 집중할 수 있었습니다. 저희의 목표는 기존보다 더 정확한 예측값을 제공하는 것입니다. 완벽하지는 않더라도 기존에 40%의 정확도였던 것을 60-70%로 향상시키는 것만으로도 고객에게 큰 도움이 됩니다.

100% 완벽한 예측에 대한 욕심을 버리고 얼마나 많이 향상시킬 수 있는가에 집중하니까 오히려 고객이 가진 문제들을 해결하는 데 더 집중할 수 있었습니다. 앞으로도 발전시켜야 할 부분은 설명 가능성 영역입니다.

개인적으로 도전해 보고 싶은 새로운 연구 방향은?

복잡한 모델을 사용하면서도 그 결과를 고객이 신뢰할 수 있고, 결과를 보고서로 만들어서 상부 보고 시 소통 리소스를 줄여드릴 수 있는 연구를 하고 싶습니다.

3년 후 임팩티브AI의 예측 기술과 개인적 모습은 어떨 것으로 예상하시나요?

현재 진행하고 있는 자동화 연구의 효율성을 높여서 3년 후에는 데이터 수집부터 초기 예측 결과 도출까지 사람의 개입 없이도 고품질의 결과를 확인할 수 있는 시스템을 구축하고 싶습니다.

개인적으로는 연구원에서 더 나아가 엔지니어로서 이런 자동화 프로세스를 효과적으로 구축하고 시스템을 설계하는 데 기여할 수 있는 사람이 되고 싶습니다.

마지막으로 팀원들에게 한마디?

저희 팀원들이 모두 각자의 역할에서 정말 열심히 일하고 있어서 옆에서 보고 배우는 점이 많습니다. 이렇게 배울 것이 많은 환경에 있다는 것 자체가 감사합니다. 팀원들에게 고마움을 느끼고 있습니다.

‍

임팩티브AI는 단순한 예측 정확도 향상을 넘어서 고객사가 실제 업무에서 신뢰하고 활용할 수 있는 완벽한 수요 예측 솔루션을 만들어가고 있습니다. 데이터가 부족한 상황에서도 높은 성능을 발휘하는 간헐적 수요 예측 방법론과 LLM을 활용한 혁신적 접근법을 통해 수요 예측 AI 기술의 새로운 지평을 열어가고 있습니다. 라이언 연구원의 이야기에서 볼 수 있듯이, 기술적 혁신과 고객 중심의 사고가 만나 진정한 가치를 창출하는 AI 기업의 모습을 확인할 수 있습니다.

‍