한 기업의 물류 시스템에 인공지능을 도입했다. 지역별 구매 데이터를 기반으로 물량을 자동 조절하고, 수요 예측에 따라 창고 배치를 최적화했다. 초기엔 효과가 있었다. 그런데 장마철이 되자 문제가 터졌다. 어떤 지역은 인기 상품이 일찍 품절됐고, 다른 곳은 남은 재고로 손해를 봤다. AI가 무능했던 건 아니다. 오히려 너무 유능했다. ‘평균적인 패턴’을 빠르고 정확하게 파악했기 때문이다. 문제는 바로 거기에 있었다. 현실은 평균보다 예외로 움직인다.
1. 예측은 데이터로 시작하지만, 데이터는 세상의 일부다
AI가 세계를 이해하는 방식은 통계다. 수많은 과거 데이터를 바탕으로 일정한 경향을 읽고, 다음 상황을 예측한다. 그러나 현실은 늘 데이터의 프레임 밖에서 움직인다.
예컨대, 지난 3년간의 소비 트렌드를 학습한 모델은 ‘예정된 변화’에는 능하지만, 돌발 상황이나 사회적 분위기 변화에는 민감하지 않다. 지역 축제, 정치 이슈, 감정적 소비와 같은 비정형 변수는 수치화되기 어렵기 때문이다. 결국 예측 모델은 '있던 일'을 기반으로 ‘있을 법한 일’을 추측할 뿐, ‘처음 벌어지는 일’을 말하지는 못한다.
2. 예측 정확도에 속지 마라
2022년 한 연구는 머신러닝 기반 모델들이 놀라울 만큼 높은 정확도를 보이지만, 실제 적용에선 성능이 뚝 떨어지는 이유를 ‘데이터 누수(leakage)’로 설명했다. 모델이 훈련 중 본 데이터를 테스트에서도 활용하는 바람에, ‘시험지 미리 본 학생’처럼 정답률이 비정상적으로 높아지는 것이다. 이런 모델은 실제 환경에선 예외 처리에 약하고, 변화된 입력값에는 적응하지 못한다. 정확도라는 지표만으로 성능을 판단하면, 겉만 번지르르한 예측 시스템이 만들어진다.
출처: Freepik
3. 불확실성은 제거하는 게 아니라 감당해야 하는 것
최근 전자통신연구원은 AI의 불확실성을 수치화하는 기술 개발이 시급하다고 강조했다. 특히 제조업처럼 상황 변화가 빈번한 환경에서는, 예측이 틀릴 수 있다는 사실 자체를 감안한 설계가 필요하다. 문제는 대부분의 예측 시스템이 ‘확률이 낮은 경우’를 무시한다는 점이다. 하지만 현실은 바로 그 ‘낮은 확률’이 터질 때 가장 큰 영향을 받는다.
완벽한 예측보다, 불확실한 상황을 견딜 수 있는 구조가 필요하다. 기술이 아니라 태도의 문제다.
4. 결과만 같다고 믿어도 될까?
같은 데이터를 주고 예측 모델을 10개 만들면, 비슷한 정답률을 보이는 경우가 많다. 하지만 문제는 그 안에서 모델이 어떤 논리로 결론을 도출했는지 파악하기 어렵다는 데 있다.
구글 브레인 팀은 이를 ‘과소규정화(underspecification)’라고 표현했다. 입력과 출력은 같지만, 내부의 판단 기준은 제각각인 모델들. 이는 현실 환경에서 모델이 예기치 않게 오작동할 가능성을 높인다. 결국 성능보다 신뢰할 수 있는 근거, 설명 가능한 설계가 중요하다.
예측보다 중요한 건, 실패했을 때 무너지지 않는 구조이다. 예측은 인간이 불확실성을 통제하려는 본능적인 시도다. 기술은 그 욕망을 정교하게 현실화해준다. 하지만 현실은 언제나 예측보다 복잡하고, 종종 예측을 비웃는다. 따라서 AI가 해야 할 일은 더 정확한 정답을 찾는 것이 아니라, 틀릴 수 있음을 전제하고, 그 실패를 견디게 하는 것이다.
예측은 기술이지만, 대응은 태도다. 우리는 지금, 태도의 문제 앞에 서 있다.
참고 자료
머신러닝 프로젝트 실패 이유 – ITWorld (https://www.itworld.co.kr/article/3834356)
Leakage and Reproducibility Crisis in ML ( https://arxiv.org/abs/2207.07048)
최신 AI 불확실성 정량화 동향
(https://www.koren.kr/lib/Common/Com/ComDownload.asp?tno=1529&ttp=brd1)
Underspecification Presents Challenges for Credibility (https://arxiv.org/abs/2011.03395)
한 기업의 물류 시스템에 인공지능을 도입했다. 지역별 구매 데이터를 기반으로 물량을 자동 조절하고, 수요 예측에 따라 창고 배치를 최적화했다. 초기엔 효과가 있었다. 그런데 장마철이 되자 문제가 터졌다. 어떤 지역은 인기 상품이 일찍 품절됐고, 다른 곳은 남은 재고로 손해를 봤다. AI가 무능했던 건 아니다. 오히려 너무 유능했다. ‘평균적인 패턴’을 빠르고 정확하게 파악했기 때문이다. 문제는 바로 거기에 있었다. 현실은 평균보다 예외로 움직인다.
1. 예측은 데이터로 시작하지만, 데이터는 세상의 일부다
AI가 세계를 이해하는 방식은 통계다. 수많은 과거 데이터를 바탕으로 일정한 경향을 읽고, 다음 상황을 예측한다. 그러나 현실은 늘 데이터의 프레임 밖에서 움직인다.
예컨대, 지난 3년간의 소비 트렌드를 학습한 모델은 ‘예정된 변화’에는 능하지만, 돌발 상황이나 사회적 분위기 변화에는 민감하지 않다. 지역 축제, 정치 이슈, 감정적 소비와 같은 비정형 변수는 수치화되기 어렵기 때문이다. 결국 예측 모델은 '있던 일'을 기반으로 ‘있을 법한 일’을 추측할 뿐, ‘처음 벌어지는 일’을 말하지는 못한다.
2. 예측 정확도에 속지 마라
2022년 한 연구는 머신러닝 기반 모델들이 놀라울 만큼 높은 정확도를 보이지만, 실제 적용에선 성능이 뚝 떨어지는 이유를 ‘데이터 누수(leakage)’로 설명했다. 모델이 훈련 중 본 데이터를 테스트에서도 활용하는 바람에, ‘시험지 미리 본 학생’처럼 정답률이 비정상적으로 높아지는 것이다. 이런 모델은 실제 환경에선 예외 처리에 약하고, 변화된 입력값에는 적응하지 못한다. 정확도라는 지표만으로 성능을 판단하면, 겉만 번지르르한 예측 시스템이 만들어진다.
출처: Freepik
3. 불확실성은 제거하는 게 아니라 감당해야 하는 것
최근 전자통신연구원은 AI의 불확실성을 수치화하는 기술 개발이 시급하다고 강조했다. 특히 제조업처럼 상황 변화가 빈번한 환경에서는, 예측이 틀릴 수 있다는 사실 자체를 감안한 설계가 필요하다. 문제는 대부분의 예측 시스템이 ‘확률이 낮은 경우’를 무시한다는 점이다. 하지만 현실은 바로 그 ‘낮은 확률’이 터질 때 가장 큰 영향을 받는다.
완벽한 예측보다, 불확실한 상황을 견딜 수 있는 구조가 필요하다. 기술이 아니라 태도의 문제다.
4. 결과만 같다고 믿어도 될까?
같은 데이터를 주고 예측 모델을 10개 만들면, 비슷한 정답률을 보이는 경우가 많다. 하지만 문제는 그 안에서 모델이 어떤 논리로 결론을 도출했는지 파악하기 어렵다는 데 있다.
구글 브레인 팀은 이를 ‘과소규정화(underspecification)’라고 표현했다. 입력과 출력은 같지만, 내부의 판단 기준은 제각각인 모델들. 이는 현실 환경에서 모델이 예기치 않게 오작동할 가능성을 높인다. 결국 성능보다 신뢰할 수 있는 근거, 설명 가능한 설계가 중요하다.
예측보다 중요한 건, 실패했을 때 무너지지 않는 구조이다. 예측은 인간이 불확실성을 통제하려는 본능적인 시도다. 기술은 그 욕망을 정교하게 현실화해준다. 하지만 현실은 언제나 예측보다 복잡하고, 종종 예측을 비웃는다. 따라서 AI가 해야 할 일은 더 정확한 정답을 찾는 것이 아니라, 틀릴 수 있음을 전제하고, 그 실패를 견디게 하는 것이다.
예측은 기술이지만, 대응은 태도다. 우리는 지금, 태도의 문제 앞에 서 있다.
참고 자료
머신러닝 프로젝트 실패 이유 – ITWorld (https://www.itworld.co.kr/article/3834356)
Leakage and Reproducibility Crisis in ML ( https://arxiv.org/abs/2207.07048)
최신 AI 불확실성 정량화 동향
(https://www.koren.kr/lib/Common/Com/ComDownload.asp?tno=1529&ttp=brd1)
Underspecification Presents Challenges for Credibility (https://arxiv.org/abs/2011.03395)