카테고리 없음
Volvo - 전 세계 70만 개 이상의 예비 부품 실시간으로 배포하기
스누피18
2024. 9. 26. 14:02
데이터브릭스 델타 라이브 테이블 구축 후 최대 40%의 효율성 향상
파이프라인 지연 시간 99% 감소
산업: 자동차
솔루션: 안전 재고 분석,수요 예측,온-셸프 가용성
플랫폼 사용 사례: ETL,데이터 스트리밍,워크플로우,델타 라이브 테이블
클라우드: Azure
"이제 델타 라이브 테이블을 사용하면 복잡한 코드 작성 없이 클릭 한 번으로 메타데이터 스케줄링을 트리거에서 연속으로, 그리고 다시 트리거로 쉽게 전환할 수 있어 상당한 시간을 절약할 수 있습니다."
- Bruno Magri, 볼보 그룹 서비스 시장 물류 부문 선임 데이터 엔지니어
볼보 그룹 서비스 시장 물류(SML) 팀은 공급업체부터 트럭 딜러까지 전 세계 볼보 그룹의 방대한 부품 재고를 관리하고 유통합니다. 매년 약 20만 대의 볼보 트럭이 판매되고 수백만 대가 도로를 달리고 있으며, 전 세계 창고에 수십만 개의 부품이 분산되어 있습니다. 이러한 상황에서 모든 예비 부품을 추적하고 각 부품이 필요한 딜러사에 제때 도착하도록 하는 것은 매우 어려운 일입니다. 데이터브릭스 데이터 인텔리전스 플랫폼과 델타 라이브 테이블(DLT)을 도입한 후, 팀은 즉각적인 필요와 예측 시나리오에 따라 재고를 어디에 어떻게 비축해야 하는지에 대한 가시성을 확보할 수 있게 되었습니다.
사일로화된 데이터 시스템은 전체 공급망을 위험에 빠뜨립니다
트럭이 고장 나면 배송이 지연되고 공급망에 차질이 생기며 소비자와 제조업체 모두 어려움을 겪게 됩니다. "우리의 주요 목표는 고객과 가까운 곳에서 예비 부품을 사용할 수 있도록 하는 것입니다."라고 볼보 SML의 디지털 제품 관리자인 Ingmar Rogiers는 말합니다. "이것이 바로 고객에게 좋은 서비스를 제공하기 위해 SML이 하고 있는 일입니다."
어떤 예비 부품이 어디에 있는지 파악하고 심지어 어떤 부품이 어디에 있어야 하는지 예측하는 것은 전체 볼보 SML 시스템의 흐름에 매우 중요합니다. 하지만 이러한 목표를 달성하는 것이 항상 쉬운 일은 아니었습니다. 데이터브릭스를 도입하기 전 볼보의 데이터 스택은 사용 가능했지만 개선의 여지가 있었습니다. 수년간의 인수합병으로 인해 여러 레거시 시스템이 포함된 분산된 애플리케이션 환경이 조성되었습니다. 재고 계획은 중앙 집중식 허브에서 관리되는 대신 창고마다 개별적으로 이루어졌으며, 공유할 수 있는 리소스에 대한 가시성이 제한적이었습니다.
"우리는 통합 계획 및 조정을 개선할 수 있는 좋은 기회를 얻었습니다."라고 Rogiers는 설명합니다.
볼보 SML 팀은 모든 데이터 소스를 수집하고 통합할 수 있는 중앙 플랫폼이 필요했습니다. 이 플랫폼에서 운영을 조정할 수 있다면 엄청난 이득을 얻을 수 있다는 것을 알고 있었습니다.
어떤 예비 부품이 어디에 있는지 파악하고 심지어 어떤 부품이 어디에 있어야 하는지 예측하는 것은 전체 볼보 SML 시스템의 흐름에 매우 중요합니다. 하지만 이러한 목표를 달성하는 것이 항상 쉬운 일은 아니었습니다. 데이터브릭스를 도입하기 전 볼보의 데이터 스택은 사용 가능했지만 개선의 여지가 있었습니다. 수년간의 인수합병으로 인해 여러 레거시 시스템이 포함된 분산된 애플리케이션 환경이 조성되었습니다. 재고 계획은 중앙 집중식 허브에서 관리되는 대신 창고마다 개별적으로 이루어졌으며, 공유할 수 있는 리소스에 대한 가시성이 제한적이었습니다.
"우리는 통합 계획 및 조정을 개선할 수 있는 좋은 기회를 얻었습니다."라고 Rogiers는 설명합니다.
볼보 SML 팀은 모든 데이터 소스를 수집하고 통합할 수 있는 중앙 플랫폼이 필요했습니다. 이 플랫폼에서 운영을 조정할 수 있다면 엄청난 이득을 얻을 수 있다는 것을 알고 있었습니다.
실시간에 가까운 데이터 수집 및 자동화를 위한 시스템 개선
볼보 SML은 클라우드 여정의 초기 단계에서 Azure Data Factory(ADF)를 비롯한 다른 솔루션을 시험해 보았습니다. 하지만 Databricks 솔루션이 고유한 요구 사항을 충족하는 유일한 방법이라는 것을 빠르게 깨달았습니다.
혁신의 첫 번째 단계는 데이터브릭스 데이터 인텔리전스 플랫폼을 도입하는 것이었습니다. 이 중요한 첫 단계는 이전에 분리되어 있던 볼보의 예비 부품 데이터 소스를 하나의 통합된 플랫폼으로 통합하는 것이었습니다.
그 후, 팀은 Databricks DLT와 Databricks Workflows를 배포하여 볼보의 방대한 양의 데이터를 거의 실시간으로 수집하고 처리함으로써 조직에 새로운 역량을 제공했습니다. 이는 업계의 판도를 바꾼 것이자 DLT와 워크플로우를 채택한 주된 이유였습니다.
"계획 및 공급망 비즈니스는 매우 빠르게 움직이기 때문에 모든 것이 거기서 시작되었습니다."라고 Rogiers는 말합니다. "데이터는 금방 구식이 됩니다. 따라서 매 순간이 중요합니다."
몇 분씩 걸리던 작업을 이제 단 몇 초 만에 실행할 수 있게 되었습니다. "복잡한 코드를 작성할 필요 없이 클릭 한 번으로 메타데이터 스케줄링을 트리거에서 연속으로, 그리고 다시 트리거로 쉽게 전환할 수 있어 상당한 시간을 절약할 수 있습니다."라고 볼보 SML의 수석 데이터 엔지니어 Bruno Magri는 설명합니다.
이러한 새로운 기능으로 무장한 팀은 자동 체크포인트, 백그라운드 유지 관리, 테이블 최적화, 인프라 자동 확장 등 일상적인 작업의 프로세스를 강화하고 효율성을 개선하기 위해 DLT 자동화된 운영 기능을 출시했습니다.
"이제 백그라운드에서 실행되는 최적화 및 유지 관리 작업 때문에 걱정할 필요가 없습니다."라고 Bruno는 말합니다. "테이블을 새로 고쳐야 하는 경우 몇 번의 클릭만으로 할 수 있습니다. 데이터 유형 변경이든 스키마 변경이든, 데이터브릭스 DLT는 거의 자동으로 이러한 작업을 처리할 수 있습니다. 정말 멋진 기능입니다."
데이터 오케스트레이션을 위해 팀은 ADF에서 데이터브릭스 워크플로우로 전환했습니다. "워크플로는 우리에게 훌륭한 오케스트레이터였습니다. 데이터브릭스 API를 사용하여 모든 데이터를 쿼리하고 모니터링 보고서를 작성하여 작업이 실패하는지, 평균적으로 얼마나 많은 시간이 걸리는지, 해당 작업의 평균보다 더 많은 시간이 걸리는지 확인할 수 있습니다."
재고 가시성 이상의 이점
DLT 배포 이후 볼보는 글로벌 보고 및 엔드투엔드 주문 추적에서 실시간 재고 처리에 이르기까지 새로운 기능과 효율성을 실현했습니다. 이제 볼보 SML 팀은 레이크하우스 아키텍처에 구축된 데이터브릭스 데이터 인텔리전스 플랫폼의 자동화된 운영, 자동 확장 및 통합 이점을 전례 없이 활용할 수 있게 되었습니다.
"오늘날 우리는 예비 부품의 위치, 창고 전체에서 예비 부품의 가치, 창고에서 창고 또는 딜러로 부품을 배송할 때 발생할 수 있는 잠재적 비용을 통합적으로 파악할 수 있습니다."라고 Rogiers는 말합니다.
실시간 데이터 수집 및 처리는 볼보 SML의 확장 계획에도 도움이 됩니다. "우리 조직에는 '풋프린트 설계'라고 부르는 작업이 있는데, 다음 창고의 위치나 특정 시장 및 브랜드를 담당할 창고를 파악하는 작업입니다."라고 Rogiers는 덧붙입니다.
여러 일상적인 데이터베이스 작업에서 최대 40%의 효율성 향상을 달성한 볼보 SML 팀은 이제 데이터브릭스 DLT와 워크플로우가 조직 전반에 큰 변화를 가져올 것이라는 확신을 가지고 미래를 바라볼 수 있게 되었습니다.
혁신의 첫 번째 단계는 데이터브릭스 데이터 인텔리전스 플랫폼을 도입하는 것이었습니다. 이 중요한 첫 단계는 이전에 분리되어 있던 볼보의 예비 부품 데이터 소스를 하나의 통합된 플랫폼으로 통합하는 것이었습니다.
그 후, 팀은 Databricks DLT와 Databricks Workflows를 배포하여 볼보의 방대한 양의 데이터를 거의 실시간으로 수집하고 처리함으로써 조직에 새로운 역량을 제공했습니다. 이는 업계의 판도를 바꾼 것이자 DLT와 워크플로우를 채택한 주된 이유였습니다.
"계획 및 공급망 비즈니스는 매우 빠르게 움직이기 때문에 모든 것이 거기서 시작되었습니다."라고 Rogiers는 말합니다. "데이터는 금방 구식이 됩니다. 따라서 매 순간이 중요합니다."
몇 분씩 걸리던 작업을 이제 단 몇 초 만에 실행할 수 있게 되었습니다. "복잡한 코드를 작성할 필요 없이 클릭 한 번으로 메타데이터 스케줄링을 트리거에서 연속으로, 그리고 다시 트리거로 쉽게 전환할 수 있어 상당한 시간을 절약할 수 있습니다."라고 볼보 SML의 수석 데이터 엔지니어 Bruno Magri는 설명합니다.
이러한 새로운 기능으로 무장한 팀은 자동 체크포인트, 백그라운드 유지 관리, 테이블 최적화, 인프라 자동 확장 등 일상적인 작업의 프로세스를 강화하고 효율성을 개선하기 위해 DLT 자동화된 운영 기능을 출시했습니다.
"이제 백그라운드에서 실행되는 최적화 및 유지 관리 작업 때문에 걱정할 필요가 없습니다."라고 Bruno는 말합니다. "테이블을 새로 고쳐야 하는 경우 몇 번의 클릭만으로 할 수 있습니다. 데이터 유형 변경이든 스키마 변경이든, 데이터브릭스 DLT는 거의 자동으로 이러한 작업을 처리할 수 있습니다. 정말 멋진 기능입니다."
데이터 오케스트레이션을 위해 팀은 ADF에서 데이터브릭스 워크플로우로 전환했습니다. "워크플로는 우리에게 훌륭한 오케스트레이터였습니다. 데이터브릭스 API를 사용하여 모든 데이터를 쿼리하고 모니터링 보고서를 작성하여 작업이 실패하는지, 평균적으로 얼마나 많은 시간이 걸리는지, 해당 작업의 평균보다 더 많은 시간이 걸리는지 확인할 수 있습니다."
재고 가시성 이상의 이점
DLT 배포 이후 볼보는 글로벌 보고 및 엔드투엔드 주문 추적에서 실시간 재고 처리에 이르기까지 새로운 기능과 효율성을 실현했습니다. 이제 볼보 SML 팀은 레이크하우스 아키텍처에 구축된 데이터브릭스 데이터 인텔리전스 플랫폼의 자동화된 운영, 자동 확장 및 통합 이점을 전례 없이 활용할 수 있게 되었습니다.
"오늘날 우리는 예비 부품의 위치, 창고 전체에서 예비 부품의 가치, 창고에서 창고 또는 딜러로 부품을 배송할 때 발생할 수 있는 잠재적 비용을 통합적으로 파악할 수 있습니다."라고 Rogiers는 말합니다.
실시간 데이터 수집 및 처리는 볼보 SML의 확장 계획에도 도움이 됩니다. "우리 조직에는 '풋프린트 설계'라고 부르는 작업이 있는데, 다음 창고의 위치나 특정 시장 및 브랜드를 담당할 창고를 파악하는 작업입니다."라고 Rogiers는 덧붙입니다.
여러 일상적인 데이터베이스 작업에서 최대 40%의 효율성 향상을 달성한 볼보 SML 팀은 이제 데이터브릭스 DLT와 워크플로우가 조직 전반에 큰 변화를 가져올 것이라는 확신을 가지고 미래를 바라볼 수 있게 되었습니다.