J.B. Hunt - 화물 운송을 미래로 이끌다

(원문: 링크)

99.8% 더 빠른 화물 추천
270만 달러의 IT 인프라 비용 절감, 수익성 증대

 

Image Source: J.B. Hunt

 

산업: 제조, 물류
솔루션: 고객 세분화, 수요 예측, 위협 탐지
플랫폼 사용 사례: 레이크하우스, 델타 레이크, 데이터 사이언스,  머신러닝, ETL
클라우드: Google 클라우드

 

"데이터브릭스 레이크하우스는 데이터와 AI를 활용하여 운송업체와 화주에게 최상의 경험을 제공하는 가장 혁신적인 디지털 화물 마켓플레이스의 토대를 마련했습니다."

- Joe Spinelle, 엔지니어링 및 기술 이사, J.B. Hunt

 

북미에서 가장 효율적인 운송 네트워크를 구축하는 J.B. Hunt는 레거시 아키텍처, 급증하는 데이터 양, 제한된 AI 기능 등으로 인해 어려움을 겪었습니다. 그러나 구글 클라우드에서 데이터브릭스 레이크하우스를 도입한 후, J.B. Hunt는 공급망 효율성 개선과 생산성 향상을 위한 운영 솔루션을 제공할 수 있게 되었고, 이로 인해 IT 인프라 비용을 크게 절감할 수 있었습니다..

통합 데이터 없이는 불가능한 발전

북미에서 가장 효율적인 운송 네트워크를 구축하기 위해 J.B. Hunt 트랜스포트는 동적 화물 매칭을 비롯한 자산 및 비자산 기반 운송 솔루션을 제공했습니다. 이에는 가격, 중량, 위치 등의 세부 사항을 고려하여 기업의 특정 운송 요구 사항과 가용 운송업체 용량을 연결하는 것이 포함되었습니다. 그러나 배송업체 업계는 매우 세분화되어 있었고, 약 350만 명으로 추정되는 운전자가 존재하는 것이 큰 문제였습니다. 이러한 세분화를 고려한 매칭 시스템을 개선하기 위해서는 실시간 데이터와 의미 있는 분석이 필요했습니다.

 

해당 목표를 달성하기 위해서는, 레거시 엔터프라이즈 데이터 웨어하우스(EDW) 플랫폼에 저장된 데이터의 가치를 실현해야 했습니다. J.B. Hunt의 시스템은 이동 중인 수십만 개의 로드에서 15분마다 위치 핑을 통해 생성되는 방대한 데이터를 처리하고 저장하는 데 어려움을 겪었습니다. 또한, 민감한 데이터에 대한 높은 수준의 보안을 유지하면서 적절한 사용자만이 액세스할 수 있어야 했습니다. 마지막으로, 회사가 소유하지 않은 트럭과 컨테이너의 IoT 센서에서 생성되는 데이터 스트림을 지원할 수 있는 기능도 필요했습니다. 이러한 이유로, 원격 분석 기반 사용 사례에서 머신 러닝과 AI를 활용하는 것은 거의 불가능했습니다.

개방적이고 확장 가능하며 통합된 레이크하우스 아키텍처 구축

J.B. Hunt는 Google Cloud와 데이터브릭스 레이크하우스와의 협력을 통해 모든 형태의 데이터를 캡처하고 데이터 엔지니어, 사이언티스트 및 비즈니스 전반의 다른 사람들을 위한 통합 BI 및 AI 플랫폼을 구축하기로 결정했습니다. 이를 통해 J.B. Hunt는 상호 운용이 가능하고 신속한 개방형 데이터 레이크하우스 플랫폼을 성공적으로 구축했으며, 이를 통해 북미에서 선도적인 위치를 유지하며 고객에게 최고의 운송 서비스를 제공할 수 있게 되었습니다.

 

델타 레이크를 기반으로 J.B. Hunt는 모든 데이터를 한 곳에 모아 조직 전체에서 쉽게 액세스할 수 있을 뿐만 아니라, 규모에 관계없이 스트리밍 데이터 파이프라인의 성능과 안정성을 보장할 수 있게 되었습니다. Delta Lake는 테라바이트에 달하는 기존 데이터를 오픈 스토리지 레이어로 옮기면서 효율성과 이동성을 팀에게 제공해주었습니다. J.B. Hunt는 Delta Lake를 통해 실시간 스트리밍을 수행하여 더 크고 완전한 데이터 세트를 분석할 수 있으며, 분석 및 머신 러닝 작업을 이전보다 더 빠르게 실행할 수 있습니다. 데이터 과학 팀은 이제 MLflow를 활용하여 코드와 실험의 재현성을 확립하고 데이터 과학자들이 재사용할 수 있도록 보장할 수 있습니다. J.B. Hunt의 엔지니어링 및 기술 이사인 Joe Spinelle은 "다양한 운영 환경에서 클라우드나 도구 집합에 구애받지 않고 사용 사례를 신속하게 배포할 수 있는 유연성을 제공하는 플랫폼을 기반으로 구축하는 것이 중요하다"고 말합니다.

 

데이터브릭스 레이크하우스는 자동화된 데이터 거버넌스 플랫폼인 Immuta와도 함께 사용되고 있습니다. Immuta는 기존 EDW의 보안 기능을 확장하여 데이터 보안 수준을 강화했습니다. 이제 데이터 거버넌스 프로세스를 자동화하여 적절한 사용자가 중요한 비즈니스 의사결정을 내릴 때 필요한 데이터에 안전하게 액세스할 수 있도록 보장할 수 있습니다. 이는 역할 기반의 액세스 제어를 넘어서 세분화된 보안, 글로벌 및 로컬 보안 정책 수립 기능, 컬럼 수준의 데이터 마스킹을 통해 데이터에 액세스하는 사용자와 데이터 사용 내역에 대한 완전한 감사를 제공합니다.

J.B. Hunt의 엔지니어링 및 기술 수석 매니저인 Tina Headrick은 "두 솔루션을 결합하여 사용자가 민감한 데이터에 액세스하는 데 걱정 없이 리포팅에 접근할 수 있는 유연한 데이터 보안 수준을 갖출 수 있게 되었습니다."라고 설명합니다. 

운영 효율성을 제공하는 단일 데이터 원본

협업 측면에서, 데이터브릭스는 데이터 사이언스 생산성을 가속화하기 위해 J.B. Hunt의 데이터 팀을 하나로 모으는 데 성공했습니다. 엔지니어링 및 기술 부문 부사장인 Douglas Mettenburg는 "데이터브릭스를 사용하면 모든 것이 동일한 리포지토리, 동일한 노트북 구조, 동일한 언어 및 동일한 버전에 있으며, 이것이 핵심입니다."라고 설명합니다.

 

J.B. Hunt에서 데이터브릭스의 성공은 놀라운 성능 향상으로 이어져, 이제 수천 개의 ML 모델을 4시간 이내에 훈련하여 이전보다 99.8% 더 빠르게 운송업체에 화물 추천을 제공할 수 있는 능력을 갖추게 되었습니다. 이러한 성과는 데이터브릭스의 투명성과 밀접하게 연관되어 있습니다. 엔지니어링 및 기술 분야의 Doug는 "궁극적으로 데이터브릭스는 이제 J.B. Hunt에게 투명성의 원천이 되었습니다. 데이터와 기술이 회사 전체에 제공할 수 있는 진정한 가치를 보여주고 있습니다."라고 강조합니다. 이를 통해 J.B. Hunt는 더욱 효율적인 화물 추천 시스템을 구축하고 경쟁력을 강화할 수 있게 되었습니다.