Embark, 데이터와 AI를 통한 장거리 트럭의 안전 보장

원문: 링크

Neural network performance 분석 속도 100배 향상
분석 가능한 데이터 샘플 수 75배 증가

산업: Technology & software 
솔루션: 지리공간 분석, IoT용 ML 모델 확장
플랫폼 사용 사례: 데이터 사이언스, 머신 러닝, ETL
클라우드: AWS

"자율 주행 트럭을 만드는 것은 전례가 없는 일입니다. 엄청난 양의 창의력, 문제 해결 능력, 직관력이 필요한 작업인데, 데이터브릭스가 없었다면 이 작업을 수행할 수 없었을 것입니다."
-Jason Snell, Embark 개발자 플랫폼 팀의 수석 소프트웨어 엔지니어

 

Embark는 고속도로를 더 안전하게 만들고 화물 운송을 더 효율적으로 만드는 자율주행 기술을 구축하여 전체 트럭 운송 산업을 발전시키는 임무를 수행하고 있습니다. 데이터브릭스는 데이터와 머신 러닝에 대한 통합된 접근 방식을 통해 Embark의 비전을 실현하는 데 도움을 주고 있습니다. 이제 Embark는 고밀도 센서 데이터를 분석하여 트럭에 자율성을 부여하는 모델을 안전하고 신속하게 반복할 수 있습니다. 임무가 달성되면 Embark의 트럭은 피곤하거나 주의가 산만해질 걱정 없이 24시간 주변 환경에 주의를 기울일 수 있으며, 궁극적으로 화물을 안전하고 효율적으로 운송할 수 있게 될 것입니다.

 

차량 사고의 대부분은 사람의 실수로 발생하지만 자율 주행은 어려운 과제입니다.

미국 교통부에 따르면 차량 사고의 약 94%는 사람의 실수로 인해 발생합니다. 이 과제를 해결하기 위해서는 트럭 주변을 촬영하는 것부터 시작하여 방대한 양의 HiDEF 비디오, LiDAR, 레이더 데이터를 수집하여 모델을 학습시켜야 합니다. 당연히 이 방대한 양의 데이터는 다양한 기술적 과제를 안겨주었습니다. 우선, Embark는 사내 컴퓨터와 개인 노트북을 사용하여 데이터에 액세스하고 쿼리 및 분석을 실행했습니다. 하지만 데이터의 규모 때문에 한 번에 30초 분량의 데이터만 분석할 수 있는 한계가 있었습니다. 37,000시간 분량의 녹화된 데이터가 있는 경우 30초 클립을 분석하는 것은 불가능했습니다.

 

노트북 한 대를 사용하다 보니 데이터 액세스가 제한적일 뿐만 아니라, 의미 있는 데이터를 한 곳에 충분히 저장할 수 없었고, 사무실로 데이터를 전송하는 속도도 느리고 많은 비용이 들었습니다. 작은 장애나 변경 사항이 발생하면 필요한 결과를 얻기 위해 엄청난 엔지니어링 시간과 며칠의 기계 시간이 소요되었습니다. "한 번에 30초 정도의 데이터밖에 볼 수 없어 정보에 기반한 의사 결정을 내리기가 정말 어려웠습니다."라고 Embark 개발자 플랫폼 팀의 수석 소프트웨어 엔지니어인 Jason Snell은 말합니다.

 

데이터와 ML을 활용하여 완전 자율 주행 지원

Embark가 데이터브릭스를 구현한 후 모든 것이 더 나은 방향으로 바뀌었습니다. 데이터 분석에 대한 통합된 접근 방식을 통해 수집 및 ETL을 쉽게 관리할 수 있게 되었고, 분산된 플랫폼이 데이터 요구 사항을 충족하도록 확장할 수 있게 되었습니다. 더 좋은 점은, Embark 팀은 메모리가 제한된 단일 노트북에서 클라우드에 있는 수백 대의 컴퓨터로 전환하여 클러스터를 간소화하고 궁극적으로 데이터 과학자가 인프라가 아닌 데이터에 실제로 집중할 수 있게 되었다는 것입니다.

 

팀 간 협업도 대화형 노트북을 통해 향상되어 한 곳에서 코드를 작성하고 모든 결과를 시각화할 수 있었고, 다양한 팀 (데이터 엔지니어, 제품 관리, 데이터 사이언티스트 팀 등)과 쉽게 공유하고 협업할 수 있게 되었습니다.

 

"데이터브릭스 덕분에 트럭에서 35,000시간 이상 기록된 데이터를 활용할 수 있었습니다."라고 Jason은 말합니다. "엔지니어들은 기본적으로 이 데이터에 원하는 크기와 해상도로 언제든 액세스할 수 있습니다."

 

분석적 관점에서, Embark의 데이터 분석가들은 소프트웨어와 모션 센서의 성능을 더 잘 이해하기 위해 Tableau를 통해 Databricks 기반의 대시보드를 생성할 수 있습니다.

 

신속한 확장: 데이터와 AI로 새로운 산업의 속도를 높이는 Databricks

궁극적으로, 데이터브릭스는 데이터 처리 및 모델 교육에 필요한 방대한 규모를 달성하는 동시에 그 어느 때보다 안전에 유의할 수 있게 되었습니다. 예를 들어, 새로운 모델을 도로에 배포하기 전에 Embark 팀은 오프라인에서 성능을 측정하고 안전 기준을 충족하는지 확인합니다. 데이터브릭스 이전에는 모든 변경 사항을 적용하는 데 며칠이 걸렸습니다. 데이터브릭스를 통해 Embark는 오프라인 분석을 단 몇 분으로 단축하여 훨씬 더 빠르고 안전하게 반복 작업을 수행할 수 있게 되었습니다.

 

"자율 주행 트럭을 만드는 일은 전례가 없었습니다."라고 Jason은 덧붙입니다. "엄청난 창의력, 문제 해결 능력, 직관이 필요한 작업인데, 데이터브릭스가 없었다면 이 작업을 수행할 수 없었을 것입니다."