AusNet - 데이터를 사용하여 수백만 호주 가정에 전력 공급하기

(원문: 링크)

데이터 플랫폼 50% 비용 절감
3배 빠른 데이터 처리
데이터 플랫폼 운영 오버헤드 20% - 30% 감소

산업: 에너지 및 유틸리티
솔루션: 예지보전
플랫폼 사용 사례: 레이크하우스, 델타 레이크, 데이터 사이언스, 머신 러닝, 데이터브릭스 SQL, ETL
클라우드: Azure

 

"데이터브릭스는 데이터 혁신 여정에서 중추적인 역할을 하는 강력한 플랫폼입니다. 안정적이고 효율적이며 필요에 따라 확장할 수 있어 데이터 엔지니어, 데이터 사이언티스트, 비지니스 애널리스트 간의 효과적인 협업을 가능하게 합니다."

- Seweryn Golinski, 선임 데이터 솔루션 디자이너, AusNet Services

 

 

AusNet Services는 110억 개가 넘는 전기, 가스 및 네트워크 연결 자산을 보유한 호주의 에너지 공급 업체입니다. 이 기업이 데이터 기반 의사 결정을 내리고, 150만 명의 고객에게 더 나은 서비스를 제공하기 위해서는 고객의 에너지 및 장비 사용량을 통합적으로 파악하는 것이 중요합니다. AusNet은 향후 4년간 65TB 이상의 데이터가 증가할 것으로 추측하여, 예상되는 문제를 해결하기 위해 데이터 혁신 여정을 시작했습니다. 기존 AusNet의 데이터는 다양한 소스와 장소에 생성되어 별도의 데이터 웨어하우스에 보관되어 있었고, 이로 인해 사전에 장비 상태를 점검하기 위한 유지보수 일정을 관리하는 것과 의미 있는 데이터 인사이트를 도출하는 데 어려움을 겪었습니다. Azure에 데이터브릭스 레이크하우스 플랫폼을 구현한 이후, AusNet는 이제 장비의 성능을 완벽하게 파악하고 데이터에 기반한 권장 조치를 전달하여 위험을 예측하고 유지 관리 비용을 절감할 수 있게 되었습니다.

 

레거시 시스템으로 인한 데이터 처리의 어려움

AusNet Services는 호주 빅토리아주의 가정, 지역사회, 기업 및 정부에 상업용 에너지 서비스를 제공하는 것 외에도 전기 및 가스 배전 네트워크를 운영하는 다각화된 호주 에너지 및 인프라 기업입니다. "데이터 혁신 여정을 시작하면서 우리의 요구 사항을 충족할 수 있는 강력한 최신 데이터 플랫폼이 필요했습니다. 데이터 엔지니어는 대량의 전체 계량 데이터를 쉽게 처리할 수 있어야 했습니다. 데이터 사이언티스트는 그 데이터를 사용하여 실험 모델을 실행할 수 있어야 했고, 비지니스 애널리스트는 쿼리와 자체적인 임시 분석을 실행할 수 있어야 했습니다."라고 AusNet Services의 수석 데이터 플랫폼 책임자인 Souvik Das는 말합니다.

 

AusNet Services는 기존 컴퓨팅 플랫폼의 안정성 및 확장성 문제에 직면했습니다. 다양한 원본의 모든 데이터를 확장 가능한 통합 인프라로 중앙 집중화하기 위해 Azure의 데이터브릭스 레이크하우스 플랫폼으로 전환했습니다. 이 마이그레이션을 통해 데이터 팀의 성능이 향상되었으며, 유지 관리 일정을 예측하고 장비 장애의 영향을 줄여 더 나은 고객 경험을 제공하는 다운스트림 분석 및 기계 학습 사용 사례가 가능해졌습니다.

 

데이터 신뢰성 및 팀 간 협업 개선

AusNet Services는 몇 달 만에 모든 프로덕션 워크로드를 레거시 시스템에서 데이터브릭스로 마이그레이션하여 데이터 팀이 전체 데이터 수명주기를 더욱 안정적으로 관리할 수 있게 되었습니다. 데이터 준비 및 처리부터 실험 실행 및 임시 분석에 이르기까지 데이터 팀의 성능이 크게 향상되었습니다.

 

Souvik은 "델타 레이크의 기능과 빠른 성능을 활용하여 데이터 볼트 2.0 기반의 데이터 모델을 위해 대량의 데이터를 더 빠른 속도로 효율적으로 처리할 수 있었습니다. 델타 레이크의 타임 트래블 기능을 통해 데이터의 과거 버전에 액세스할 수 있어 유용했습니다."라고 말합니다.

 

또한, 데이터브릭스의 최적화된 클러스터 관리 기능은 다양한 프로젝트의 전반적인 유지 관리를 개선하는 데 도움이 되었습니다. 데이터 엔지니어는 필요에 따라 인프라를 확장 및 축소할 수 있어 데이터 또는 쿼리를 처리하는 데 더 많은 컴퓨팅 성능을 제공할 수 있습니다. 비지니스 애널리스트는 데이터브릭스 대화형 노트북을 사용하여 자체적으로 임시 분석을 수행할 수 있습니다. 또한 데이터 사이언티스트는 노트북을 통해 실험을 쉽게 수행하고 배포할 수 있어 여러 사업부 간의 협업을 더욱 촉진할 수 있습니다.

 

고객이 영향을 받기 전에 장비 장애 예측

AusNet은 또한 장애가 발생하기 전에 모든 장비의 상태, 중요도 및 위험을 평가하여 장비를 보다 효과적이고 안전하게 관리하기를 원했습니다. 이 팀은 세 가지 장비 클래스에 대해 데이터 기반 인사이트와 예지보전을 사용하기로 하여 상당한 리스크를 절감하고 비용 최적화를 달성했습니다. 이러한 초기 성공의 결과로 AusNet은 이 이니셔티브를 확장하여 현재 전체 장비에 걸쳐 예지보전을 구현하고 있습니다.

 

"데이터브릭스는 마이그레이션 및 온보딩 환경을 원활하게 만들어주는 등 이 여정에서 필수적인 역할을 해왔습니다. 팀은 매우 지원적이고 거의 즉각적인 지원을 제공합니다."라고 Souvik은 말합니다.

 

앞으로 AusNet Services의 데이터 팀은 호주 빅토리아주 전역의 고객의 미래 에너지 수요를 지원하기 위해 더 많은 기능을 도입할 계획입니다. David Betts 수석 데이터 엔지니어는 "데이터 처리를 개선하고 실시간 사용 사례를 가능하게 하는 데이터브릭스 스트리밍, 손쉬운 데이터 분석을 위한 데이터브릭스 SQL, 데이터브릭스를 활용한 데이터 기반 인사이트를 위한 Power BI와 같은 데이터 시각화 도구의 통합 등이 일부 기능에 포함될 것"이라고 말했습니다.

 

에너지 부문은 급속한 변화를 겪고 있으며, AusNet Services는 오늘 데이터브릭스에 대한 투자를 통해 지속 가능한 에너지 미래를 실현하기 위한 데이터 인사이트의 잠재력을 실현할 것입니다.