Eneco - AI로 커넥티드 홈 강화하기

300가지 유형의 센서 및 사용자 상호작용 데이터
커넥티드 홈 플랫폼의 35만 가구

 

이미지 출처: 데이터브릭스

산업: 에너지 및 유틸리티
솔루션: 예측 유지보수, 추천 엔진
플랫폼 사용 사례: 델타 레이크, 데이터 레이크하우스 아키텍처, 데이터 사이언스, 머신러닝, ETL
CLOUD: AWS

 

 

데이터 엔지니어와 데이터 사이언티스트 뿐만 아니라 비즈니스 부서로도 구성된 저희 팀은 Databricks 데이터 인텔리전스 플랫폼을 활용해 IoT와 고객 데이터를 널리 분석하고 머신 러닝을 강화함으로써 고객의 에너지 요구를 충족할 수 있었습니다.
- Stephen Glasworthy, 데이터 사이언스 책임자, Eneco

 

Eneco는 네덜란드에서 천연가스, 전기, 열을 생산하고 공급하며, 200만 명 이상의 기업 및 가정 고객에게 서비스를 제공합니다. 스마트 홈 기술에 대한 수요가 증가함에 따라, Eneco는 Toon이라는 가정용 에너지 관리 솔루션을 제공하는 연결된 홈 플랫폼을 개발했습니다. Toon 앱을 이용하면 주택 소유자가 모바일 장치로 난방, 조명, 연기 감지기, 스마트 플러그를 제어할 수 있습니다. Eneco는 300가지가 넘는 센서 및 사용자 상호작용 데이터와 고객 전체의 페타바이트 규모의 에너지 사용 데이터를 기반으로 서비스를 운영합니다. 그러나 Eneco의 기존 인프라는 복잡하고 유지 관리에 많은 시간이 소요되어 팀의 가치 창출에 방해가 되었고, 불필요한 운영 비용을 발생시켰습니다. IoT 데이터를 효율적으로 활용하기 위해 Eneco는 데이터브릭스 데이터 인텔리전스 플랫폼으로 전환하여 데이터 및 분석을 단순화하고, 민주적이며 확장 가능한 데이터 인사이트와 ML 기반 서비스를 통해 증가하는 고객 기반에 스마트 에너지 관리 서비스를 제공할 수 있게 되었습니다.

 

확장 가능한 실시간 데이터 인사이트를 얻기 위한 고군분투

여러 국가에서 지속적으로 성장하고 있는 Quby는 이제 모회사인 Eneco에 완전히 통합되었습니다. 이 회사는 대규모로 관리하기에 비용이 많이 들고 복잡한 자체 Hadoop 온프레미스 인프라에서 방대한 양의 IoT 데이터를 처리하는 데 어려움을 겪고 있었습니다. "데이터 엔지니어링 측면에서 우리가 직면한 가장 큰 문제는 자체 인프라 관리에 너무 많은 시간이 소요된다는 것이었습니다."라고 Eneco의 데이터 과학 책임자인 Stephen Glasworthy는 설명합니다. 그는 또한 "온사이트 Hadoop 클러스터를 운영하면서 새로운 패키지가 출시될 때마다 데이터 엔지니어가 그 패키지를 제대로 설치했는지, 종속성을 잘 관리하고 있는지 확인하는 데 하루나 이틀을 보내야 했습니다."라고 덧붙였습니다. 이어서 그는 "유럽 전역의 수십만 명의 사용자로 확장하기 위해서는 클라우드를 이용하고 데이터 과학자들이 쉽게 사용할 수 있는 더 강력한 플랫폼을 도입해야 했습니다."라고 말했습니다.

 

레이크하우스 아키텍처를 통한 통합 접근 방식

Eneco는 데이터 통합을 단순화하고 실시간 데이터 분석 및 머신 러닝을 실현하기 위해 데이터브릭스의 데이터 인텔리전스 플랫폼을 도입했습니다. "데이터브릭스로 전환하면서, 우리는 인프라 관리에 집중하던 작업에서 벗어나 데이터 엔지니어들이 비즈니스에 실질적인 가치를 제공하는 분야에 더 집중할 수 있게 되었습니다."라고 Stephen은 말합니다. 이제 Eneco는 페타바이트 규모의 배치 및 스트리밍 IoT 데이터를 숙련되게 처리할 수 있으며, 실시간 데이터 파이프라인을 쉽게 구축해 다운스트림 분석 및 머신 러닝을 지원할 수 있습니다. 데이터브릭스는 공통 API를 통해 Eneco가 대용량의 기록 및 스트리밍 데이터 세트를 S3에 트랜잭션 방식으로 저장할 수 있도록 지원합니다. 이를 통해 Eneco의 데이터 파이프라인은 크게 단순화되었고, 고성능 분석을 위한 대규모 데이터 세트 활용이 가능해졌습니다.

 

데이터브릭스의 협업 노트북은 개발자, 엔지니어, 데이터 과학자들이 팀 간에 투명하게 협업할 수 있는 기회를 제공했습니다. "협업을 통해 체계적인 방식으로 코드를 개발할 수 있었으며, 언어 간의 전환이 매우 신속하게 가능했습니다. 특히 데이터 과학에서는 Python이 탁월한 성능을 발휘합니다. 우리는 흐름과 처리 측면에서 최신 개발 기술을 활용하고자 합니다. 그리고 때때로, 프로덕션 코드를 위해 Scala로 전환하는 것이 더 적합하다고 느낄 때도 있습니다."라고 Stephen은 말합니다. 이러한 유연성 덕분에 Eneco 팀은 분산 데이터에 머신 러닝을 적용해 데이터 기반 서비스를 개선함으로써 시장에서의 경쟁력을 유지할 수 있습니다.

 

 

스마트 홈을 강화하는 혁신 가속화

데이터브릭스를 활용함으로써 Eneco는 다양한 스마트 홈 서비스를 개발할 수 있었습니다. 그중 하나는 가전제품의 에너지 사용량을 모니터링하는 서비스입니다. 이 서비스는 10초 간격으로 전기 데이터에서 패턴을 추출해 거의 실시간으로 데이터 인사이트를 제공합니다. "데이터브릭스가 우리에게 큰 가치를 제공한 사례 중 하나로, 가정 난방 시스템에서 비정상적인 징후를 발견하는 것을 들 수 있습니다."라고 Stephen이 말합니다. "데이터브릭스 덕분에 매우 짧은 지연 시간으로 사용자에게 알림을 보낼 수 있어, 집안의 문제가 편안함에 영향을 미치기 전에 조치를 취할 수 있습니다."

 

더 나아가, Stephen은 팀원들의 집중력과 역량을 강화하는 것의 중요성을 강조합니다. "데이터브릭스의 진정한 비즈니스 가치는 능숙한 팀과 함께 전체 데이터 사이언스 스택을 관리할 수 있게 되어 인프라 관리에 시간을 낭비하지 않아도 된다는 점입니다. 이를 통해 수집된 데이터에서 진정한 인사이트를 도출할 수 있는 머신 러닝 알고리즘 개발에 집중할 수 있습니다. Eneco는 앞으로도 새로운 에너지 혁신을 지속적으로 개발함에 따라, 데이터브릭스가 서비스 확장과 증가하는 고객 수요를 충족하는 데 있어 핵심적인 역할을 할 것이라고 믿고 있습니다. "스마트 홈 에너지의 미래는 우리 눈앞에서 급속도로 진화하고 있습니다. 데이터브릭스와 함께라면, 우리는 이러한 변화를 주도하고 현재와 미래의 도전을 준비할 수 있습니다."라고 그는 결론지었습니다.