Solytic - 운영 효율성을 위한 태양광 디지털화

원문: 링크

90% 비용 절감
처리된 성장 데이터 15배 증가

 

산업: 에너지 및 유틸리티
솔루션: 예지보전, 수요 예측, 시계열 예측
플랫폼 사용 사례: 레이크하우스, 델타 레이크, 데이터 사이언스, ETL
클라우드: Azure

"Databricks Lakehouse 아키텍처의 확장성 덕분에 이제 모든 데이터에 포함된 인사이트를 활용하여 고객이 직접적인 영향을 받기 전에 잠재적인 성능 문제를 사전에 알릴 수 있게 되었습니다."
- Steffen Mangold, CTO, Solytic

 

태양광 장비 모니터링 및 분석 회사인 Solytic은 누구나 쉽게 태양광 에너지를 사용할 수 있도록 하는 것을 목표로 삼고 있습니다. Solytic의 솔루션은 담당자가 AI를 사용하여 프로세스를 자동화하고 생산을 최적화하며 자산 수명 주기 전반에 걸쳐 비용을 절감함으로써 실시간으로 데이터에 기반한 스마트한 의사 결정을 내릴 수 있도록 설계되었습니다. 데이터 양이 증가함에 따라 Solytic의 레거시 시스템은 대규모 분석 워크로드에 필요한 데이터 안정성이나 확장성을 제공하지 못했습니다. 그러나 데이터브릭스 레이크하우스 플랫폼을 통해 분석팀은 태양광 장비 성능을 모니터링하고 고객에게 영향을 미치기 전에 문제를 완화할 수 있게 되었습니다.

빠른 성장과 레거시 기술의 만남

오늘날 기업과 개인 모두 건강에 대한 관심만큼이나 에너지에 대한 관심도 높아지고 있습니다. 이는 소규모 주거 소비자부터 대규모 산업용 태양광 사이트에 이르기까지 다양한 고객을 위한 태양광 장비 모니터링 및 분석을 전문으로 하는 Solytic과 같은 기업에게 희소식입니다. 하지만 적절한 도구 없이는 이러한 폭발적인 관심에 대응하기가 쉽지 않았습니다. 

여러 대형 고객이 Solytic을 도입하면서 Solytic은 태양광 패널에 내장된 IoT 센서에서 생성되는 데이터의 양이 1,500% 증가하는 문제에 직면했습니다. 기존 솔루션은 확장성이 떨어지고 팀 간의 협업이 불가능했으며, 데이터를 보존할 수 없었습니다. 또한 대규모 분석 워크로드에 대한 접근성을 제공하지 못했고 지속적인 비용 증가로 인해 유지 관리 비용이 엄청나게 많이 들었습니다.

하루에 10억 개 이상의 이벤트가 스트리밍되는 Solytic은 스토리지를 확장하지 않고 데이터 레이크에서 데이터 처리를 분리하여 최신 플랫폼으로의 전환을 시작해야 했습니다. 또한 1TB의 과거 데이터를 새로운 플랫폼으로 마이그레이션해야 했습니다. 이 상황에서 Solytic은 데이터브릭스 플랫폼을 찾게 되었습니다. 

데이터 통합과 AI 활용의 연결된 힘

고객에게 태양광 발전소에 대한 정확한 인사이트를 신속하게 제공하기 위해 Solytic은 여러 가지 과제를 신속하게 해결해야 했습니다. 먼저, 수신되는 데이터 스트림을 정리, 보강 및 집계하여 신속한 쿼리 및 분석을 가능하게 하는 방법이 필요했습니다. IoT 패널에서 초당 10,000개 이상의 이벤트가 들어오고, 세분화된 데이터, 다양한 데이터 품질, 지연된 데이터가 있는 상황에서 하나의 플랫폼에서 이러한 모든 문제를 해결할 수 있는 통합 솔루션이 필요했습니다.

Azure의 데이터브릭스 레이크하우스 플랫폼은 바로 그 역할을 빠르고 효율적으로 수행했습니다. 기존 데이터베이스에서 하나의 큰 쿼리를 실행하면 시스템이 완전히 압도될 수 있었지만, Delta Lake를 통해 Solytic은 모든 데이터를 통합하고, 중단 없이 확장하며, 분석 요구 사항을 충족하는 안정적이고 성능이 우수한 ETL 파이프라인을 구축할 수 있었습니다. 델타 레이크는 스트리밍 및 배치 작업 모두를 위해 데이터 레이크에 안정성, 보안 및 성능을 제공하는 개방형 포맷 스토리지 계층입니다.

Solytic의 두 번째 목표는 데이터 엔지니어와 애널리틱스 팀이 보다 효율적으로 협력할 수 있는 방법을 찾는 것이었습니다. 이제 각 팀은 데이터브릭스의 완전 관리형 클라우드 인프라를 통해 서로 간섭하지 않고 자체 클러스터를 스핀업하고 실행할 수 있게 되어 협업 능력이 향상되었습니다. 더 좋은 점은 구현하는 데 많은 시간이 걸리지 않았다는 점입니다.

"데이터브릭스 레이크하우스 플랫폼으로 마이그레이션을 시작했을 때, 새로운 기술과 경험이 부족한 팀으로 3개월 이내에 작동하는 프로토타입을 만들어야 한다는 점이 걱정되었습니다."라고 Solytic의 데이터 엔지니어인 Helge Brügner는 말합니다. "하지만 데이터브릭스는 아키텍처와 일반적인 오류를 피하는 방법을 완전히 이해할 수 있도록 도와주었고, 문제 없이 성공할 수 있었습니다."

데이터브릭스 노트북으로 작업하면 협업 환경이 훨씬 더 좋아집니다. 팀원이 코딩 언어를 알고 있든 모르든, 분석 팀원은 SQL 지식으로 데이터에 들어가 쿼리를 실행하여 빠른 인사이트를 얻을 수 있습니다. 또한 협업 노트북에서 한 팀원이 쉽게 plot을 그려서 다른 팀원과 비교하고 다양한 접근 방식의 장단점을 빠르게 파악할 수 있습니다.

협업 생산성, 안정성 및 상당한 비용 절감 효과

데이터브릭스를 도입한 후 Solytic은 1년 이내에 모니터링 디바이스를 2만 개에서 30만 개 이상으로 확장하여 15배의 성장률을 기록했습니다. 또한 수천 개의 IoT 센서에서 생성되는 모든 스트리밍 데이터를 사전 집계함으로써 같은 기간 동안 분석 인프라의 전체 비용을 90% 절감할 수 있었습니다.

Helge는 "현재 데이터브릭스 레이크하우스 아키텍처를 활용하여 분석 워크로드에 40TB 이상의 데이터에 액세스할 수 있게 되었습니다. 다양한 팀에 데이터를 제공할 수 있으며, 애널리스트와 데이터 엔지니어는 각자의 워크로드를 독립적으로 작업하고 확장할 수 있습니다. 액세스 제어는 데이터 손상 위험 없이 각 팀이 작업할 수 있는 데이터를 제한하는 데 도움이 됩니다."

향후 12개월 내에 Solytic은 데이터 분석 팀을 성장시키고 고급 예측 유지 관리, 디바이스 중단 감지, 스마트 알림과 같은 머신 러닝 사용 사례로 분석 기능을 확장하고자 합니다. 이제 레이크하우스에 완전히 액세스할 수 있게 된 Solytic의 데이터 분석 팀은 앞으로 더욱 혁신적인 옵션을 검토하고 플랜트 모니터링 시 운영자의 업무량을 줄일 수 있게 될 것입니다.