데이터브릭스란?

 

개요

데이터브릭스는 2013년 버클리 대학교의 엔지니어들이 설립한 회사로, Apache Spark, Delta Lake, 그리고 ML Flow와 같이 시장에서 널리 사용되고 있는 오픈 소스 제품을 만든 엔지니어들이 창업을 한 회사입니다. 
 
현재 9000개 이상의 고객사를 보유하고 있으며, 포츈500대 기업의 절반 이상이 이에 포함된다고 합니다. 또한 가트너에서 선정한 데이터베이스 관리 시스템 및 데이터 사이언스 및 머신 러닝 플랫폼 선정 리더이기도 합니다. 
 
최근 데이터브릭는 6,600억원 규모의 시리즈 I 투자를 유치하여 약 57조 원의 기업 가치를 인정받았는데요. 이를 통해 데이터브릭스는 전세계 8번째로 큰 스타트업이 되었다고 합니다. 

 

어떤 문제를 해결하려고 하나요? 

아시다시피 이 시대 많은 기업의 경쟁력은 데이터와 AI 활용력에서 나옵니다. 애플, 구글, 마이크로소프트, 아마존 등 21세기 어마어마한 성장을 이룩해낸 기업은 하나도 빠짐없이 데이터를 정말 잘 활용했던 기업인데요. 이 때문에 모든 기업은 고객 맞춤형 데이터를 통한 인사이트 도출과 AI/ML 활용 방안에 심혈을 기울이고 있습니다.
 
하지만 상황이 녹록치만은 않습니다. 

 
위 이미지에서 보실 수 있듯이 현재 대부분의 데이터 분석 환경은 데이터 레이크, 웨어하우스, 오케스트레이션,  BI, 거버넌스, 엔지니어링, 스트리밍 그리고 데이터 사이언스와 머신러닝과 같이 각 데이터 활용의 목적에 따라서 플랫폼이 각각 별도로 구현이 되어있는데요. 이런 사일로화된, 고립된 기술 스택 때문에 데이터 아키텍쳐는 더 복잡해져갔고, 이런 분절된 시스템과 호환이 어려운 데이터 형식 때문에 데이터를 통합하는게 굉장히 어려웠습니다. 또, 각 데이터 팀들이 서로 다른 플랫폼으로 분석을 하다 보니 데이터 애널리스트와 데이터 사이언티스트가 중요한 문제 해결이나 개선을 위해서 협업하기가 굉장히 어려웠습니다. 데이터 보안, 거버넌스에서 문제가 생기는 건 말할 것도 없지요. 
 
 

데이터브릭스가 제시하는 해결 방안은?

이러한 문제점들을 해결하기 위해 나온 것이 데이터브릭스가 제공하는 레이크하우스 플랫폼인데요. 
 
아시다시피 데이터 웨어하우스는 과거에 어떤 일이 있었는지에 대한 인사이트를 얻을 수 있는, Business Intelligence를 하기 위한 분석에 필요한 플랫폼이고, 업계에서 오랜 기간 사용해왔기 때문에 성능, 관리, 편의성 부분에서 우수합니다. 하지만 비정형 데이터를 처리하거나 데이터의 사이즈가 커지면 처리 자체가 어려워지고, 비용에 대한 부담도 증가됩니다.  
 
반면에 데이터 레이크는 앞으로 어떤 일이 발생할 건지를 예측하기 위해 머신러닝과 AI를 활용하기 위한 플랫폼으로서, 데이터양이나 종류에 크게 구속받지 않고, 또 클라우드로 넘어오게 되면 확장도 쉽고 굉장히 저렴하게 이용할 수 있는데요. 단점으로는 아까 데이터웨어하우스의 장점인 성능, 관리, 편의성 같은 부분들이 조금 아쉬운 부분들이 있습니다.
 
그래서 이 데이터 레이크 위에다가 데이터 웨어하우스의 장점을 얹는다면 아까 말씀드린 분절된 시스템에서 오는 여러 비효율성이나 협업이 어려운 부분들을 해결할 수 있지 않을까, 하는 고민에서 탄생한게 이 레이크하우스 플랫폼이고요, 이를 가능하게 해준 것이 바로 델타 레이크라는 오픈소스 기술입니다. 델타 레이크에 대해서는 이후 포스트에서 더 상세하게 다루겠습니다.
 
정리하자면 데이터브릭스는 모든 종류의 raw 데이터를 저장할 수 있는 오픈 데이터 레이크 위에서 보안, 관리, 거버넌스 등을 제공하며, 그 위에 AI, ETL/실시간 분석, 오케스트레이션, 데이터 웨어하우징까지 하나의 통합된 데이터 분석 환경에서 진행할 수 있게 해주는 솔루션이라고 보시면 되겠습니다. 

 
감사합니다.