Statsig - 데이터브릭스 스트리밍을 통한 제품 성장 가속화

출처: 원문 링크

매일 처리되는 100억 건 이상의 이벤트, 2개월마다 2배씩 확장됨
10배 빠른 개발자 민첩성, 독보적인 가치 실현 시간
제품 출시까지 걸리는 시간 4개월

 

이미지 출처: Databricks

 

"데이터브릭스의 데이터 인텔리전스 플랫폼을 사용하면 실제 스트리밍 메커니즘을 추상화할 수 있어, 스트리밍 확장이 훨씬 더 간단해집니다."
- Pablo Beltran, Statsig 소프트웨어 엔지니어

Statsig는 개발자들이 출시하는 각 제품 업데이트에 대해 엔드투엔드 통합 가시성을 제공함으로써, 더 나은 의사 결정을 내릴 수 있도록 돕습니다. 시스템 성능부터 고객 행동에 이르기까지, Statsig는 개발자와 그 팀이 성장을 비즈니스의 핵심 역량으로 삼는 데 필요한 데이터를 제공합니다. 2021년 초 창립 이래로 데이터브릭스는 Statsig의 신뢰할 수 있는 전략적 파트너로서, 매일 100억 건 이상의 데이터 이벤트를 처리하고 있습니다. 

모든 기기, 애플리케이션 스택의 모든 부분, 그리고 모든 규모에서 각 기능 게이트에 대한 A/B 테스트를 자동으로 실행함으로써, 고객들은 새로운 기능이 고객 행동과 애플리케이션 사용에 미치는 영향을 검증할 수 있습니다. 이로 인해 새로운 기능의 성과에 대한 불확실성이 크게 줄어들었습니다. 데이터브릭스 데이터 인텔리전스 플랫폼의 스트리밍 데이터 파이프라인을 통해 핵심 비즈니스 지표에 대한 360° 뷰를 제공함으로써, Statsig 고객들은 실시간 실험 실행 횟수를 10배 이상 늘리고 성공적인 기능을 제공할 수 있게 되었습니다.

고객의 빠른 구축과 성장 지원

Statsig는 새로운 고객을 온보딩할 때마다 해당 기업의 원시 (raw) 이벤트 스트림 전체를 수집하여, 매일 기존 데이터 볼륨에 방대한 양의 실시간 데이터를 추가합니다. 2021년 초 서비스 시작 이래 Statsig는 기하급수적으로 성장해 왔으며, 이에 따라 수요를 빠르게 확장하는 것이 주요 과제가 되었습니다. 스트리밍은 대용량 데이터 처리를 위한 최신 패러다임이며, Statsig는 처음부터 데이터브릭스의 스트리밍 데이터 파이프라인에 의존해 왔습니다. Statsig의 소프트웨어 엔지니어인 파블로 벨트란은 "확장은 우리에게 큰 과제인데, 데이터브릭스는 특히 이 부분에서 탁월한 성능을 보여줍니다."라고 말합니다.

신생 스타트업이었던 Statsig는 데이터브릭스를 활용해 인프라를 구축하고, 코드를 작성하며, 빠르게 반복했습니다. Statsig의 개발자와 데이터 사이언티스트들은 데이터브릭스를 통해 애드혹 쿼리 실행과 노트북 테스트를 쉽게 할 수 있었으며, 애드혹 모드와 프로덕션 모드에 모두 접근할 수 있었습니다. Statsig의 데이터 사이언스 책임자인 Timothy Chan은 "우리는 회사 설립 후 4개월 만에 제품을 출시했습니다. 데이터브릭스가 없었다면 불가능했을 것입니다."라고 말합니다.

Statsig 고객들은 분석 수준을 높이고 제품 목표를 달성하기 위해 데이터브릭스를 두 가지 방식으로 사용합니다. 그 중 하나가 실험입니다. Chan은 "실험을 한 번도 해보지 않은 고객들은 '아, 이렇게 쉽게 사용자에게 무슨 일이 일어나고 있는지 볼 수 있고 이해할 수 있구나'라는 깨달음의 순간을 경험합니다. 사용자가 어떤 영향을 받는지 확인할 수 있게 되면, 실행 가능한 실험에 대한 아이디어가 더 많이 떠오르게 됩니다."라고 설명합니다.

실험의 가치를 이미 알고 있는 사람들은 Statsig가 어떤 도움을 줄 수 있는지 빠르게 깨닫습니다. Chan은 "실험 설정과 결과 확인이 쉽기 때문에 불과 몇 달 만에 실험 속도를 10배나 높일 수 있다는 사실을 알게 됩니다."라고 덧붙입니다. 이러한 속도 향상의 핵심은 데이터브릭스 데이터 인텔리전스 플랫폼에 구축된 스트리밍 데이터 파이프라인을 통해 흐르는 데이터의 적시성과 신뢰성에 있습니다. 실시간 데이터는 성공적인 실험의 핵심 요소입니다. Statsig의 데이터 파이프라인이 실시간에 가까울수록, 고객들은 사용자 경험을 극대화하는 기능을 실시간으로 조정할 수 있게 됩니다.

Statsig 팀에 새로 합류한 엔지니어들은 다른 솔루션에 비해 데이터브릭스를 더 빠르고 쉽게 사용할 수 있습니다. 데이터 사이언티스트나 데이터 엔지니어가 아니더라도 데이터브릭스 사용법을 쉽게 익혀 유용한 기여를 할 수 있습니다. 사전 지식이 없는 신입 Statsig 엔지니어도 한 달 정도면 스트리밍 파이프라인을 수정, 최적화, 추적할 수 있게 됩니다. Beltran은 "데이터브릭스 데이터 인텔리전스 플랫폼은 실제 스트리밍 메커니즘을 추상화해서, 배치 파이프라인을 작성하면 이를 스트리밍 파이프라인으로 자동 변환해 줍니다. 덕분에 스트리밍 확장이 훨씬 더 간단해졌죠."라고 설명합니다.

Statsig의 빠른 움직임을 돕는 Databricks

Statsig는 개발자들이 빠르게 움직일 수 있도록 지원합니다. Statsig를 통해 고객들은 몇 분 만에 실험을 생성하고, 이전과는 비교할 수 없을 정도로 빠르게 사용자 반응의 전체 상황을 파악할 수 있습니다. 데이터브릭스는 고객이 원하는 만큼 빠르게 움직일 수 있게 해줍니다. 클러스터 부트스트랩이 간단하고, 다른 플랫폼의 복잡성 없이 엔지니어들은 노트북을 작성하고 클러스터를 구성한 후 쉽게 프로덕션 모드로 전환할 수 있습니다. 벨트란은 "데이터브릭스가 없었다면 코드 작성과 테스트 주기가 정말 길어졌을 겁니다. Spark 서버로 코드를 보내고, 실행하고, 완료될 때까지 기다렸다가 결과를 확인해야 했을 테니까요. 아마 30번은 실패하고 각 주기마다 10~15분씩 걸렸을 겁니다."라고 말합니다. 그는 이어 "데이터브릭스에서는 노트북을 작성하면서 바로 코드를 테스트할 수 있어요. 속도가 엄청나게 빠르죠. 노트북 자체에 작업을 생성하는 버튼이 있어서, 2분 이내에 프로덕션 수준의 데이터로 추가 테스트를 할 수 있습니다."라고 덧붙입니다.

 

빠른 움직임은 중간 단계를 줄이는 것을 의미하기도 합니다. Statsig의 데이터 사이언티스트들은 데이터브릭스를 UI로 사용해 직접 프로덕션 수준의 코드를 작성할 수 있습니다. 특히 Statsig가 구축 중인 기능들이 데이터 사이언스와 고급 통계 방법론의 영향을 많이 받기 때문에, 이는 매우 중요합니다. 팀은 코드를 바로 프로덕션에 적용할 수 있어 개발 주기의 시간과 비용을 절감할 수 있습니다.

기하급수적인 성장을 지원하는 Databricks

데이터브릭스를 사용하면 데이터 스트리밍이 더 빨라져, 데이터를 더 빨리 수집하고 작업을 더 일찍 시작하여 제시간에 완료할 수 있습니다. 또한, 데이터브릭스는 방대한 양의 데이터 처리에도 도움이 됩니다. Chan은 "저희는 고객이 전송하는 데이터 양에 따라 요금을 청구하기 때문에, 더 많은 데이터를 지원할수록 좋습니다."라고 말합니다.

 

이는 결코 작은 일이 아닙니다. Statsig의 데이터 파이프라인은 하루에 100억 개 이상의 이벤트를 수집합니다. 이 회사의 시스템은 데이터 관리와 보호를 위해 업계 최고 수준의 규정을 준수하는 표준 인증을 받았으며, 내장된 이중화 기능으로 99.9%의 가용성을 유지하며 수십억 건의 사용자 상호작용을 지원합니다. 게다가 이 수치는 2개월마다 두 배씩 증가하고 있습니다.

 

또한 레이크하우스의 스트리밍은 일시적인 장애 발생 시 수동 개입 없이 중단된 지점부터 자동으로 재개되어 관리가 더 쉬워졌습니다. Chan은 "데이터브릭스 스트리밍은 다른 작업에 비해 훨씬 더 손이 덜 가고 지원도 적게 필요합니다."라고 말합니다.