Coins.ph - 데이터와 머신러닝을 활용한 디지털 결제의 재창조

70% 운영 비용 절감
50% 인프라 비용 절감
70% 머신러닝 실험 개선

이미지 출처: Coins.ph

산업:금융 서비스
솔루션: 사기 탐지, 추천 엔진
플랫폼 사용 사례: 델타 레이크, 데이터 사이언스, 머신 러닝, ETL
클라우드: AWS

 

 

"데이터브릭스의 통합 데이터 분석 플랫폼을 도입하여 운영 비용을 약 70% 절감할 수 있었습니다."
- Dmitry Ustimov, Data Architect, Coins.ph

 

Coins.ph는 필리핀의 주요 디지털 결제 플랫폼으로, 정확하고 풍부한 재무 감사를 수행하며 실시간으로 사기 방지를 목표로 합니다. Coins.ph는 현지 및 해외 송금, 청구서 결제, 온라인 쇼핑 등 디지털 결제 서비스를 이용하는 천만 명 이상의 고객을 대상으로 하고 있으며, 개발 운영(DevOps) 프로세스를 넘어 고급 비즈니스 과제를 해결하기 위한 방법을 찾아야 했습니다. 데이터브릭스를 통해 Coins.ph는 더욱 풍부한 데이터 인사이트를 활용하여 새로운 기능적 기회를 파악하고 재무 조정을 최적화하는 동시에 ML 기반의 사기 탐지 및 자금 세탁 방지 솔루션을 빠르게 제공할 수 있었습니다.

ML 실험을 방해하는 제한적인 레거시 시스템

Coins.ph의 사명은 데이터와 AI를 활용하여 재무 감사 및 조정 작업을 수행하면서 사기 및 자금 세탁을 방지하는 것이었습니다. "우리의 이전 분석 시스템은 Amazon을 기반으로 구축되었고, Elastic MapReduce(EMR)를 활용했습니다. 하지만 플랫폼을 유지 관리하고 사용하기 위해 데이터 팀의 상당한 노력이 필요했습니다."라고 Coins.ph의 데이터 아키텍트인 Dmitry Ustimov는 말합니다.

 

Coins.ph는 인프라 관리를 간소화하고 데이터 및 분석에 대한 통합된 접근 방식을 제공하기 위해 데이터브릭스를 선택했으며, 이를 통해 더 풍부한 인사이트를 활용하여 더 현명한 의사결정을 내리고 비즈니스 과제를 해결하기 위한 ML 기반 모델 개발을 가속화할 수 있게 되었습니다.

데이터와 ML을 통합하여 혁신과 효율성을 높이는 방법

데이터브릭스를 통해 Coins.ph의 데이터 팀은 데이터와 머신 러닝을 위한 통합 플랫폼을 사용하여 일상적인 데브옵스 작업을 최적화하고, 동시에 애드혹 분석을 통해 사기 탐지 및 자금 세탁 방지와 같은 주요 영역에서 비즈니스 가치를 창출하는 데 집중할 수 있게 되었습니다.

 

Coins.ph의 데이터 엔지니어들은 델타 레이크를 사용하여 대량의 데이터를 실시간으로 수집하고 데이터 레이크의 안정성을 높이며 최신 인사이트를 얻어 더욱 강력하고 확장 가능한 데이터 파이프라인을 개발할 수 있게 되었습니다. 이를 통해 데이터 사이언티스트들은 데이터 모델링 프로토타입을 빠르게 개발할 수 있었습니다. 또한, 이 플랫폼은 자동화된 클러스터 관리 기능을 제공하여 데이터 팀이 데이터 엔지니어링 리소스에 부담을 주지 않고도 문제 해결 및 24시간 모니터링 활동을 위해 특별히 맞춤화된 데이터 클러스터를 효과적으로 생성할 수 있었습니다.

 

데이터 엔지니어, 데이터 사이언티스트, 비즈니스 분석가 등 다양한 데이터 팀은 데이터브릭스의 대화형 노트북을 활용하여 데이터 준비, 간단한 분석, 새로운 모델 프로토타이핑을 위한 협업을 수행할 수 있었습니다. 노트북에는 미리 생성된 셀프 도움말 기능이 있어 이러한 작업이 더욱 빠르게 진행될 수 있었습니다.

 

"데이터브릭스는 메타베이스와 같은 타사 비즈니스 인사이트 도구와 통합될 수 있어 고품질 보고서를 공유하고 여러 부서 및 팀과의 협업이 용이해지는 장점이 있습니다. 이를 통해 재무팀은 정확한 보고를 위해 일관된 재무 데이터에 액세스할 수 있으며, 비즈니스 사용자도 기술적으로 숙련되지 않아도 데이터에서 실행 가능한 인사이트를 쉽게 추출할 수 있게 되었습니다."

 

MLflow는 ML 라이프사이클을 간소화하고 효율화하여 데이터 팀이 ML 실험을 쉽게 추적하고 사기 탐지를 위한 새로운 프로토타입을 신속하게 개발할 수 있도록 지원했습니다. 또한, 이 플랫폼을 통해 팀은 표준화된 분석으로 실험 작업을 실행할 수 있어 자금 세탁 방지 규정 준수를 위한 새로운 기능이나 규칙 세트를 출시할 수 있었습니다. 데이터브릭스 솔루션 도입의 또 다른 이점은 데이터 팀이 문제를 즉시 해결할 수 있는 전문가를 확보할 수 있다는 점입니다. Ustimov는 "가장 비용 효율적인 방식으로 최적의 실시간 인사이트를 제공하기 위해 스트리밍 ETL 파이프라인을 구축하는 가장 좋은 방법에 대한 추천을 요청했습니다. 몇 시간 만에 유용한 답변을 받게 되어 기뻤습니다."라고 말했습니다.

 

운영 비용 70% 절감하기

Coins.ph는 데이터브릭스의 통합 데이터 분석 플랫폼을 통해 전반적인 금융 서비스를 향상시킬 수 있는 새로운 솔루션을 파악하고 제공할 수 있게 되었습니다. 데이터브릭스를 활용함으로써 빅데이터 실험이 빨라졌고, 이로 인해 머신러닝 기반 프로젝트의 기능 출시 시간이 단축되었습니다. 이에 거의 실시간으로 데이터를 새로 고칠 수 있어 안정적이며 신속한 데이터 분석이 가능해졌습니다. 또한, 플랫폼에서 제공되는 자동화된 클러스터 관리를 통해 클러스터의 확장과 축소가 용이해져 인프라 비용과 운영 비용이 크게 절감되었습니다.

Coins.ph의 데이터 팀은 데이터브릭스를 비즈니스 인사이트 플랫폼의 핵심으로 활용하고 있으며, 델타 테이블의 잠재력을 활용하여 거의 실시간 분석을 위한 기본 데이터 소스로 사용하고 있습니다. 또한, 머신러닝 실험을 통해 사기 방지 및 자금 세탁 방지 기능을 강화하고 예측 분석 및 사용자 친화적인 추천 엔진과 같은 고급 솔루션을 모색하고 있습니다. 이를 통해 Coins.ph의 데이터 팀은 어떤 데이터 과제가 닥쳐와도 해결할 수 있는 자신감과 만족감을 얻게 되었습니다.