Data/AI

70% 운영 비용 절감 50% 인프라 비용 절감 70% 머신러닝 실험 개선 산업:금융 서비스 솔루션: 사기 탐지, 추천 엔진 플랫폼 사용 사례: 델타 레이크, 데이터 사이언스, 머신 러닝, ETL 클라우드: AWS "데이터브릭스의 통합 데이터 분석 플랫폼을 도입하여 운영 비용을 약 70% 절감할 수 있었습니다." - Dmitry Ustimov, Data Architect, Coins.ph Coins.ph는 필리핀의 주요 디지털 결제 플랫폼으로, 정확하고 풍부한 재무 감사를 수행하며 실시간으로 사기 방지를 목표로 합니다. Coins.ph는 현지 및 해외 송금, 청구서 결제, 온라인 쇼핑 등 디지털 결제 서비스를 이용하는 천만 명 이상의 고객을 대상으로 하고 있으며, 개발 운영(DevOps) 프로세스를 넘어..

(원문: 링크) 이 글은 코인베이스의 선임 엔지니어링 리더인 Eric Sun이 발표한 내용을 요약한 글입니다. 도전 과제 코인베이스는 모바일 앱과 웹 애플리케이션을 기반으로 하는 방대한 사용자 기반을 가지고 있는 글로벌 거래 플랫폼입니다. 사용자와 액티비티가 증가함에 따라 코인베이스는 커뮤니티에서 발생하는 수많은 거래, 활동, 웹 이벤트를 조화롭게 처리해야 하는 과제에 직면하게 되었고, 웹 2.0에서 웹 3.0으로의 전환을 위한 기반인 블록체인 데이터의 복잡성과도 씨름해야 했습니다. 팀은 분산되고 진화하는 데이터를 원활하게 통합하고 처리할 수 있으며, 동시에 블록체인 데이터의 탈중앙화 특성과 빠르게 진화하는 암호화폐 환경이 결합되어 혁신에 발맞춘 솔루션이 필요했습니다. 솔루션 이러한 문제를 해결하기 ..

(원문: 링크) 아래 글은 2023 Data + AI Summit에서 코인베이스의 소프트웨어 엔지니어 Chen Guo가 발표한 내용을 요약한 글입니다. 발표자인 Chen은 코인베이스의 소프트웨어 엔지니어로, 이 세션에서는 코인베이스에서 개발한 SOON (Spark cOntinuOus iNgestion) 이라는 스트리밍 수집 프레임워크에 대해 거의 실시간 수준의 데이터 처리를 어떻게 달성하는지 설명합니다. 이 세션은 문제 해결을 위한 목표, SOON 프레임워크의 구체적인 구현 방식, 다른 데이터 시스템과 특히 Snowflake에서의 점진적 데이터 로드에 대한 논의로 구성되어 있습니다. 도전 과제 코인베이스가 직면했던 문제 중 하나는 업스트림 데이터베이스에서 다운스트림 데이터 웨어하우스 또는 데이터 레이크까..