Data/AI

70% 운영 비용 절감 50% 인프라 비용 절감 70% 머신러닝 실험 개선 산업:금융 서비스 솔루션: 사기 탐지, 추천 엔진 플랫폼 사용 사례: 델타 레이크, 데이터 사이언스, 머신 러닝, ETL 클라우드: AWS "데이터브릭스의 통합 데이터 분석 플랫폼을 도입하여 운영 비용을 약 70% 절감할 수 있었습니다." - Dmitry Ustimov, Data Architect, Coins.ph Coins.ph는 필리핀의 주요 디지털 결제 플랫폼으로, 정확하고 풍부한 재무 감사를 수행하며 실시간으로 사기 방지를 목표로 합니다. Coins.ph는 현지 및 해외 송금, 청구서 결제, 온라인 쇼핑 등 디지털 결제 서비스를 이용하는 천만 명 이상의 고객을 대상으로 하고 있으며, 개발 운영(DevOps) 프로세스를 넘어..

(원문: 링크) 이 글은 코인베이스의 선임 엔지니어링 리더인 Eric Sun이 발표한 내용을 요약한 글입니다. 도전 과제 코인베이스는 모바일 앱과 웹 애플리케이션을 기반으로 하는 방대한 사용자 기반을 가지고 있는 글로벌 거래 플랫폼입니다. 사용자와 액티비티가 증가함에 따라 코인베이스는 커뮤니티에서 발생하는 수많은 거래, 활동, 웹 이벤트를 조화롭게 처리해야 하는 과제에 직면하게 되었고, 웹 2.0에서 웹 3.0으로의 전환을 위한 기반인 블록체인 데이터의 복잡성과도 씨름해야 했습니다. 팀은 분산되고 진화하는 데이터를 원활하게 통합하고 처리할 수 있으며, 동시에 블록체인 데이터의 탈중앙화 특성과 빠르게 진화하는 암호화폐 환경이 결합되어 혁신에 발맞춘 솔루션이 필요했습니다. 솔루션 이러한 문제를 해결하기 ..

(원문: 링크) 아래 글은 2023 Data + AI Summit에서 코인베이스의 소프트웨어 엔지니어 Chen Guo가 발표한 내용을 요약한 글입니다. 발표자인 Chen은 코인베이스의 소프트웨어 엔지니어로, 이 세션에서는 코인베이스에서 개발한 SOON (Spark cOntinuOus iNgestion) 이라는 스트리밍 수집 프레임워크에 대해 거의 실시간 수준의 데이터 처리를 어떻게 달성하는지 설명합니다. 이 세션은 문제 해결을 위한 목표, SOON 프레임워크의 구체적인 구현 방식, 다른 데이터 시스템과 특히 Snowflake에서의 점진적 데이터 로드에 대한 논의로 구성되어 있습니다. 도전 과제 코인베이스가 직면했던 문제 중 하나는 업스트림 데이터베이스에서 다운스트림 데이터 웨어하우스 또는 데이터 레이크까..

원문: 링크 산업: 금융 서비스 솔루션: 투자를 위한 대안적 데이터, 데이터 기반 ESG, 추천 엔진, 거래 강화 플랫폼 사용 사례: 델타 레이크, 데이터 사이언스, 머신 러닝, ETL 클라우드: Azure "비즈니스의 모든 영역에서 ML과 AI를 도입할 수 있는 능력은 고객을 위해 더 많은 가치를 창출하는 데 결정적인 역할을 했습니다. Azure 데이터브릭스와 MLflow는 이러한 가치를 제공할 수 있는 핵심 요소입니다." - Anurag Sehgal, 전무 이사, 글로벌 시장 책임자, 크레딧 스위스 빅 데이터와 AI의 도입이 증가하고 있음에도 불구하고 대부분의 금융 서비스 회사는 여전히 데이터 유형, 개인 정보 보호, 그리고 규모와 관련하여 상당한 어려움을 겪고 있습니다. 크레딧 스위스는 이러한 장애..

(원문: 링크) 이 글은 모건스탠리의 Execuite Director Cloud Data인 Raja Lanka와 데이터브릭스의 Sr. Solutions Architect Ryan Kennedy가 머신러닝을 활용하여 고객 경험을 개선했던 모건스탠리의 여정에 대해 논의했던 영상의 내용을 요약한 글입니다. 1. 도전 과제 모건 스탠리는 오래된 모델과 고객의 저조한 참여도로 고객에게 관련성 높은 콘텐츠를 제공하는 데 어려움을 겪고 있었습니다. 이는 기술적인 문제뿐 아니라 변환하는 환경에 적응하고, 급변하는 고객의 니즈에 부응해야 하는 문제를 수반했는데요. 모건 스탠리는 다양한 데이터 소스를 기반으로 고객에게 더 맞춤화되고 시기적절한 참여 전략을 제공하는 것을 목표로, '게놈'이라는 고객 개인화 모델을 구축하는 ..