Simplifying Data and AI

빅데이터 분석과 AI/ML을 단순화합니다

2023/12 15

HBO Max - 개인화된 경험 제공

(원문: 링크) 구독형 온디맨드 비디오 경쟁에서 어떻게 차별화할 수 있을까요? HBO Max는 답을 약 7천만 명의 고객을 위한 실시간 데이터 분석 및 콘텐츠 큐레이션에서 찾았습니다. HBO Max의 시작과 황금기 한 세대 전, HBO는 "TV가 아닙니다. HBO입니다."라는 강렬한 슬로건으로 혁신적인 브랜드 정신을 구축했습니다. 이 슬로건은 1970년대 초 케이블 TV 경영자 찰스 돌란이 독특한 프로그램 전략으로 네트워크를 선도한 영감의 원천이 되었습니다. HBO는 첫 번째 프로그램으로 뉴욕 레인저스 하키 경기 등 평범한 프로그램을 방영했지만, 무편집, 무광고, 심지어 19세 이상 관람가 프로그램까지 포함한 다양한 프로그램 라인업을 제공하며 엄청난 시청률과 구독자를 모았습니다. "소프라노스", "식스 ..

[건설] Colas - 데이터 통합을 통한 조직 효율성 제고

(원문: 링크) 업종: 건설 및 엔지니어링 솔루션: 예지보전 플랫폼 사용 사례: 데이터 사이언스, 머신 러닝, ETL 클라우드: Azure "역사적으로 우리는 데이터 기반 조직이 아니었습니다. 그러나 오늘날 우리는 데이터 브릭스와 OpenValue를 통해 데이터 파운데이션을 만들었고, 데이터 기반 조직이 되어가고 있습니다." - Philippe Toublant, Chief Data Officer, Colas Group 지속 가능한 엔지니어링 및 건설에 대한 관심이 점점 커지면서, Colas Group은 환경 영향을 최소화하면서 고객 가치를 극대화하는 교통 인프라를 구상, 구축 및 유지 관리하는 데 집중하고 있습니다. Colas는 50개국에 걸쳐 수백 개의 자회사에 데이터가 풍부하게 존재한다는 것을 알아..

사용 사례/E&C 2023.12.18

Coins.ph - 데이터와 머신러닝을 활용한 디지털 결제의 재창조

70% 운영 비용 절감 50% 인프라 비용 절감 70% 머신러닝 실험 개선 산업:금융 서비스 솔루션: 사기 탐지, 추천 엔진 플랫폼 사용 사례: 델타 레이크, 데이터 사이언스, 머신 러닝, ETL 클라우드: AWS "데이터브릭스의 통합 데이터 분석 플랫폼을 도입하여 운영 비용을 약 70% 절감할 수 있었습니다." - Dmitry Ustimov, Data Architect, Coins.ph Coins.ph는 필리핀의 주요 디지털 결제 플랫폼으로, 정확하고 풍부한 재무 감사를 수행하며 실시간으로 사기 방지를 목표로 합니다. Coins.ph는 현지 및 해외 송금, 청구서 결제, 온라인 쇼핑 등 디지털 결제 서비스를 이용하는 천만 명 이상의 고객을 대상으로 하고 있으며, 개발 운영(DevOps) 프로세스를 넘어..

[블록체인] 코인베이스가 데이터브릭스 레이크하우스로 데이터 아키텍처를 구축한 방법

(원문: 링크) 이 글은 코인베이스의 선임 엔지니어링 리더인 Eric Sun이 발표한 내용을 요약한 글입니다. 도전 과제 코인베이스는 모바일 앱과 웹 애플리케이션을 기반으로 하는 방대한 사용자 기반을 가지고 있는 글로벌 거래 플랫폼입니다. 사용자와 액티비티가 증가함에 따라 코인베이스는 커뮤니티에서 발생하는 수많은 거래, 활동, 웹 이벤트를 조화롭게 처리해야 하는 과제에 직면하게 되었고, 웹 2.0에서 웹 3.0으로의 전환을 위한 기반인 블록체인 데이터의 복잡성과도 씨름해야 했습니다. 팀은 분산되고 진화하는 데이터를 원활하게 통합하고 처리할 수 있으며, 동시에 블록체인 데이터의 탈중앙화 특성과 빠르게 진화하는 암호화폐 환경이 결합되어 혁신에 발맞춘 솔루션이 필요했습니다. 솔루션 이러한 문제를 해결하기 ..

[블록체인] 코인베이스가 스트리밍 수집 프레임워크인 SOON을 구축하고 최적화한 방법

(원문: 링크) 아래 글은 2023 Data + AI Summit에서 코인베이스의 소프트웨어 엔지니어 Chen Guo가 발표한 내용을 요약한 글입니다. 발표자인 Chen은 코인베이스의 소프트웨어 엔지니어로, 이 세션에서는 코인베이스에서 개발한 SOON (Spark cOntinuOus iNgestion) 이라는 스트리밍 수집 프레임워크에 대해 거의 실시간 수준의 데이터 처리를 어떻게 달성하는지 설명합니다. 이 세션은 문제 해결을 위한 목표, SOON 프레임워크의 구체적인 구현 방식, 다른 데이터 시스템과 특히 Snowflake에서의 점진적 데이터 로드에 대한 논의로 구성되어 있습니다. 도전 과제 코인베이스가 직면했던 문제 중 하나는 업스트림 데이터베이스에서 다운스트림 데이터 웨어하우스 또는 데이터 레이크까..

Shell - 더 깨끗한 세상을 위한 혁신적인 에너지 솔루션 제공

(원문: 링크) 600명의 데이터 사이언스, 수학, 계산 담당자가 100개 이상의 AI 애플리케이션을 지원합니다. 산업: 에너지 및 유틸리티 솔루션: 데이터 기반 ESG, 수요 예측 예측적 유지보수 안전 재고 분석 위협 탐지 플랫폼 사용 사례: 델타 레이크, 데이터 사이언스, 머신 러닝 ETL, 데이터브릭스 SQL 클라우드: Azure 지난 몇 년 동안 데이터브릭스의 사용 범위가 크게 넓어졌습니다. 처음에는 빅데이터 및 AI 플랫폼으로 Databricks를 사용하기 시작했지만 그 범위가 넓어졌습니다. 이제 완전히 다른 부류의 시민 엔지니어와 데이터 과학자가 더 현명한 비즈니스 의사 결정을 내리기 위한 최신 비즈니스 인텔리전스 도구로 사용하고 있습니다. - Daniel Jeavons, Shell의 전산 과..

[금융] 모델 리스크 관리, 기업 AI의 진정한 액셀러레이터

(원문: 링크) 금융 서비스 업계의 많은 모델 개발자와 데이터 사이언티스트에게 MRM이라는 세 글자만큼 불안감을 불러일으키는 단어는 드물 것입니다. MRM은 거버넌스 및 규정 준수 팀이 잘못된 모델이나 모델의 오용으로 인해 발생하는 부정적인 결과를 신중하게 식별하고 완화하기 위한 규제입니다. 이 규제는 인공 지능(AI) 또는 머신러닝(ML) 모델에만 국한되지 않고, 은행이 관리하는 모델 중 일부에 불과하며, 그 범위는 최종 사용자 컴퓨팅 애플리케이션, 복잡한 통계 패키지 또는 규칙 기반 프로세스로 쉽게 확장될 수 있습니다. 하지만 4차 산업혁명은 다양하고 흥미로운 새로운 기술과 분석적 혁신을 가져왔지만, 과거의 AI 실험 (예: 트위터의 챗봇 Tay) 과 기업 스캔들 (예: Cambridge Analy..

기술 소개 2023.12.11

[증권] Credit Suisse - 데이터와 AI로 금융 서비스 현대화

원문: 링크 산업: 금융 서비스 솔루션: 투자를 위한 대안적 데이터, 데이터 기반 ESG, 추천 엔진, 거래 강화 플랫폼 사용 사례: 델타 레이크, 데이터 사이언스, 머신 러닝, ETL 클라우드: Azure "비즈니스의 모든 영역에서 ML과 AI를 도입할 수 있는 능력은 고객을 위해 더 많은 가치를 창출하는 데 결정적인 역할을 했습니다. Azure 데이터브릭스와 MLflow는 이러한 가치를 제공할 수 있는 핵심 요소입니다." - Anurag Sehgal, 전무 이사, 글로벌 시장 책임자, 크레딧 스위스 빅 데이터와 AI의 도입이 증가하고 있음에도 불구하고 대부분의 금융 서비스 회사는 여전히 데이터 유형, 개인 정보 보호, 그리고 규모와 관련하여 상당한 어려움을 겪고 있습니다. 크레딧 스위스는 이러한 장애..

J.B. Hunt - 화물 운송을 미래로 이끌다

(원문: 링크) 99.8% 더 빠른 화물 추천 270만 달러의 IT 인프라 비용 절감, 수익성 증대 산업: 제조, 물류 솔루션: 고객 세분화, 수요 예측, 위협 탐지 플랫폼 사용 사례: 레이크하우스, 델타 레이크, 데이터 사이언스, 머신러닝, ETL 클라우드: Google 클라우드 "데이터브릭스 레이크하우스는 데이터와 AI를 활용하여 운송업체와 화주에게 최상의 경험을 제공하는 가장 혁신적인 디지털 화물 마켓플레이스의 토대를 마련했습니다." - Joe Spinelle, 엔지니어링 및 기술 이사, J.B. Hunt 북미에서 가장 효율적인 운송 네트워크를 구축하는 J.B. Hunt는 레거시 아키텍처, 급증하는 데이터 양, 제한된 AI 기능 등으로 인해 어려움을 겪었습니다. 그러나 구글 클라우드에서 데이터브릭스..

Kotahi - 글로벌 공급망을 지속 가능한 미래로 전환하는 방법

(원문: 링크) 2배 더 빠른 고객 의사 결정 27배 빨라진 데이터 파이프라인 산업: 기술 및 소프트웨어, 물류 솔루션: 공급망 관리 플랫폼 사용 사례: 델타 레이크, 데이터브릭스 SQL, ETL 클라우드: Azure "데이터브릭스의 도움으로 운송 관리 시스템 간에 실행 가능한 데이터 인사이트를 적시에 공유하여 해상 화물 물류의 복잡성을 제거하는 데 큰 진전을 이루고 있습니다." - Matthew Wright, General Manager of Digital Technology, Kotahi 전 세계적인 화물 운송은 수출업체, 수입업체, 물류 파트너 등 다양한 주체들이 복잡하게 얽혀 있어 쉽지 않은 작업입니다. 코타히는 미래를 위한 지속 가능하고 효율적인 공급망을 구축하는 비전을 가지고 있으며, 이를 위..