Data/AI

(원문: 링크) 이 글은 코인베이스의 선임 엔지니어링 리더인 Eric Sun이 발표한 내용을 요약한 글입니다. 도전 과제 코인베이스는 모바일 앱과 웹 애플리케이션을 기반으로 하는 방대한 사용자 기반을 가지고 있는 글로벌 거래 플랫폼입니다. 사용자와 액티비티가 증가함에 따라 코인베이스는 커뮤니티에서 발생하는 수많은 거래, 활동, 웹 이벤트를 조화롭게 처리해야 하는 과제에 직면하게 되었고, 웹 2.0에서 웹 3.0으로의 전환을 위한 기반인 블록체인 데이터의 복잡성과도 씨름해야 했습니다. 팀은 분산되고 진화하는 데이터를 원활하게 통합하고 처리할 수 있으며, 동시에 블록체인 데이터의 탈중앙화 특성과 빠르게 진화하는 암호화폐 환경이 결합되어 혁신에 발맞춘 솔루션이 필요했습니다. 솔루션 이러한 문제를 해결하기 ..

(원문: 링크) 아래 글은 2023 Data + AI Summit에서 코인베이스의 소프트웨어 엔지니어 Chen Guo가 발표한 내용을 요약한 글입니다. 발표자인 Chen은 코인베이스의 소프트웨어 엔지니어로, 이 세션에서는 코인베이스에서 개발한 SOON (Spark cOntinuOus iNgestion) 이라는 스트리밍 수집 프레임워크에 대해 거의 실시간 수준의 데이터 처리를 어떻게 달성하는지 설명합니다. 이 세션은 문제 해결을 위한 목표, SOON 프레임워크의 구체적인 구현 방식, 다른 데이터 시스템과 특히 Snowflake에서의 점진적 데이터 로드에 대한 논의로 구성되어 있습니다. 도전 과제 코인베이스가 직면했던 문제 중 하나는 업스트림 데이터베이스에서 다운스트림 데이터 웨어하우스 또는 데이터 레이크까..

(원문: 링크) 600명의 데이터 사이언스, 수학, 계산 담당자가 100개 이상의 AI 애플리케이션을 지원합니다. 산업: 에너지 및 유틸리티 솔루션: 데이터 기반 ESG, 수요 예측 예측적 유지보수 안전 재고 분석 위협 탐지 플랫폼 사용 사례: 델타 레이크, 데이터 사이언스, 머신 러닝 ETL, 데이터브릭스 SQL 클라우드: Azure 지난 몇 년 동안 데이터브릭스의 사용 범위가 크게 넓어졌습니다. 처음에는 빅데이터 및 AI 플랫폼으로 Databricks를 사용하기 시작했지만 그 범위가 넓어졌습니다. 이제 완전히 다른 부류의 시민 엔지니어와 데이터 과학자가 더 현명한 비즈니스 의사 결정을 내리기 위한 최신 비즈니스 인텔리전스 도구로 사용하고 있습니다. - Daniel Jeavons, Shell의 전산 과..

(원문: 링크) 금융 서비스 업계의 많은 모델 개발자와 데이터 사이언티스트에게 MRM이라는 세 글자만큼 불안감을 불러일으키는 단어는 드물 것입니다. MRM은 거버넌스 및 규정 준수 팀이 잘못된 모델이나 모델의 오용으로 인해 발생하는 부정적인 결과를 신중하게 식별하고 완화하기 위한 규제입니다. 이 규제는 인공 지능(AI) 또는 머신러닝(ML) 모델에만 국한되지 않고, 은행이 관리하는 모델 중 일부에 불과하며, 그 범위는 최종 사용자 컴퓨팅 애플리케이션, 복잡한 통계 패키지 또는 규칙 기반 프로세스로 쉽게 확장될 수 있습니다. 하지만 4차 산업혁명은 다양하고 흥미로운 새로운 기술과 분석적 혁신을 가져왔지만, 과거의 AI 실험 (예: 트위터의 챗봇 Tay) 과 기업 스캔들 (예: Cambridge Analy..

원문: 링크 산업: 금융 서비스 솔루션: 투자를 위한 대안적 데이터, 데이터 기반 ESG, 추천 엔진, 거래 강화 플랫폼 사용 사례: 델타 레이크, 데이터 사이언스, 머신 러닝, ETL 클라우드: Azure "비즈니스의 모든 영역에서 ML과 AI를 도입할 수 있는 능력은 고객을 위해 더 많은 가치를 창출하는 데 결정적인 역할을 했습니다. Azure 데이터브릭스와 MLflow는 이러한 가치를 제공할 수 있는 핵심 요소입니다." - Anurag Sehgal, 전무 이사, 글로벌 시장 책임자, 크레딧 스위스 빅 데이터와 AI의 도입이 증가하고 있음에도 불구하고 대부분의 금융 서비스 회사는 여전히 데이터 유형, 개인 정보 보호, 그리고 규모와 관련하여 상당한 어려움을 겪고 있습니다. 크레딧 스위스는 이러한 장애..

(원문: 링크) 99.8% 더 빠른 화물 추천 270만 달러의 IT 인프라 비용 절감, 수익성 증대 산업: 제조, 물류 솔루션: 고객 세분화, 수요 예측, 위협 탐지 플랫폼 사용 사례: 레이크하우스, 델타 레이크, 데이터 사이언스, 머신러닝, ETL 클라우드: Google 클라우드 "데이터브릭스 레이크하우스는 데이터와 AI를 활용하여 운송업체와 화주에게 최상의 경험을 제공하는 가장 혁신적인 디지털 화물 마켓플레이스의 토대를 마련했습니다." - Joe Spinelle, 엔지니어링 및 기술 이사, J.B. Hunt 북미에서 가장 효율적인 운송 네트워크를 구축하는 J.B. Hunt는 레거시 아키텍처, 급증하는 데이터 양, 제한된 AI 기능 등으로 인해 어려움을 겪었습니다. 그러나 구글 클라우드에서 데이터브릭스..

(원문: 링크) 2배 더 빠른 고객 의사 결정 27배 빨라진 데이터 파이프라인 산업: 기술 및 소프트웨어, 물류 솔루션: 공급망 관리 플랫폼 사용 사례: 델타 레이크, 데이터브릭스 SQL, ETL 클라우드: Azure "데이터브릭스의 도움으로 운송 관리 시스템 간에 실행 가능한 데이터 인사이트를 적시에 공유하여 해상 화물 물류의 복잡성을 제거하는 데 큰 진전을 이루고 있습니다." - Matthew Wright, General Manager of Digital Technology, Kotahi 전 세계적인 화물 운송은 수출업체, 수입업체, 물류 파트너 등 다양한 주체들이 복잡하게 얽혀 있어 쉽지 않은 작업입니다. 코타히는 미래를 위한 지속 가능하고 효율적인 공급망을 구축하는 비전을 가지고 있으며, 이를 위..

(원문: 링크) 이 글은 모건스탠리의 Execuite Director Cloud Data인 Raja Lanka와 데이터브릭스의 Sr. Solutions Architect Ryan Kennedy가 머신러닝을 활용하여 고객 경험을 개선했던 모건스탠리의 여정에 대해 논의했던 영상의 내용을 요약한 글입니다. 1. 도전 과제 모건 스탠리는 오래된 모델과 고객의 저조한 참여도로 고객에게 관련성 높은 콘텐츠를 제공하는 데 어려움을 겪고 있었습니다. 이는 기술적인 문제뿐 아니라 변환하는 환경에 적응하고, 급변하는 고객의 니즈에 부응해야 하는 문제를 수반했는데요. 모건 스탠리는 다양한 데이터 소스를 기반으로 고객에게 더 맞춤화되고 시기적절한 참여 전략을 제공하는 것을 목표로, '게놈'이라는 고객 개인화 모델을 구축하는 ..

원문: 링크 데이터 수집 및 수집 주기 시간 75% 이상 개선 80% 이상 ADAS 기능 개발 주기 단축 처리되는 파일당 비용 50% 절감 산업: 기술 및 소프트웨어 플랫폼: 레이크하우스 CLOUD: AWS 파트너: Tableau "데이터브릭스가 없었다면 고객이 더 나은 자율주행차 기능을 개발하고 제품 로드맵을 추진하는 데 필요한 방대한 양의 데이터를 처리할 수 없었을 것입니다. 이제 우리는 점점 늘어나는 고객 기반 전체에서 사용할 수 있는 반복 가능한 프로세스를 갖게 되었습니다." - 패트릭 맥컬리프, 수석 엔지니어, Incite 세계 최대 자동차 제조업체는 Incite의 신속한 OEM 자동차 데이터(ROAD) 플랫폼을 통해 보다 안전한 자율주행차를 개발할 수 있습니다. ROAD는 테스트 차량에서 생..

(원문: 링크) 이 글은 데이터브릭스 컨설팅 파트너인 Tredence와 데이터브릭스의 Bala Amavasai가 공동으로 작성한 게시물입니다. Tredence의 인더스트리 솔루션 부문 디렉터인 Vamsi Krishna Bhupasamudram과 IOT 분석 부문 수석 아키텍트인 Ashwin Voorakkara님께 감사드립니다. 오늘날 제조 및 물류 분야에서 가장 중요한 발전은 데이터와 연결성을 통해 이루어지고 있습니다. 이를 위해 산업용 사물 인터넷(IIoT)은 엣지에서 인공지능으로 가는 데이터 여정의 첫 번째 단계로서 디지털 트랜스포메이션의 핵심입니다. IIoT 기술 스택과 성장세는 간과해선 안됩니다. 여러 주요 연구 기관에 따르면, IIoT는 2027년까지 연평균 16% 이상 성장하여 전 세계적으로..