Data/AI

(원문: 링크) 1. 도전 과제 규모와 복잡성: 맥도날드는 전 세계 119개 시장에서 4,000명 이상의 사용자와 39,000개 이상의 레스토랑을 운영하기 때문에 머신러닝 운영 환경이 방대하고 복잡합니다. 하이브리드 클라우드 환경: 다양한 클라우드 옵션을 염두에 두면서 데이터 사이언스 솔루션을 관리하기 위해 유연성을 위한 오픈 소스 기술을 채택해야 했습니다. 가치 실현 시간 (time-to-value) 압박: 매장 예측 (store forecasting), 자동화, 추천 시스템을 포함한 데이터 분석 기능을 신속하게 개발하는 동시에 신속한 실험, 가치 증명, 프로덕션 배포를 보장해야 했습니다. 2. 솔루션 최고의 선택, 데이터브릭스: 맥도날드는 간편한 배포 모델, 언어 유연성(Python, Spark, S..

(원문: 링크) 1. 도전 과제 레거시한 데이터 시스템: 스타벅스는 분산된 시스템에서 페타바이트 규모의 데이터를 처리하는 데 어려움을 겪었습니다. 실시간에 가까운 데이터 처리, 업데이트 및 병합의 효율적인 구현, 대규모 데이터를 위한 최적의 엔지니어링 방법을 구현하기 위해 데이터 시스템을 현대화해야 했습니다. 통합되지 않은 사용자 경험: 소비 측면에서 스타벅스는 신뢰할 수 있는 단일 데이터 원본의 부재, 통합된 사용자 경험의 부족, 데이터와 모델 개발 및 운영 간의 부조화로 인해 어려움을 겪었습니다. 이는 지속적인 실험과 재현성을 방해했습니다. 데이터 수집의 복잡성: 스타벅스는 구조화된 스트리밍, 내결함성 (fault tolerance), 과거 데이터 통합, 그리고 스토어 파트너에게 실시간 인사이트 제공..

(원문: 링크) 분석 프로세스 안정성 2.5배 증가 데이터 지연 시간 75% 감소 - 6시간마다 새로 고침에서 1.5시간마다 새로 고침으로 단축 주간 사이트 구축 프로젝트 시작 시간 10배 증가 산업: Telco 솔루션: 위협 탐지, 수요 예측, 예측적 유지 관리 플랫폼 사용 사례: 레이크하우스, 델타레이크, 데이터브릭스 SQL 클라우드: Azure "데이터브릭스 레이크하우스는 지역사회에 최상의 무선 서비스를 지원하는 간결한 공급망을 제공하는 데 도움을 주었습니다." — Ellen Sulcs, Director, Data Engineering & Development at T-Mobile 미국에서 가장 잘 알려진 무선 통신사 중 하나인 T-Mobile은 가장 크고 빠른 5G 네트워크를 제공하기 위해 노력해..

(원문: 링크) 운영 비용 절감으로 300% ROI 달성 ML/데이터사이언스 유즈케이스를 3배 더 빠르게 제공 산업: Telco 솔루션: 고객유지, 가입자이탈예측, 위협탐지 플랫폼 사용 사례: 레이크하우스, 데이터사이언스, 머신러닝, 데이터 스트리밍 클라우드: Azure "Hadoop에서 데이터브릭스로 마이그레이션함으로써 고객에게 더 많은 가치를 더 비용 효율적이고 빠르게 제공할 수 있게 되었습니다." - Mark Holcomb, Distinguished Solution Architect, AT&T 지속적으로 혁신할 수 있는 능력은 고객이 어떤 통신사를 선택하는지에 큰 영향을 주며, 이는 AT&T가 최고로 꼽히는 이유이기도 합니다. 하지만 AT&T의 대규모 온프레미스 레거시 Hadoop 시스템은 복잡하..

원문: 링크 산업: 의료 솔루션: 머신러닝 플랫폼: 레이크하우스, 유니티 카탈로그 클라우드: Azure Providence는 미국의 대규모 비영리 의료 센터로, 데이터 사이언스 책임자인 Lindsay Miko와 엔지니어/아키텍트 Delo Wu가 병원의 과밀화 현상을 해결하기 위해 지난 1~2년 동안 개발한 데이터 기반 툴에 대해 설명합니다. 도전 과제 Providence 병원에서 마주했던 가장 시급한 운영 문제는 최근 인력 부족과 정신 건강 문제 및 약물 남용 증가 등 다양한 요인으로 인해 악화되고 있던 과밀화 현상이었습니다. 이와 동시에 기존의 의료 데이터 시스템은 데이터를 수동으로 입력하는 구식 방식으로 진행되었으며, 낙후된 사용자 인터페이스와 사후적인 (retrospective) 분석으로 데이터..

원문: 링크 90% 비용 절감 처리된 성장 데이터 15배 증가 산업: 에너지 및 유틸리티 솔루션: 예지보전, 수요 예측, 시계열 예측 플랫폼 사용 사례: 레이크하우스, 델타 레이크, 데이터 사이언스, ETL 클라우드: Azure "Databricks Lakehouse 아키텍처의 확장성 덕분에 이제 모든 데이터에 포함된 인사이트를 활용하여 고객이 직접적인 영향을 받기 전에 잠재적인 성능 문제를 사전에 알릴 수 있게 되었습니다." - Steffen Mangold, CTO, Solytic 태양광 장비 모니터링 및 분석 회사인 Solytic은 누구나 쉽게 태양광 에너지를 사용할 수 있도록 하는 것을 목표로 삼고 있습니다. Solytic의 솔루션은 담당자가 AI를 사용하여 프로세스를 자동화하고 생산을 최적화하며 ..

(원문: 링크) 데이터 플랫폼 50% 비용 절감 3배 빠른 데이터 처리 데이터 플랫폼 운영 오버헤드 20% - 30% 감소 산업: 에너지 및 유틸리티 솔루션: 예지보전 플랫폼 사용 사례: 레이크하우스, 델타 레이크, 데이터 사이언스, 머신 러닝, 데이터브릭스 SQL, ETL 클라우드: Azure "데이터브릭스는 데이터 혁신 여정에서 중추적인 역할을 하는 강력한 플랫폼입니다. 안정적이고 효율적이며 필요에 따라 확장할 수 있어 데이터 엔지니어, 데이터 사이언티스트, 비지니스 애널리스트 간의 효과적인 협업을 가능하게 합니다." - Seweryn Golinski, 선임 데이터 솔루션 디자이너, AusNet Services AusNet Services는 110억 개가 넘는 전기, 가스 및 네트워크 연결 자산을 보..

원문: 링크 이 글은 Amgen의 Product Owner인 Jaison Dominic과 Distinguisehd Software Engineer인 Kerby Johnson이 작성한 게스트 기고문입니다. 세계 최대의 독립 생명공학 기업인 Amgen은 오랫동안 혁신의 대명사였습니다. 40년 동안 새로운 신약 제조 공정을 개척하고 생명을 구하는 의약품을 개발하여 전 세계 수백만 명의 삶에 긍정적인 영향을 미쳤습니다. 환자에게 최고의 서비스를 제공한다는 사명을 계속 수행하기 위해 Amgen은 최근 또 다른 혁신의 여정, 즉 완전한 디지털 전환 프로젝트에 착수했습니다. R&D 생산성 향상부터 공급망 최적화 및 상용화에 이르기까지 비즈니스 전반에 걸쳐 더 나은 결과를 얻기 위해 데이터를 활용하는 방법을 재구상해야..

(원문: 링크) 이상 탐지가 중요한 이유는 무엇인가요? 리테일, 금융, 사이버 보안, 기타 모든 산업에서 비정상적인 행동이 발생하는 즉시 이를 발견하는 것은 매우 중요한 과제입니다. 이를 탐지할 수 있는 역량이 부족하면 매출 손실, 규제 기관으로부터의 벌금, 보안 침해로 인한 고객 개인정보 및 신뢰 상실로 이어질 수 있습니다. 따라서 비정상적인 신용카드 거래를 발견하거나, 의심스러운 행동을 하는 사용자를 발견하거나, 웹 서비스에 대한 요청에서 이상한 패턴을 식별하는 것은 천국과 지옥의 차이만큼이나 큰 차이를 만들어낼 수 있습니다. 이상 탐지의 도전 과제 이상 탐지에는 몇 가지 도전 과제가 있습니다. 첫 번째는 '이상 징후'가 무엇인지에 대한 데이터 사이언스적 질문입니다. 다행히도 머신러닝에는 데이터에서 ..

원문: 링크 Neural network performance 분석 속도 100배 향상 분석 가능한 데이터 샘플 수 75배 증가 산업: Technology & software 솔루션: 지리공간 분석, IoT용 ML 모델 확장 플랫폼 사용 사례: 데이터 사이언스, 머신 러닝, ETL 클라우드: AWS "자율 주행 트럭을 만드는 것은 전례가 없는 일입니다. 엄청난 양의 창의력, 문제 해결 능력, 직관력이 필요한 작업인데, 데이터브릭스가 없었다면 이 작업을 수행할 수 없었을 것입니다." -Jason Snell, Embark 개발자 플랫폼 팀의 수석 소프트웨어 엔지니어 Embark는 고속도로를 더 안전하게 만들고 화물 운송을 더 효율적으로 만드는 자율주행 기술을 구축하여 전체 트럭 운송 산업을 발전시키는 임무를 ..