AT&T - 클라우드 이전을 통해 수백만 명의 고객에게 더 나은 서비스 제공하기

(원문: 링크)

운영 비용 절감으로 300% ROI 달성
ML/데이터사이언스 유즈케이스를 3배 더 빠르게 제공

 

Image Source: XR Today

산업: Telco
솔루션: 고객유지, 가입자이탈예측, 위협탐지
플랫폼 사용 사례: 레이크하우스, 데이터사이언스, 머신러닝, 데이터 스트리밍
클라우드: Azure

 

"Hadoop에서 데이터브릭스로 마이그레이션함으로써 고객에게 더 많은 가치를 더 비용 효율적이고 빠르게 제공할 수 있게 되었습니다."

- Mark Holcomb, Distinguished Solution Architect, AT&T

 

지속적으로 혁신할 수 있는 능력은 고객이 어떤 통신사를 선택하는지에 큰 영향을 주며, 이는 AT&T가 최고로 꼽히는 이유이기도 합니다. 하지만 AT&T의 대규모 온프레미스 레거시 Hadoop 시스템은 복잡하고 관리 비용이 많이 들어 운영 민첩성과 효율성이 떨어졌고, 엔지니어링 리소스가 많이 낭비되었습니다. 이에 수억 명의 가입자를 더 잘 지원하기 위해 클라우드로 전환하는 것은 AT&T가 나아가야하는 방향이라는 것이 명백해졌습니다. Hadoop에서 Azure 클라우드의 데이터브릭스로 마이그레이션한 AT&T는 운영 비용을 크게 절감했으며 새로운 클라우드 기반 환경에서는 상관 분석 (correlative analytics)을 위한 페타바이트급 데이터에 액세스할 수 있게 되었고, 60개 이상의 사업부에 걸쳐 2,500명 이상의 사용자를 위한 서비스형 AI를 제공할 수 있게 되었습니다. 이제 AT&T는 엔지니어링 팀에 과도한 부담을 주거나 운영 비용을 폭발적으로 증가시키지 않고도 모든 데이터를 활용하여 수백만 명의 최종 사용자에게 새로운 기능과 혁신을 제공할 수 있습니다.

 

운영 복잡성과 불필요한 비용을 가중시키는 Hadoop 기술

AT&T는 수억 명의 가입자를 보유한 거대 기술 기업으로, 전체 데이터 플랫폼에서 매일 10페타바이트 이상의 데이터를 수집합니다. 이러한 데이터를 활용하기 위해 60개 이상의 사업부에 걸쳐 2,500명 이상의 데이터 사용자로 구성된 팀이 형성되었습니다. 여기에는 최상의 데이터 중심 상황 인식을 기반으로 의사 결정을 내리기 위한 애널리틱스부터 고객에게 새로운 혁신을 가져다주는 ML 모델 구축까지 다양한 작업이 포함됩니다. 이러한 요구 사항을 지원하기 위해 AT&T는 데이터의 단일 버전(Single Version of Truth)을 민주화하고 확립하는 동시에 인프라 관리를 간소화하여 민첩성을 높이고 전체 비용을 절감해야 했습니다.

 

그러나 물리적 인프라는 리소스 소모가 너무 높았습니다. 매우 복잡한 하드웨어 설정(12,500개의 데이터 원본과 1,500개 이상의 서버)과 온프레미스 Hadoop 아키텍처의 조합은 유지 관리가 복잡하고 관리 비용이 많이 드는 것으로 나타났습니다. 워크로드를 지원하기 위한 운영 비용도 높았을 뿐만 아니라 데이터 센터, 라이선스 등에 대한 추가 자본 비용도 발생했습니다. 5만 개의 데이터 파이프라인 작업을 성공적으로 수행하고 SLA 및 데이터 품질 목표를 충족하려면 온프레미스 플랫폼의 최대 70%까지 우선순위를 지정해야 했습니다. 엔지니어의 시간은 더 가치 있는 작업에 집중하기보다는 업데이트 관리, 성능 문제 해결 또는 단순히 리소스 프로비저닝에 집중되었습니다. 또한 물리적 인프라의 리소스 제약으로 인해 데이터사이언스 활동의 직렬화(serialization)가 진행되어 혁신이 느려졌습니다. 페타바이트급 데이터를 운영할 때 직면한 또 다른 난관은 실시간 분석을 위한 스트리밍 데이터 파이프라인을 구축하는 것이었는데, 이는 고객에게 더 나은 서비스를 제공하는 데 핵심적인 영역이었습니다.

 

이러한 뿌리 깊은 기술 문제로 인해 AT&T는 고객 경험을 개선하고 더 효율적으로 운영하기 위한 인사이트 활용도를 높이지 못했습니다. "비즈니스 전반에서 데이터를 진정으로 민주화하려면 클라우드 네이티브 기술 환경으로 전환해야 했습니다."라고 AT&T의 Distinguished Solution Architect인 Mark Holcomb은 말합니다. "[클라우드 이전]을 통해 인프라 관리에 집중하던 리소스를 확보하여 밸류 체인의 상위로 이동하고 성장 중심 활동에 투자할 수 있는 자본을 확보할 수 있었습니다."

 

데이터브릭스로의 원활한 마이그레이션 여정

AT&T는 실사의 일환으로 종합적인 비용 분석을 수행한 결과, 데이터브릭스가 데이터 파이프라인과 머신 러닝 워크로드에 가장 빠르고 가격 대비 성능이 가장 우수하다는 결론을 내렸습니다. AT&T는 마이그레이션이 대규모 작업이 될 것이라는 것을 알고 있었습니다. 따라서 팀은 많은 사전 계획을 세웠으며, 가장 큰 워크로드를 먼저 마이그레이션하여 인프라 공간을 즉시 줄이는 데 우선순위를 두었습니다. 또한 수천 명의 데이터 실무자에게 원활한 전환 경험을 보장하기 위해 사용자를 마이그레이션하기 전에 데이터를 마이그레이션하기로 결정했습니다.

 

AT&T는 사용자 마이그레이션 전 데이터를 클라우드에서 중복 제거하고 동기화하는 데 1년을 투자했습니다. 이는 60개 이상의 사업부에 속한 2,500명 이상의 사용자와 워크로드로 구성된 대규모의 복잡한 멀티테넌트 환경을 성공적으로 마이그레이션하는 데 있어 매우 중요한 단계였습니다. 사용자 마이그레이션 프로세스는 9개월에 걸쳐 진행되었으며, AT&T는 마이그레이션과 동시에 온프레미스 하드웨어를 폐기하여 가능한 한 빨리 비용을 절감할 수 있었습니다. 또한 수평적이고 확장 가능한 데이터브릭스의 특성으로 인해 AT&T는 모든 것을 하나의 연속된 환경에 둘 필요가 없었습니다. 데이터와 컴퓨팅을 여러 계정과 작업 공간에 걸쳐 분리함으로써 분석이 API 호출 제한이나 대역폭 문제 없이 원활하게 작동하고 60개 이상의 비즈니스 단위로 인한 소비를 명확하게 파악할 수 있었습니다.

 

전반적으로 AT&T는 약 2년 반 동안 1,500대 이상의 서버, 50,000개 이상의 프로덕션 CPU, 12,500개의 데이터 소스 및 300개의 스키마를 마이그레이션했습니다. 그리고 15명의 정규직 내부 리소스로 전체 마이그레이션을 관리할 수 있었습니다. "데이터브릭스는 프로세스 전반에 걸쳐 소중한 협력자였습니다. […] 팀과 긴밀히 협력하여 제품 기능 및 보안 문제를 해결하고 마이그레이션 일정을 지원했습니다." 라고 Holcomb은 말합니다.

  

총소유비용(TCO)을 절감하고 혁신을 위한 새로운 길을 여는 데이터브릭스

데이터브릭스로 이전한 후 즉각적으로 얻은 이점 중 하나는 막대한 비용 절감이었습니다. AT&T는 활용도가 낮고 중복된 데이터를 식별하고 마이그레이션하지 않음으로써 데이터의 약 30%를 정비(rationalize)할 수 있었습니다. 또한 가장 큰 워크로드의 마이그레이션 우선순위를 지정함으로써 마이그레이션 과정에서 온프레미스 장비의 절반을 정비할 수 있었습니다. "가장 컴퓨팅 집약적인 워크로드를 데이터브릭스로 우선적으로 마이그레이션함으로써 비용을 크게 절감하는 동시에 향후 보다 효율적으로 확장할 수 있는 기반을 마련할 수 있었습니다."라고 Holcomb은 설명합니다. 그 결과 운영 비용 절감과 비용 절약 (예: 데이터센터 하드웨어를 교체할 필요가 없음)을 통해 5년 동안 300%의 마이그레이션 ROI를 달성할 수 있을 것으로 예상됩니다.

 

데이터를 쉽게 사용할 수 있고 규모에 관계없이 데이터를 분석할 수 있는 수단을 확보한 데이터 사이언티스트 및 애널리스트 팀은 이제 분석 작업을 연쇄적으로 수행하거나 엔지니어링이 필요한 리소스를 제공할 때까지 기다리거나, 혹은 인사이트가 떨어지는 분석에 귀중한 시간을 할애하는 대신 혁신에 더 많은 시간을 투자할 수 있게 되었습니다. 이제 데이터 사이언티스트는 더 효과적으로 협업하고 머신 러닝 워크플로우의 속도를 높여 새로운 데이터 사이언스 사용 사례에 대한 제공 시간을 3배 단축하여 팀이 더 빠르게 가치를 제공할 수 있습니다.

 

"이전에는 운영은 하나의 시스템에서, 분석은 별도의 시스템에서 수행했을 것입니다."라고 Holcomb은 말합니다. "이제 팀 간 협업을 촉진하고 비용을 절감하며 답변의 일관성을 개선하는 플랫폼에서 운영 분석과 같은 더 많은 사용 사례를 수행할 수 있습니다." 데이터브릭스로 마이그레이션한 이후, AT&T는 이제 새로운 수익원을 창출하고 수백만 명의 고객에게 탁월한 혁신을 지속적으로 제공하는 데 도움이 될 셀프 서비스 서비스형 AI 분석 플랫폼을 비롯하여 새로운 데이터 기반 기회를 창출할 수 있는 단일 버전의 진실을 확보하게 되었습니다.