금융 서비스의 Portable 데이터 및 AI 처리를 위한 멀티 클라우드 아키텍처
원문: 링크
데이터브릭스 레이크하우스를 통한 스트레스 출구 규제 요건 충족 및 성공적이고 비용 효율적인 리스크 관리
많은 금융 기관이 운영 리스크를 줄이고 규제 요건을 준수하며, 다양한 클라우드 서비스와 가격 옵션의 이점을 활용하기 위해 멀티클라우드 전략을 채택하고 있습니다.
본 게시물에서는 이동 가능한 멀티클라우드 아키텍처를 기반으로 멀티클라우드 데이터 처리를 위한 인프라 설계도를 공유합니다. 특히, 데이터브릭스 레이크하우스 플랫폼이 이러한 아키텍처 구현을 어떻게 간소화하여 조직이 규제 요건을 보다 쉽게 충족하고 운영 비용과 리스크를 줄일 수 있는지 구체적인 사례를 통해 설명합니다.
영국 영란은행과 금융감독청(PRA)은 최근 시스템적으로 중요한 은행 및 금융 서비스 산업을 대상으로 새로운 규정을 발표했습니다. 이에 따라 클라우드 IT 공급업체 등 제3자 서비스와 관련된 '스트레스 출구' 시나리오에 대한 계획 수립이 요구됩니다:
- SS2/21: 아웃소싱 및 제3자 리스크 관리
- SS4/21: 해결 시 운영 연속성 보장
이 규정은 클라우드 서비스 제공업체 변경 시 비즈니스 연속성을 보장하는 데 초점을 맞추고 있습니다. FSI 기업은 서비스 제공업체 변경 상황에서도 핵심 서비스를 지원하는 운영 체계를 유지할 수 있음을 입증해야 할 책임이 있습니다.
이러한 규정은 영국에 국한되지만, 국제 은행 및 기타 FSI 기업이 영국에서 사업을 진행하려면 이를 준수해야 합니다. 또한, 이와 유사한 규제 모델이 다른 국가에서도 채택될 가능성이 있으며, 현재 아세안 지역에서도 유사한 요건이 논의되고 있습니다.
글로벌 금융 서비스 기업은 다음과 같은 위험 요소에 대비하여 클라우드 아키텍처를 미래 지향적으로 설계해야 합니다:
- 멀티클라우드 솔루션을 요구하는 규제 변화
- 클라우드 공급업체의 가격 모델 또는 서비스 카탈로그 변경에 따른 운영 리스크
- 특정 지역에서 클라우드 공급업체의 철수로 인한 운영 리스크
- 지정학적 변화로 인해 특정 지역에서 클라우드에서 온프레미스로 전환해야 하는 상황
이를 위해 인트라클라우드 및 하이브리드 클라우드 이동성을 달성하기 위한 세 가지 핵심 요구 사항은 다음과 같습니다:
1. 공통 보안 모델을 갖춘 개방적이고 이식 가능한 데이터 형식 및 데이터 관리 계층
2. 클라우드 간 공통적이며 온프레미스에도 배포 가능한 기본 애플리케이션 서비스(예: 데이터베이스 및 AI 처리)
3. 개방형 애플리케이션 개발 코딩 표준 및 API를 통해 클라우드 공급업체와 온프레미스 플랫폼 간 단일 코드베이스 공유
위 내용을 기반으로 금융 기관들은 멀티클라우드 전략을 통해 변화하는 환경 속에서도 안정성과 유연성을 확보할 수 있을 것입니다.
클라우드 네이티브의 도전 과제
데이터 애플리케이션을 배포하는 일반적인 접근 방식은 클라우드 공급업체의 네이티브 서비스를 활용하는 것입니다. 이는 클라우드 도입 초기 단계에서 흔히 사용되는 방식으로, 대부분의 기업은 특정 워크로드에 대해 선호하는 클라우드 공급업체를 선택해 운영하는 경향이 있었습니다. 그러나 기업들이 멀티클라우드 전략을 점차 채택하면서 여러 가지 새로운 문제가 발생하고 있습니다:
- 여러 클라우드 공급업체의 네이티브 서비스를 활용해 단일 애플리케이션을 실행하려면 여러 코드베이스를 유지 관리해야 합니다.
- 다양한 클라우드 환경에서 애플리케이션을 지원하려면 각 환경에 맞는 클라우드 인프라를 별도로 구축 및 유지해야 합니다.
- 애플리케이션이 모든 환경에서 원활히 작동하도록 하기 위해 조직은 여러 클라우드 서비스와 관련된 기술 역량을 보유해야 합니다.
이러한 접근 방식은 애플리케이션 릴리스 주기, 변화하는 규제 요구 사항, 지역적 정치 상황, 그리고 공급업체 서비스 변경 등 다양한 요인에 따라 관리와 유지 비용이 급격히 증가할 수 있습니다. 특히, 다음과 같은 문제가 발생할 수 있습니다:
1. 공통된 기능과 비기능 요구 사항을 가진 여러 시스템에 대해 여러 코드베이스를 유지 관리해야 하므로 운영 비용이 크게 증가합니다.
2. 각 코드베이스 간에 동등한 결과와 정확성을 보장하기 위해 추가적인 품질 보증 및 테스트 작업이 필요합니다.
3. 다양한 기술 세트와 인프라를 유지 관리하는 데 드는 운영 오버헤드가 상당합니다.
또한, 많은 조직은 특정 데이터 클래스(예: 민감한 고객 데이터 또는 현지 규제 준수 데이터)를 타사 클라우드 공급업체에서 저장하거나 처리할 수 없는 경우, 자체 데이터 센터(온프레미스)에서 동등한 서비스를 구축하고 운영해야 합니다. 이는 주로 지역별 규제 요건이나 고객 데이터 보호 요구 사항 때문입니다.
최근 영국 시장에 대규모로 진출한 한 국제 은행의 사례는 이러한 문제를 잘 보여줍니다. 이 은행은 주요 전략적 클라우드 공급업체 플랫폼에서 매일 유동성 리스크 계산을 실행해야 했습니다. 그러나 규제 요건 충족을 위해 다른 클라우드 플랫폼에서도 동일한 기능을 제공해야 하는 과제를 안고 있었습니다.
이 고객이 직면한 주요 문제는 다음과 같습니다:
- 두 개의 서로 다른 코드베이스를 유지 관리하는 데 드는 높은 비용
- 두 시스템 간 동등한 성능과 일치하는 결과를 보장해야 하는 부담
시간이 지남에 따라 주요 애플리케이션의 코드베이스가 최적화되면서 보조 시스템과 점점 더 분리되었습니다. 결국 이를 재조정하기 위해 대규모 프로젝트가 필요한 시점에 이르렀습니다.
멀티클라우드 데이터 처리를 위한 Blueprint
여기에서는 최신 멀티클라우드, 멀티지역 및 다양한 규제 환경을 충족하는 엔터프라이즈 데이터 처리를 위한 표준 Blueprint를 제시합니다.
이는 다음과 같은 토대를 기반으로 합니다:
1. 개방형 데이터: 데이터는 모든 클라우드에서 공통 액세스 및 처리 인터페이스를 갖춘 개방적이고 이식 가능한 형식으로 저장되어야 합니다. 이는 공급업체에 독립적인 온프레미스 배포에서도 사용할 수 있어야 합니다.
2. 오픈 API 표준: 비즈니스 애플리케이션은 독점적이지 않은 표준화된 인터페이스와 API를 사용하여 데이터 및 데이터 처리 서비스에 액세스합니다. 이는 여러 클라우드 플랫폼과 온프레미스 배포에서 일반적으로 사용할 수 있어야 합니다.
3. 코드 이식성: 비즈니스 로직 코드, ML/AI 모델, 데이터 동기화 서비스는 재팩터링 없이 단일 코드 브랜치에서 모든 대상 클라우드 플랫폼과 온프레미스 환경에 배포할 수 있어야 합니다.
다양한 인프라 플랫폼에서 표준화된 API 및 데이터 서비스와 함께 데이터 분석 아키텍처를 사용하면 더 간단하고 저렴한 솔루션을 제공할 수 있습니다. 여러 지역의 규제 요건을 준수하기 위해 현지화된 물리적 구현을 계속 제어하면서 단일 코드베이스를 사용하면 운영 비용을 크게 절감할 수 있습니다.
하이브리드 클라우드 데이터 처리를 위한 데이터브릭스 솔루션
데이터브릭스의 레이크하우스 플랫폼은 위에서 설명한 표준 Blueprint와 밀접하게 일치하는 개방형 표준 및 개방형 프로토콜 접근 방식을 통해 멀티클라우드 배포를 간소화합니다. 레이크하우스와 기본 오픈 소스 구성 요소는 모든 클라우드에 공통된 기능 인터페이스를 제공하기 때문에 단일 코드베이스로 여러 클라우드 공급업체 환경에서 작동할 수 있습니다.
이 설계의 특징과 이점은 다음과 같습니다:
- 델타 레이크는 고성능 개방형 표준 데이터 레이어를 제공하여 환경 간에 원활한 데이터 상호운용성과 이식성을 제공합니다. 또한 여러 환경에서 데이터 조정 및 무결성 검사를 간소화합니다.
- 여러 클라우드 인프라를 위한 단일 코드 기반은 운영 및 테스트 비용을 낮추어 개발자가 환경을 동기화하는 대신 기능 개발과 코드 최적화에 집중할 수 있도록 합니다.
- 데이터브릭스 스택은 독점적이지 않은 오픈 소스 표준을 기반으로 하므로 코드베이스를 개발하고 유지보수하는 데 더 폭넓은 기술 기반을 활용할 수 있습니다. 따라서 구현 및 운영 비용이 절감됩니다.
결론
금융 조직은 클라우드 공급업체 리스크를 더 잘 관리하고자 하며, 많은 경우 스트레스 출구 전략을 실행하거나 지역마다 다른 데이터 로케이션 요건을 관리하기 위해 규제 요건을 준수해야 합니다. 현재 및 진화하는 규제 요건과 공급업체 가격 모델 변화의 위험 관리가 결합되어 하이브리드 클라우드 전략을 위한 클라우드 이동성은 이제 CIO와 CTO의 중요한 의제가 되었습니다.
데이터브릭스의 개방형 표준 레이크하우스 플랫폼은 멀티클라우드 및 하이브리드 클라우드 데이터 아키텍처를 간소화합니다. 조직은 Databricks를 통해 세 가지 주요 클라우드 공급업체(Azure, AWS, GCP) 모두에서 동일한 기능과 최적화된 성능으로 실행되는 단일 애플리케이션을 개발 및 관리할 수 있습니다. 데이터브릭스의 핵심 소프트웨어 스택은 오픈 소스 코드를 기반으로 하며, 온프레미스(자체 호스팅) 배포와 클라우드 공급업체 배포가 있는 단일 애플리케이션에 대한 하이브리드 운영을 가능하게 합니다.
애플리케이션 및 데이터 이동성과 업계 최고의 가격 대비 성능을 갖춘 데이터브릭스의 결합을 통해 기업은 운영 비용을 절감하고 아키텍처를 간소화하며 규제 요건을 충족할 수 있습니다.
통합된 업계 모범 사례, 통합된 거버넌스 및 디자인 패턴을 통해 레이크하우스의 안전한 배포를 간소화하려면 업계 Blueprint로 시작해보세요.