[금융] 모델 리스크 관리, 기업 AI의 진정한 액셀러레이터
(원문: 링크)
금융 서비스 업계의 많은 모델 개발자와 데이터 사이언티스트에게 MRM이라는 세 글자만큼 불안감을 불러일으키는 단어는 드물 것입니다. MRM은 거버넌스 및 규정 준수 팀이 잘못된 모델이나 모델의 오용으로 인해 발생하는 부정적인 결과를 신중하게 식별하고 완화하기 위한 규제입니다. 이 규제는 인공 지능(AI) 또는 머신러닝(ML) 모델에만 국한되지 않고, 은행이 관리하는 모델 중 일부에 불과하며, 그 범위는 최종 사용자 컴퓨팅 애플리케이션, 복잡한 통계 패키지 또는 규칙 기반 프로세스로 쉽게 확장될 수 있습니다.
하지만 4차 산업혁명은 다양하고 흥미로운 새로운 기술과 분석적 혁신을 가져왔지만, 과거의 AI 실험 (예: 트위터의 챗봇 Tay) 과 기업 스캔들 (예: Cambridge Analytica)은 AI의 위험성, 설명 가능성 부족, 그리고 새로운 위험 요소에 대한 인식을 고취시켰습니다. 이로 인해 새로운 모델인 ChatGPT 및 생성형 AI가 금융 서비스 업계에서 반향을 불러일으키고 있으며, AI/ML은 데이터 거버넌스, 개인정보 보호, 정보 보안, 제3자 리스크 관리와 같은 다른 리스크 관리 프레임워크와의 긴밀한 연계를 요구하게 될 것입니다.
AI의 다크 나이트, 규정 준수 책임자
금융 서비스 업계에서는 은행이나 보험의 모든 모델에 대해 독립적인 전문가 팀이 모델링 접근 방식의 단점을 철저하게 검토합니다. AI에 정통한 기술자들은 이러한 프로세스가 비생산적이고 시대에 뒤떨어져 고리타분하다고 여길 수 있지만, 이는 사실과 거리가 멀다는 것입니다.
독립 검증 부서(IVU)는 모델링 전략의 단점을 파악하는 것뿐만 아니라 위험을 식별하고 완화하기 위해 필요한 조치를 취합니다. 위험을 완화할 수 없다면 최소한 위험을 이해하고 명확하게 표현하고 정량화해야 합니다. 결국, 리스크 관리는 모든 금융 서비스 기관의 주요 기능입니다. 컴플라이언스 담당자와 모델 검증자는 엄격한 개발 표준을 준수하고 기업 지침을 정의하며 모든 모델의 규제 준수 여부를 확인함으로써 무결성을 보존하고 모델 유효성을 향상시키는 역할을 합니다. 이를 위해 종종 자신의 인기를 희생하기도 합니다. 이들은 기업 및/또는 고객의 관련 위험을 줄이고 분석 프로젝트의 출시 시간을 단축하는 역할을 수행하며, 기업 AI의 다크 나이트라 할 수 있습니다.
모델 설명 가능성과 모델 투명성 비교
ML 모델은 종종 '블랙박스'로서 해석이 어려운 경우가 많습니다. 모델의 설명력을 높이기 위해 종종 SHAP 값이라고 불리는 셰플리 부가 설명을 사용하는데, 이는 간단한 답을 제공할 수 있습니다. 그러나 이 방법은 실제로 예측 품질을 평가하지 않고 특정 피처가 결과에 미치는 영향만을 보여주기 때문에, 규정 준수 팀은 중요한 의사 결정 프로세스에서 XGBoost와 같은 기술보다는 일반화된 선형 모델(GLM)과 같은 간단한 접근 방식을 우선시합니다. 하지만 이는 모델의 해석 가능성을 높이기 위해 과도하게 사용되는 경우도 있습니다. 하지만 여기서 현상 유지는 끝나게 됩니다.
이러한 기술을 사용하여 수백 개 또는 수천 개의 매개변수로 학습된 복잡한 모델에는 어느 정도의 투명성을 제공할 수 있을 것입니다. 그렇다면 10억 개 이상의 매개변수로 학습된 차세대 AI에는 어떻게 적용될 수 있을까요? 상용화를 목표로 하는 우리의 새로운 오픈소스 이니셔티브인 Dolly는 60억 개 이상의 파라미터로 학습되었습니다. 그러나 가장 중요한 것은 설명 가능한 기술이라 할지라도 모델이 학습된 데이터를 캡처하지 않거나 현재 프로덕션 환경에서 실행 중인 모델의 버전을 알지 못한다면 여전히 블랙박스로 간주될 수 있다는 점입니다.
따라서 이 지점에서는 문서와 개발 가이드라인이 AI의 설명 가능성을 대체합니다. 전 세계적으로 모델 위험 지침은 모델의 시작부터 폐기까지 수명 주기 전반에 걸쳐 효과적인 문서화의 필요성을 강조하고 있습니다. 이를 통해 모델의 설명 가능성을 확보할 수 있습니다.
미국 연방준비제도이사회 SR 11-7 모델 리스크 관리:
[...] 문서화는 모델 개발 프로세스에서 필수적인 요소로 간주됩니다. 이를 통해 다른 이해관계자들이 모델을 이해하고 구현하며, 비교를 위한 적절한 벤치마크를 설정할 수 있습니다.
캐나다용 E-23 OSFI:
[...] 모델 소유자는 모델 수명 주기의 각 단계에서 모든 이해관계자가 쉽게 접근할 수 있는 철저한 문서를 유지 및 관리하는 책임이 있습니다.
저희는 모델의 설명 가능성이 각 입력 매개변수에 대한 이해보다는 모델의 개발 이력과 개념적 건전성에 달려 있다고 믿습니다. 모델은 수명 주기 동안 데이터, 메트릭, 가정, 도구, 프레임워크, 그리고 모델 이해관계자가 내리는 결정과 같은 다양한 작업을 거치게 됩니다. AI의 투명성을 확보하기 위해서는 데이터, 인프라, 프로세스, 코드, 그리고 모델을 하나로 연결해야 합니다. 이러한 단순성이 바로 데이터브릭스 레이크하우스의 약속이라고 할 수 있습니다.
Better Together
EY는 금융 서비스 업계에서 효과적인 모델 리스크 관리의 중요성을 인지하고 있습니다. 그래서 EY는 규정 준수에서 추측을 배제하고 완벽한 모델 감사 기능을 제공하는 AI 설명 가능성을 위한 데이터브릭스 및 EY 모델 리스크 관리 액셀러레이터를 소개하게 되어 기쁩니다. 이 액셀러레이터는 데이터의 확장과 모델링 기술의 발전에 따라 최종 사용자가 모델의 투명성과 해석 가능성을 확보할 수 있도록 지원합니다. 또한, AI 거버넌스에 필요한 요구사항을 충족하기 위해 모델을 문서화하고 규제 및 비즈니스와 관련된 변경 사항을 처리하는 일관되고 간소화된 접근 방식을 제공합니다.
이 액셀러레이터는 금융 서비스 회사에 규제 표준을 준수하는 재사용 가능한 노트북을 활용하여 자동으로 생성되는 모델 문서화 솔루션을 제공합니다. 또한, 이 솔루션은 데이터 시각화 및 구성 가능한 대시보드 리포팅 기능을 포함한 전체 제품군과 연결되어 팀이 통합 분석 아키텍처에 구축된 자동화된 중앙 집중식 도구, 랩 및 라이브러리를 활용할 수 있도록 지원합니다. 이를 통해 모델 수명 주기 활동의 관리 및 거버넌스를 간소화할 수 있습니다.
금융 서비스 기업이 Workday MRM 액셀러레이터를 활용하면 다음과 같은 이점을 누릴 수 있습니다:
- 향상된 시각화 및 보고 기능을 통해 금융 서비스 기업은 정보에 기반한 의사결정을 내리고 위험 노출을 더 잘 이해할 수 있습니다.
- 모델 개발, 검증 및 구현과 이슈 관리를 위한 자동화된 제어를 통해 전반적인 효율성을 개선할 수 있습니다.
- 실시간 리스크 보고 및 분석을 통해 인벤토리 전반에 걸친 상품/포트폴리오 수준에서 전반적인 상태를 모니터링하고, 리스크를 선제적으로 감지하고 완화함으로써 비즈니스에 부정적인 영향을 최소화할 수 있습니다.
데이터브릭스 레이크하우스의 통합 거버넌스
데이터브릭스 레이크하우스는 데이터 웨어하우징 시스템의 신뢰성과 성능을 유지하면서 데이터 레이크의 경제성, 확장성, 유연성을 결합한 클라우드 데이터 아키텍처입니다. 이 아키텍처는 은행, 보험사, 자산 운용사 등 1,000개 이상의 금융 서비스 기관에서 사용되며, 리스크 관리부터 마케팅 분석까지 다양한 사용 사례에서 데이터의 가치를 실현하는 데 도움이 됩니다.
이 아키텍처는 오픈 소스 표준을 기반으로 구축되며, 데이터의 전체 가치 사슬에서 발생하는 불필요한 단계와 다양한 기술을 단순화하는 것을 목표로 합니다.
델타 레이크는 데이터브릭스 레이크하우스 플랫폼에서 데이터와 테이블을 저장하기 위한 스토리지 계층을 제공합니다. 델타 레이크에서는 각 작업마다 새로운 테이블 버전이 생성되며, 작업을 감사하거나 특정 시점의 테이블을 쿼리할 수 있습니다(시간 이동이라고도 합니다).
MLFlow는 모든 머신러닝 및 비머신러닝 실험을 추적하여 모델의 매개변수, 메트릭, 라이브러리, 종속성 및 버전을 자동으로 기록합니다. 또한 "현재 코드"와 "현재 데이터"를 동일하게 캡처합니다. 이를 통해 실험 시점에 연결된 노트북과 데이터를 함께 관리할 수 있습니다.
아키텍처가 간소화되면 거버넌스 모델도 간소화됩니다. Unity Catalog는 데이터의 업스트림 및 다운스트림 사용을 추적하고 액세스 정책(모델 소유자, 데이터 소유자 등)을 적용할 수 있는 단일 창구 역할을 합니다. 예를 들어, 신용 의사 결정에 사용되는 복잡한 워크플로에서 데이터 변환, 모델 훈련, 모델 평가에 사용되는 데이터를 동일한 방향성 비순환 그래프(DAG)에 연결하여 관리할 수 있습니다.
데이터, 인프라 종속성, 모델 및 관련 실험을 프로그래밍 방식으로 통합함으로써 Unity 카탈로그는 모델 운영 및 재현에 필요한 강력한 기반을 제공합니다. 그러나 기술만으로는 2차, 3차 방어선에서 '일관성'과 '완전성' 검사를 충족하는 데 필요한 엄격한 문서화를 해결하기 어렵습니다.
모델 문서화
모델 개발자 문서의 일반적인 요소를 포함하는 표준 템플릿을 게시하는 것은 프로세스 표준화와 간소화를 위한 중요한 노력입니다. 그러나 각 비즈니스 영역의 요구에 맞게 조정해야 하는 경우가 많아 불일치가 발생할 수 있고, 유효성 검사 시간이 늘어날 수 있습니다.
- 프로세스는 여러 시스템에서 데이터를 가져와야 하며, 수기로 작성한 메모를 검토하기 위해 시간을 거슬러 올라가야 할 수도 있습니다. 이는 개발자가 모델링에 집중하기보다는 복사-붙여넣기와 서식 지정 작업에 시간을 할애해야 함을 의미합니다.
- 서로 다른 모델 그룹이 구조적으로 일관되지 않으면 표준을 유지하기 어려울 수 있습니다.
- 다른 모델 그룹과 유형은 표준을 준수하기 어렵게 만들 수 있습니다.
- 비즈니스 요구 사항과 일정에 따라 품질 문서화에 제약이 생길 수도 있습니다.
- 모델 거버넌스 및 정책 팀은 다양한 모델 그룹과 빠르게 변화하는 모델 및 규제 환경으로 인해 업데이트 및 표준 배포에 어려움을 겪을 수 있습니다.
하지만 근본적인 문제는 모델 문서 자체가 아니라 문서가 전달되고 시행되는 방식에 있을 수 있습니다. 이 프로세스는 모델이 구축된 후에 처리되는 활동으로, 많은 수작업과 관리 오버헤드, 모델 개발자와 검증 팀 간의 불필요한 커뮤니케이션을 유발하여 전달 일정이 늦어지고 모델의 효과에 영향을 줄 수 있습니다. 예를 들어, 고객 행동이 변경되었을 수 있습니다. 이러한 문제를 해결하기 위해서는 효율적인 모델 개발 프로세스와 문서 전달 및 시행을 위한 개선이 필요합니다. 이를 위해 자동화된 도구나 시스템을 도입하거나, 개발자와 검증 팀 간의 원활한 커뮤니케이션을 강화하는 등의 조치를 고려할 수 있습니다.
그러나 문서화를 더 이상 별도의 활동으로 수행하지 않고, 템플릿 노트북과 마크다운 설명을 통해 모델 개발 프로세스에 통합시키는 것으로 개발자가 모델 유효성 검사 전에 일련의 단계를 안내받을 수 있습니다. 이를 통해 IVU 프로세스에 필요한 대부분의 질문을 모델 개발 단계에서 사전에 해결할 수 있으며, 모델 검증 성공률을 높이고 분석 사용 사례 탐색에서 생산까지 걸리는 시간을 크게 단축할 수 있습니다.
모델 문서화를 위한 Solution Accelerator
EY와 데이터브릭스가 공동 개발한 새로운 MRM(Mode Risk Management)용 솔루션인 "액셀러레이터"는 여러 모델 아티팩트의 세부 정보를 추출하여 자동으로 문서를 생성합니다. 이 솔루션은 데이터브릭스 레이크하우스 아키텍처를 기반으로 구축된 템플릿 중심 프레임워크로, 모델 문서화에 필요한 모든 아티팩트를 쉽게 추출할 수 있습니다.
예시로는 템플릿 노트북을 통해 모델 개발자의 주제를 위해 미리 정의된 구조와 플레이스홀더가 있는 도구를 사용할 수 있습니다. 이는 마크다운 텍스트, 라텍스 방정식, 코드 및 그래픽을 지원하는 노트북으로, 모델 개발 플레이북을 모델 문서로 확장하거나 그 반대로 쉽게 구현할 수 있습니다.
또한 이 솔루션은 모델 아티팩트의 요구사항을 충족시키는 것뿐만 아니라 데이터 거버넌스 및 계보를 추출하여 모델 문서의 효율성을 확장시킴으로써 모델 아티팩트 보고를 위한 완벽한 도구가 됩니다.
EY MRM 제품군은 주제별 지식과 다양한 모델 프레임워크, 규제기관 가이드라인, 맞춤형 요구사항 등을 지원하는 검증된 모델 문서 템플릿을 제공합니다. 이러한 템플릿은 재사용 가능한 동일한 프레임워크 위에 구축된 문서 애드온으로, 기업의 모델 개발 전략에 일관성을 가져올 수 있어 기업 AI의 진정한 촉진제가 될 수 있습니다. 이와 같은 접근 방식은 규제를 받는 조직에서 모델 배포 주기를 12개월에서 몇 주로 단축하는 것을 목격한 사례도 있습니다.
이러한 새로운 솔루션 액셀러레이터를 통해 모델 리스크 관리를 강화하고 데이터브릭스 레이크하우스에 대해 자세히 알아볼 수 있으며, 관련하여 데이터브릭스 또는 EY 담당자에게 문의하면 됩니다. 이 글에 포함된 의견은 저자 본인의 의견이며, 글로벌 EY 조직의 다른 구성원의 의견을 반영하는 것은 아닙니다.