Gerdau - 철강 제조 워크플로우의 미래를 대비하다

출처: 원문 링크

데이터 처리 비용 40% 절감
스트리밍 솔루션의 신규 개발 80% 증가
300명의 신규 비즈니스 사용자 온보딩

이미지 출처: Databricks

 

산업: 제조
솔루션: 데이터 기반 ESG, 모델 트레이닝, 예측 유지보수
플랫폼 사용 사례: 모자이크 AI, 델타 레이크, 델타 셰어링, 포톤, 유니티 카탈로그
클라우드: AWS

"데이터브릭스는 공급망 최적화부터 산업 운영의 스트리밍에 이르기까지 우리의 가장 큰 과제를 해결하기 위해 모든 데이터를 가져오는 통합된 접근 방식으로 데이터 사일로 문제를 해결했습니다."
- Rodrigo Silveira, 최고 데이터 및 AI 책임자, Gerdau

철강 산업은 공급망 최적화부터 환경 친화적 의사결정에 이르기까지 비즈니스의 다양한 측면을 개선하기 위해 디지털 혁신을 추진해왔습니다. 123년의 역사를 자랑하는 Gerdau는 브라질 최대 철강 생산업체이자 미주 지역 최대 장강 생산업체, 그리고 세계 최고의 특수강 생산업체 중 하나입니다. Gerdau는 브라질에서 자체 사용을 위한 평강과 철광석도 생산합니다.

Gerdau는 또한 철강 산업 및 관련 분야에서 기업가 정신을 육성하는 새로운 사업부인 Gerdau Next를 운영하고 있습니다. '미래를 건설하는 사람들에게 힘을 실어준다'는 목표 아래, Gerdau는 여러 국가에서 사업을 운영하며 30,000명 이상의 직원을 고용하고 있습니다.

Gerdau는 라틴 아메리카 최대 재활용 기업으로, 생산되는 철강의 71%가 스크랩으로 만들어질 정도로 스크랩을 주요 원료로 사용합니다. Gerdau는 매년 1,100만 톤의 스크랩을 다양한 철강 제품으로 재탄생시킵니다. 또한 Gerdau는 미나스 제라이스 주에 250헥타르가 넘는 산림을 보유한 세계 최대의 숯 생산업체입니다. 지속 가능한 생산 체계의 결과로, Gerdau는 현재 업계에서 가장 낮은 평균 온실가스 배출량(CO₂e)인 철강 톤당 0.86t/CO₂e를 기록하고 있으며, 이는 세계 철강 업계 평균인 철강 톤당 1.91t/CO₂e의 약 절반 수준입니다(세계철강협회 기준). Gerdau의 목표는 2031년까지 탄소 배출량을 철강 톤당 0.82t/CO₂e로 줄이는 것입니다.

Gerdau의 주식은 상파울루(B3) 및 뉴욕(NYSE) 증권거래소에 상장되어 있습니다.

회사의 규모와 성공으로 인해 Gerdau는 엔지니어, 건축가, 과학자로 구성된 데이터 및 분석 팀을 구축하여 데이터 관리를 위한 자체 도구를 개발했습니다. 하지만 데이터 인프라의 복잡성이 계속 증가하는 동시에 급증하는 다양한 데이터 소스를 지원하면서 비용과 유지 관리에 상당한 어려움을 겪고 있었습니다. Databricks 데이터 인텔리전스 플랫폼을 통해 데이터 소스를 통합하고 새로운 분석 및 머신 러닝 워크로드를 도입하여 시급한 사용 사례를 해결하고, 비즈니스에 데이터 우선 문화를 정착시키며, 전반적인 운영 비용을 절감할 수 있었습니다.

오픈 소스 데이터 에코시스템 관리의 복잡성

철강 업계가 디지털 시대를 수용함에 따라 데이터 활용이 급증하면서 운영 방식이 재편되고 효율성이 향상되며 혁신이 새로운 차원으로 발전하고 있습니다. Gerdau는 독점 기술과 오픈 소스 데이터 도구 에코시스템으로 인해 여러 가지 문제점을 겪고 있었습니다. Gerdau의 데이터 관리, 엔지니어링 및 아키텍처 책임자인 Felipe Montanini는 "데이터 분석은 우리 공장 운영에서 중요한 역할을 합니다. 더 나은 결과를 얻기 위해 기계를 사용하는 새로운 방법을 찾는 데 도움이 됩니다."라고 말합니다. 하지만 Gerdau의 솔루션은 대부분 오픈 소스를 염두에 두고 자체 개발했기 때문에 복잡하고 단절적이며 관리하기 어려웠습니다. "우리는 유연성과 무한한 잠재력 때문에 오픈소스로 구축하기를 원했습니다."라고 Gerdau의 I4.0 제품 소유자인 Bruno da Silva Breder는 말합니다. "하지만 Python과 Spark에 능숙한 사용자가 필요했습니다. 이로 인해 엔지니어링 팀이 비즈니스 내에서 채택을 유지하고 추진하는 것이 어려웠습니다."

이에 더해, 회사의 현재 플랫폼은 실시간 데이터 처리 기능을 제공하지 못해 특히 '디지털 트윈' 사용 사례에 장애가 되었습니다. 제조 부문에서 디지털 트윈은 제품의 가상 복제본 역할을 하여 기업이 가상 환경에서 생산 라인을 설계, 테스트 및 최적화할 수 있게 해줍니다. 이 사용 사례는 제조를 간소화하고 제품 품질을 개선하며 탄소 발자국을 줄이기 위한 환경, 사회 및 거버넌스(ESG) 전략을 지원하려는 Gerdau의 노력에서 매우 중요한 요소였습니다.

또한 이 글로벌 철강 제조업체는 다양한 규정 준수 및 보안 표준을 충족하고 일관된 속도로 계속 확장하면서 세분화된 접근 제어 및 데이터 리니지 추적 기능을 제공할 수 있는 플랫폼이 절실히 필요했습니다. 이러한 데이터 거버넌스 장애물은 팀 협업과 데이터 공유에 대한 Gerdau의 어려움을 가중시습니다. 여러 팀에서 중복되거나 여러 버전의 데이터베이스를 만드는 경우가 많았고, 통합된 데이터 관리 시스템의 부재로 인해 비효율이 발생하고 데이터 불일치 및 부정확성의 위험이 있었습니다. 이는 의사결정과 운영 효율성에 영향을 미쳤을 뿐만 아니라 비즈니스 프로세스의 총소유비용(TCO)을 증가시켰습니다. 철강을 생산하려면 올바른 화학 성분이 필요하며, 적시에 정확한 데이터가 없으면 많은 비용이 발생할 수 있기 때문입니다. 

Gerdau의 상황은 디지털 전환 과정에서 대형 제조 기업이 직면한 복잡한 과제를 잘 보여줍니다. 이처럼 대규모 프로젝트를 혼자서 진행하다 보면 적절한 파트너 없이 도중에 한계를 발견할 수밖에 없습니다. 이러한 기술적 장애물로 인해 Gerdau는 ESG에 대한 헌신, 공급망 관리 강화에 대한 열망, AI 발전을 위한 비전 등 전략적 목표를 달성하는 데 어려움을 겪고 있었기 때문에 정교한 통합 데이터 플랫폼의 필요성이 점점 더 분명해졌습니다. Databricks 데이터 인텔리전스 플랫폼은 데이터 인프라를 혁신할 수 있는, Gerdau의 디지털 퍼즐에서 빠진 조각처럼 보였습니다.

 

디지털 전환을 가속화하는 통합 접근 방식

다양한 도구를 사용자 친화적인 단일 환경으로 통합하여 데이터 워크플로우를 간소화한 이후, 이 철강 제조업체는 현대화 여정에서 상당한 진전을 이루었습니다. Delta Lake는 Gerdau의 새로운 기본 데이터 인프라를 위한 토대를 마련했습니다. 이 최적화된 스토리지 계층을 기반으로, 이 회사는 Delta Sharing을 활용하여 파트너와 내부 및 외부에서 데이터를 쉽고 안전하게 공유함으로써 Gerdau와 제조 및 유통 파트너의 에코시스템 내에서 더욱 협업적인 업무 환경을 조성하는 데 도움이 되었습니다. 데이터 공유는 일반적으로 공급업체, 유통업체, 규제 기관, 고객 등으로 구성된 복잡한 생태계를 포함하는 B2B 시장에서 특히 중요하므로, Databricks의 통합된 뷰와 대규모의 복잡한 데이터 세트를 처리하는 탁월한 성능 덕분에 Gerdau는 다음 성장 단계로 쉽게 확장할 수 있었습니다.

또한 이러한 통합 데이터 소스를 구축함으로써 데이터를 보다 효율적으로 처리하고 디지털 트윈 프로젝트 및 구성 제어와 같은 기타 안전 조치에 따르는 막중한 책임을 해결할 수 있게 되었습니다. 매우 빠른 쿼리 성능을 제공하는 Databricks 플랫폼의 차세대 엔진인 Photon을 사용해 Gerdau는 평균 데이터 처리 시간을 1.5시간에서 12분으로 단축했으며, 워크플로우의 특정 테이블을 매일 처리하기 때문에 엄청난 성능 향상과 비용 절감 효과를 얻었습니다. 데이터 처리는 데이터의 정확성, 일관성, 신뢰성을 보장함으로써 데이터 거버넌스에서 중요한 역할을 하므로, 이 회사는 Unity Catalog를 사용함으로써 거버넌스 관행을 개선하는 데 성공했습니다. Gerdau의 데이터 거버넌스 리더인 Eduardo Antunes Padilha는 "Unity Catalog를 통해 제조 프로세스 전반에 걸쳐 데이터 거버넌스 표준을 확립했습니다."라고 말합니다. "또한 다양한 사용자 그룹에 대한 세분화된 접근 제어, 데이터 계보 추적, 접근 분리도 구현했습니다." 또한 Unity Catalog는 Power BI와의 통합과 잘 어울려 Gerdau의 비즈니스 팀이 자체 보고서와 대시보드를 만드는 데 필요한 데이터에 더욱 쉽게 접근할 수 있게 되었습니다.

이러한 구현은 회사의 데이터 관리 관행을 최적화했을 뿐만 아니라 미래 혁신을 위한 기반을 마련했습니다. Gerdau는 고급 분석 및 머신 러닝을 위해 Databricks를 활용함으로써 예측 유지보수, 이미지 및 텍스트 분류, 기타 생성형 AI 기반 솔루션 등 디지털 트윈을 넘어선 최첨단 애플리케이션을 더욱 탐구할 수 있게 되었습니다. 예를 들어, LLM을 사용한 첫 번째 성과 중 하나는 직원들의 재교육과 업스킬링 과정을 돕는 어시스턴트입니다. Gerdau의 기술 데이터 관리자 Luis Souza Pereira는 "Databricks를 사용하면 미래의 가능성을 매우 명확하고 빠르게 확인할 수 있습니다."라고 설명합니다.

데이터 효율성을 활용한 지속적인 혁신

이러한 모든 구현을 거친 후, Gerdau는 자체 제작 솔루션과 오픈 소스 솔루션을 혼용하던 방식에서 벗어나 Databricks로 전환함으로써 상당한 비용 절감 효과를 거두었습니다. 이를 통해 운영이 간소화되었고 재정 및 인건비 지출을 줄일 수 있었습니다. 재정적으로는 Databricks를 도입하고 Gerdau의 다양한 도구를 통합한 결과 데이터 처리 비용이 40%, 스트리밍 솔루션의 신규 개발 비용이 80% 절감되었습니다. 이러한 비용 절감은 여러 개의 서로 다른 시스템을 관리하고 고도로 수동적인 워크플로를 사용하는 데 따른 재정적 부담을 줄인 직접적인 결과였습니다.

운영 측면에서도 Databricks의 향상된 규정 준수 기능을 통해 데이터 보안 표준 및 규정을 엄격하게 준수할 수 있게 되었습니다. 또한, Databricks 도입으로 여러 팀과 부서 간의 협업과 데이터 공유가 개선되었습니다. 이러한 통합 접근 방식은 데이터 사일로를 해체하고 조직 전체에서 데이터의 일관성과 정확성을 보장하는 데 도움이 되었습니다. 거버넌스 개선과 데이터 도구의 통합을 통해 Databricks 플랫폼에서 데이터를 더 빠르게, 그리고 실시간으로 처리할 수 있게 되었습니다.

Databricks의 조직적 영향력은 재무 및 운영 효율성을 넘어 확장되었습니다. Databricks 플랫폼의 도입으로 Gerdau는 비즈니스 전반의 혁신과 성장을 위해 데이터와 분석을 수용하면서 중요한 변화를 맞이했습니다. 이는 페루와 미국 등 다른 국가의 사업장을 포함하여 300명이 넘는 새로운 글로벌 데이터 사용자가 빠르게 온보딩한 것으로 입증되었습니다. Montanini는 이미 사용자들로부터 다음과 같은 긍정적인 피드백을 받았다고 말합니다: "이전 환경에서는 5~6개의 다른 도구를 배워야 했지만, 이제는 Databricks 하나만 배우면 됩니다. 뿐만 아니라 이제 ML 모델을 만드는 데 드는 노력도 30%나 줄었습니다." 

데이터 기반의 미래를 지향하는 Gerdau 팀과 함께, 이 철강 제조업체는 Databricks 덕분에 더욱 발전된 AI 프로젝트를 수행할 수 있게 되었습니다. Databricks가 제공하는 확장성과 유연성은 Gerdau의 성장과 확장 전략을 지속적으로 지원하여 B2B 디지털 혁신의 미래 지향적인 리더로 자리매김하고 있습니다.