제조 분야에서 확장 가능한 데이터 및 AI 산업용 IoT 솔루션을 구축하는 방법

(원문: 링크)
이 글은 데이터브릭스 컨설팅 파트너인 Tredence와 데이터브릭스의 Bala Amavasai가 공동으로 작성한 게시물입니다. Tredence의 인더스트리 솔루션 부문 디렉터인 Vamsi Krishna Bhupasamudram과 IOT 분석 부문 수석 아키텍트인 Ashwin Voorakkara님께 감사드립니다. 

오늘날 제조 및 물류 분야에서 가장 중요한 발전은 데이터와 연결성을 통해 이루어지고 있습니다. 이를 위해 산업용 사물 인터넷(IIoT)은 엣지에서 인공지능으로 가는 데이터 여정의 첫 번째 단계로서 디지털 트랜스포메이션의 핵심입니다. 

IIoT 기술 스택과 성장세는 간과해선 안됩니다. 여러 주요 연구 기관에 따르면, IIoT는 2027년까지 연평균 16% 이상 성장하여 전 세계적으로 규모가 2,630억 달러에 달할 것으로 예상됩니다. 항공우주, 자동차, 에너지, 헬스케어, 제조 및 리테일 시장에 품질, 처리량, 가동시간을 개선하는 자동화, 프로세스 최적화, 네트워킹 등 수많은 산업 프로세스가 이러한 성장을 주도하고 있습니다. 물론 여기에는 기계 간 통신, 빅 데이터 분석, 머신 러닝에 초점이 맞춰져 있죠. 센서의 실시간 데이터는 산업용 엣지 디바이스와 엔터프라이즈 인프라가 실시간으로 의사 결정을 내릴 수 있도록 지원해 더 나은 제품, 더 민첩한 생산 인프라, 공급망 위험 감소, 시장 출시 시간 단축을 가능하게 합니다.

광범위한 인더스트리 X.0 패러다임의 일부인 IIoT 애플리케이션은 산업 자산을 기업 정보 시스템, 비즈니스 프로세스 및 비즈니스 운영의 핵심인 사람과 연결할 수 있게 해줍니다. 이러한 사물과 기타 운영 데이터를 기반으로 구축된 AI 솔루션은 새로운 실시간 인사이트, 인텔리전스 및 최적화를 제공하고 의사 결정 속도를 높이며 리더가 혁신적인 비즈니스 성과와 사회적 가치를 제공할 수 있도록 지원함으로써 기존 및 신규 자본 투자의 가치를 최대한 활용할 수 있도록 돕습니다. 데이터가 새로운 연료가 된 것처럼 AI는 IIoT가 주도하는 혁신을 촉진하는 새로운 엔진입니다.

제조 현장이나 차량 등의 센서 데이터를 활용하면 다양한 이점을 얻을 수 있습니다. 클라우드 기반 솔루션을 사용하면 효율성을 높이고 계획을 개선하는 데 핵심적인 역할을 합니다. 사용 사례는 다음과 같습니다:

1. 예측적 유지보수: 전체 공장 유지보수 비용을 40% 절감합니다.
2. 품질 관리 및 검사: 개별 제조 품질을 최대 35%까지 개선합니다.
3. 원격 모니터링: 작업자의 건강과 안전을 보장합니다.
4. 설비 모니터링: 석유 및 가스 산업에서 에너지 사용량을 4~10% 절감합니다.
5. 차량 관리: 운송편 추천을 거의 100% 더 빠르게 수행합니다.

산업용 IoT 솔루션 시작하기

인더스트리 4.0 솔루션의 가치를 최대한 활용하기 위해서는 초기에 올바른 결정을 내려야 합니다. 제조업체는 IIoT에서 생성되는 데이터의 속도와 양을 처리하는 동시에 비정형 데이터를 통합할 수 있는 데이터 및 분석 플랫폼이 필요한데요. 인더스트리 4.0의 목표를 달성하려면 사용자 입문, 운영 및 기술 성숙도를 주요 고려 사항으로 삼아 검증된 기술을 사용하여 신중하게 설계해야 합니다.

제조업체는 전략적 설계를 위해 데이터 아키텍처와 관련하여 다음과 같은 주요 질문을 고민해야 합니다: 

1. 정확한 예측/스케줄링을 제공하려면 얼마나 많은 데이터를 수집해야 하는가?
2. 얼마나 많은 과거 데이터를 캡처하고 저장해야 하는가?
3. IoT 시스템에서 얼마나 많은 디바이스에서 어떤 빈도로 데이터를 생성하는가?
4. 데이터를 내부적으로 또는 파트너와 공유해야 하는가?

그림 1. 간단한 산업용 IoT 데이터 수집 아키텍처

그림 1의 자동화 피라미드는 일반적인 제조 시나리오에서 다양한 IT/OT 계층을 요약한 것으로, 데이터의 세분성은 레벨에 따라 다릅니다. 일반적으로 피라미드의 맨 아래쪽은 가장 많은 양의 데이터를 스트리밍 형태로 처리합니다. 피라미드의 최상단에 있는 분석 및 머신러닝은 주로 배치 컴퓨팅에 의존합니다.

과제에 적합한 플랫폼 아키텍처를 설계할 때 염두에 두어야 할 몇 가지 중요한 과제와 고려 사항은 다음과 같습니다:

도전 과제	필요한 기능
높은 데이터 양과 속도	스트리밍 IoT 디바이스에서 고속의 세분화된 판독값을 안정적이고 비용 효율적으로 캡처하고 저장할 수 있는 기능
데이터 추출을 위한 OT 계층의 여러 독점 프로토콜	여러 프로토콜에서 MQTT 및 OPC UA와 같은 표준 프로토콜로 데이터를 변환할 수 있는 기능
더 복잡한 데이터 처리 요구 사항	저지연 시계열 데이터 처리, 집계 및 마이닝
ML 사용 사례를 위한 선별된 데이터 프로비저닝 및 분석 지원	정교한 AI/ML 애플리케이션을 위한 강력한 성능의 유연한 컴퓨팅
확장 가능한 IoT 에지 호환 ML 개발	세분화된 과거 데이터를 기반으로 예측 모델을 공동으로 학습/배포하고, 'ML-IoT 운영' 접근 방식을 통해 데이터 및 모델 파이프라인 간소화
엣지 ML, 인사이트 및 작업 오케스트레이션	실시간 인사이트 및 자율 작업의 오케스트레이션
간소화된 엣지 구현	데이터 엔지니어링 파이프라인의 프로덕션 배포, 비교적 작은 폼 팩터 디바이스에 ML 파이프라인 배포
보안 및 거버넌스	다양한 계층의 데이터 거버넌스 구현. 가치 사슬 전반에 걸친 위협 모델링

어떤 플랫폼과 기술을 선택했는지와 상관 없이 꼭 함께 작동해야 하는 기본적인 빌딩 블록이 있습니다. 아키텍처가 원활하게 작동하려면 이러한 각 빌딩 블록을 고려해야 합니다.

그림 2: 일반적인 제조 시나리오에서 IIoT 아키텍처의 기능 다이어그램

데이터브릭스를 기반으로 하는 일반적인 기술 아키텍처는 아래와 같습니다. 데이터브릭스의 기능으로 많은 요구 사항을 해결할 수 있지만, IIoT 솔루션은 독립된 솔루션이 아니며 함께 작동하기 위해서는 많은 지원 서비스와 솔루션이 필요합니다. 이 아키텍처는 또한 이러한 추가 구성 요소를 통합하는 위치와 방법에 대한 몇 가지 지침을 제공합니다.

그림 3: 데이터브릭스를 사용한 IIoT 아키텍처

IT 기반인 기존 데이터 아키텍처와 달리, 제조 분야에서는 하드웨어와 소프트웨어가 교차하는 지점에 OT(운영 기술) 아키텍처가 필요합니다. OT는 프로세스 및 물리적 기계와 경쟁해야 합니다. 이 아키텍처의 각 구성 요소와 측면은 산업 운영을 처리할 때 특정 요구 사항이나 과제를 해결하도록 설계되었습니다. 그림의 순서대로 나열된 숫자는 아키텍처를 통한 데이터 여정을 추적합니다:

• 1 - 여러 OT 프로토콜을 연결하고, 확장 가능한 방식으로 장비에서 IoT 데이터를 수집 및 스트리밍합니다. 센서, PLC/SCADA 등 데이터가 풍부한 OT 디바이스에서 클라우드 데이터 플랫폼으로 간소화된 수집을 촉진합니다.
• 2 - 배치 모드에서 엔터프라이즈 및 마스터 데이터 수집
• 3,11 - 실시간에 가까운 인사이트 제공 가능
• 4 - 데이터 수집을 위한 raw 데이터 레이크 조정
• 5,6 - 데이터 엔지니어링 파이프라인을 개발하여 데이터를 처리/표준화하고, 어노말리를 제거하여 델타 레이크에 저장합니다.
• 7 - 데이터 사이언티스트가 큐레이팅된 데이터베이스에서 ML 모델을 구축할 수 있도록 지원
• 8,9,10 - 프로덕션에 바로 사용할 수 있는 ML 모델을 컨테이너화하여 엣지로 전송하여 엣지 분석 지원
• 12,13 - 집계된 데이터베이스에 형식화된 인사이트, 실시간 및 배치가 저장되어 어떤 형태로든 바로 사용 가능
• 14 - 데이터 엔지니어링 파이프라인과 엣지 및 핫패스/콜드패스에서의 ML 모델 배포를 자동화하는 CI/CD 파이프라인

이 아키텍처를 도입해야 하는 6가지 이유

확장 가능한 IIoT 아키텍처를 구축하는 데 도움이 되는 5가지 간단한 인사이트는 다음과 같습니다:

1. 단일 엣지 플랫폼이 수많은 태그를 스트리밍하는 여러 OT 프로토콜의 데이터를 연결하고 수집해야 합니다.
2. 레이크하우스는 데이터브릭스 잡 컴퓨팅 클러스터(스트리밍)를 통해 데이터를 거의 실시간으로 인사이트로 변환하고, 데이터 엔지니어링 클러스터를 통해 데이터를 일괄 처리할 수 있습니다.
3. 다목적 클러스터를 통해 대량의 데이터에서 ML 워크로드를 실행할 수 있습니다.
4. MLflow는 실시간 인사이트를 위해 엣지에 배포할 수 있는 모델 아티팩트를 컨테이너화하는 데 도움이 됩니다.
5. 레이크하우스 아키텍처인 델타 레이크는 오픈 소스이며 개방형 표준을 따르기 때문에 종속되지 않고 소프트웨어 구성 요소 호환성을 높입니다.
6. AI 노트북 및 액셀러레이터 사용이 가능합니다. 

IIoT 솔루션에 레이크하우스가 필요한 이유

제조 시나리오에서는 데이터가 풍부한 여러 센서가 여러 게이트웨이 디바이스에 데이터를 공급하고 데이터가 스토리지에 일관되게 저장되어야 합니다. 이 시나리오와 관련된 문제는 다음과 같습니다:

1. 사이즈: 시스템 내 데이터 생산자의 수로 인해 저장되는 데이터의 양이 급증할 수 있으며, 비용이 문제가 될 수 있습니다.
2. 속도: 일반적인 제조 현장의 경우 수십 개의 게이트웨이에 연결된 수백 개의 센서를 필요로 하여 실패하기 쉽습니다. 
3. 다양성: 작업 현장의 데이터는 항상 정형화된 표 형식으로 제공되는 것은 아니며 반정형 또는 비정형일 수 있습니다.

데이터브릭스 레이크하우스 플랫폼은 대량의 스트리밍 데이터를 관리하는 데 이상적입니다. Delta Lake를 기반으로 구축되어 여러 센서와 장치에서 작은 단위로 전송되는 대량의 데이터 스트림을 처리할 수 있으며, 기존 웨어하우스 아키텍처에 비해 ACID 규정을 준수하고 작업 실패를 방지할 수 있습니다. 레이크하우스 플랫폼은 대용량 데이터에 맞게 확장할 수 있도록 설계되었습니다.

제조업에서는 반정형(JSON, XML, MQTT 등) 또는 비정형(비디오, 오디오, PDF 등)으로 구성된 다양한 데이터 유형이 생성되며, 플랫폼 패턴은 이를 완벽하게 지원합니다. 이러한 모든 데이터 유형을 하나의 플랫폼에 병합하면 하나의 진실 버전 (one version of the truth)만 존재하므로 보다 정확한 결과를 얻을 수 있습니다.

레이크하우스의 데이터 관리 기능에 더해, 데이터 팀은 데이터를 복사할 필요 없이 직접 분석과 머신러닝을 수행할 수 있으므로 정확성과 효율성이 향상됩니다. 스토리지는 컴퓨팅과 분리되어 있으므로 레이크하우스는 더 많은 동시 사용자와 더 많은 데이터 양에 맞게 확장할 수 있습니다.

결론

IIoT 시스템을 기반으로 구축된 솔루션에 투자한 제조업체는 비용과 생산성이 크게 최적화되었을 뿐만 아니라 수익도 증가했습니다. 다양한 소스의 데이터를 통합하는 것은 제조업계의 지속적인 과제입니다. 가치 중심의 성과를 달성하기 위한 핵심은 엄청난 비용 증가에 굴복하지 않으면서도 산업 데이터의 양과 속도에 맞게 확장하고 대처할 수 있는 올바른 아키텍처에 투자하는 것입니다. 데이터브릭스 및 트레덴스는 데이터 레이크하우스 아키텍처가 이를 실현하는 데 큰 역할을 한다고 믿습니다. 향후 블로그 게시물에서는 이 핵심 아키텍처를 기반으로 빅 산업 데이터의 '저장소' 내에 구축된 의미 있는 데이터 분석과 AI 기반 분석을 실행하여 어떻게 가치를 제공할 수 있는지 보여드리겠습니다. 더 많은 솔루션 살펴보기