Circuitry.ai - 제조업체를 위한 더 스마트한 의사 결정 인텔리전스 구축
원문: 링크
Circuitry.ai는 제조업체가 판매 및 서비스 결과를 최적화할 수 있도록 Databricks를 사용합니다.
정보 검색 시간 60~70% 단축
업종:기술 및 소프트웨어
솔루션:LLM을 통한 검색 개선
플랫폼 사용 사례:모자이크 AI
클라우드:AWS
"데이터브릭스 데이터 인텔리전스 플랫폼은 데이터를 보다 효율적으로 관리 및 분석하고, AI 사용 사례를 지원하며, AI 모델의 신뢰성을 보장하는 데 도움이 됩니다."
- Ashok Kartham, Circuitry.ai 설립자 겸 CEO
최근 GenAI 기술의 발전에서 영감을 받은 기업 Circuitry.ai는 고가의 복잡한 제품을 생산하는 제조업체에 의사결정 인텔리전스를 제공하는 것을 목표로 하고 있습니다. 이 회사는 구매자 라이프사이클 전반에 걸쳐 의사결정을 분석, 강화, 자동화하는 것을 사명으로 삼고 있습니다. 그러나 소규모의 기술팀은 대량의 자체 고객 데이터를 관리하고 업데이트해야 하는 복잡성으로 인해 RAG 챗봇 개발이 지연되고 있었습니다. 이를 해결하기 위해 Circuitry.ai는 데이터브릭스와 협력하여 데이터 관리, 거버넌스, 모델 학습 과정을 간소화하는 다양한 기능을 활용했습니다. 이 협업을 통해 정보 검색 시간을 60~70% 단축하며 운영 효율성, 고객 경험, 직원 생산성을 크게 향상시켰습니다.
복잡한 정보 관리 문제 해결
Circuitry.ai의 주요 고객인 제조업체들은 일상적으로 관리해야 할 과제가 많습니다. 중장비나 자동차와 같은 복잡한 제품은 상세한 자재 명세서를 필요로 하며, 영업 및 서비스 과정에서 상당한 전문 지식을 요구합니다. 이에 따라 제조업체는 다양한 이해관계자(제조업체, 영업 직원, 채널 파트너, 고객 등)에게 효과적으로 제품 정보를 전달해야 합니다. 그러나 이러한 콘텐츠 배포 및 교육 과정은 노동 집약적이며, 복잡한 제품을 판매하고 지원하기 위해서는 방대한 지식이 필요합니다.
2023년에 설립된 Circuitry.ai는 GenAI 도구를 활용하여 고객이 직면한 주요 문제를 해결할 기회를 포착했습니다. 성공적인 솔루션 개발을 위해 회사는 몇 가지 중요한 문제를 해결해야 했습니다. 첫째, 불충분한 문서로 인해 검색 엔진에 메타데이터 필터를 적용하는 데 어려움이 있었습니다. 둘째, AI 챗봇이 평가 기준을 충족하도록 내부 점검 체계를 수립하고, RAG 체인을 방해하지 않으면서 지식창고 업데이트를 처리하는 방법을 개선해야 했습니다. 이는 민감한 정보를 보호하고 챗봇 응답의 정확성과 신뢰성을 유지하기 위해 적절한 데이터 분리를 보장하는 것을 포함했습니다.
데이터 통합과 AI 모델 학습
방대하고 변화하는 데이터 세트를 정확히 처리하기 위해 AI 모델을 훈련시키는 것은 또 다른 도전 과제였습니다. Circuitry.ai의 GenAI 기반 어드바이저는 신뢰할 수 있고 상황에 맞는 정확한 답변을 제공해야 했으며, 이를 위해 정교한 데이터 관리와 지속적인 지식 기반 업데이트가 필요했습니다. 그러나 여러 데이터 소스를 통합하는 과정에서 각 소스의 구조와 형식이 달라 데이터 일관성을 유지하는 안정적인 통합 프레임워크가 필수적이었습니다.
Circuitry.ai의 설립자 겸 CEO인 Ashok Kartham은 "우리가 사용하려던 대부분의 데이터는 고객의 자체 데이터였습니다. 그들은 내부 지식 리소스를 제공했고, 우리는 이를 활용해 가장 시급한 문제를 해결할 AI 솔루션을 개발하고자 했습니다."라고 설명했습니다. 따라서 Circuitry.ai 모델은 새로운 정보에 적응할 수 있어야 하며, 지속적으로 추가되는 새로운 제품과 지식 자산을 따라잡아야 했습니다. 이를 위해 실시간 데이터 처리와 업데이트를 지원하며 고급 머신러닝 기술을 활용할 수 있는 확장형 데이터 인프라가 필요했습니다. 데이터브릭스는 이러한 요구 사항을 충족하며 Circuitry.ai의 성공적인 운영에 기여했습니다.
AI 챗봇을 위한 데이터 인프라 개선
Circuitry.ai는 데이터브릭스와의 파트너십을 통해 방대한 독점 고객 데이터를 효율적으로 관리하여 RAG 챗봇을 학습시킬 수 있었습니다. 이러한 접근 방식의 핵심은 Delta Lake로, ACID 트랜잭션과 통합 배치 및 스트리밍 데이터 처리를 지원하는 오픈 소스 스토리지 계층입니다. Delta Lake는 새로운 제품과 지식 문서가 추가될 때 지식창고를 최신 상태로 유지하는 데 필요한 점진적인 데이터 업데이트를 가능하게 했습니다.
Unity Catalog는 데이터 및 AI 자산을 위한 통합 거버넌스 솔루션으로, Circuitry.ai의 모델 훈련 프로세스에서 중요한 독점 정보의 적절한 데이터 분리와 보안을 보장했습니다. MLflow와 데이터브릭스 모델 서비스는 머신러닝 모델의 배포와 관리를 간소화했습니다.
Circuitry.ai는 플랫폼 내에서 맞춤형 지식 기반과 RAG 챗봇을 개발하여 AI 서비스를 향상시켰습니다. 고객은 자체 문서나 참고 자료를 업로드하면 봇이 이 데이터를 활용하여 쿼리에 응답할 수 있었습니다. 워크플로는 고객이 문서를 업로드하면 원시 데이터 수집, 임베딩 처리 및 생성, 서비스 엔드포인트 배포 단계를 거쳐 진행되었습니다.
Circuitry.ai는 RAG 파이프라인을 구현하여 AI 챗봇의 답변 정확성과 관련성을 향상시켰습니다. 이 과정에서 Llama와 DBRX 같은 정밀도 높은 생성형 AI 모델이 활용되었습니다. "데이터브릭스는 다양한 모델을 지원하여 작업을 간소화했고, 모델 간 전환과 광범위한 테스트가 가능해 큰 이점이 되었습니다."라고 Kartham은 설명합니다.
Circuitry.ai는 지속적인 개선을 위해 사용자 피드백 메커니즘을 통합했습니다. 이는 쿼리 프로세스를 최적화하고 다양한 고객과 시나리오에 맞게 프롬프트를 조정하여 Decision AIdvisor 도구의 성능을 향상시켰습니다.
초기 성공을 바탕으로 Circuitry.ai는 Model Serving과 함께 메타데이터를 활용하게 되었습니다. 이를 통해 결과를 필터링하고 개별 고객의 다양한 제품과 애플리케이션에 더욱 적합한 솔루션을 제공할 수 있게 되었습니다.
직원과 고객 경험 모두 혁신
데이터브릭스 플랫폼을 활용한 결과, Circuitry.ai는 효율성과 생산성을 크게 향상시켰습니다. 의사결정 인텔리전스 소프트웨어를 사용하는 고객들은 정보 검색 시간이 60~70% 단축되는 효과를 경험했습니다. 특히, 이러한 효율성 증가는 고객사의 신규 직원 온보딩 과정에서 두드러졌으며, 이제 관련 정보에 더 쉽게 접근할 수 있게 되었습니다. 간소화된 데이터 관리와 쿼리 프로세스를 통해 고객들은 빠르게 생산성을 높이고, 의사결정과 고객 서비스에 더 많은 집중을 할 수 있게 되었으며, 전반적인 운영 효율성도 크게 개선되었습니다.
더욱 주목할 만한 점은 AI 챗봇의 개념 증명 시험에 대한 고객 피드백이 매우 긍정적이었다는 것입니다. Circuitry.ai의 고객들은 정확한 정보를 찾는 능력이 크게 향상되었으며, AI 기반 응답의 속도와 관련성을 높이 평가했습니다. 대용량 PDF 파일을 검색할 필요가 줄어들면서 고객들은 몇 분이 아닌 몇 초 만에 답변을 받을 수 있어 높은 만족도를 보였습니다. 이러한 긍정적인 반응에 힘입어 Circuitry.ai는 안내 영업, 서비스 추천, 예측 분석 등 Decision AIdvisor 도구를 더욱 개선할 계획입니다. 이 확장 계획은 현재의 금융 환경에서 직원들이 적은 자원으로 더 많은 작업을 수행할 수 있도록 워크플로우를 간소화하고, 고객들에게 더 큰 가치를 제공하는 것을 목표로 하고 있습니다. Circuitry.ai의 설립자 겸 CEO는 "데이터브릭스 팀이 없었다면 이 프로젝트를 지속할 수 없었을 것입니다. 그들은 초기 구현 단계부터 변함없는 지원을 제공하며 큰 도움을 주었습니다."라고 언급했습니다.
앞으로 Circuitry.ai는 고객에게 더욱 풍부하고 포괄적인 정보를 제공하기 위해 매뉴얼과 비디오의 이미지 및 회로도 같은 복잡한 데이터 유형까지 처리할 수 있는 기술 개발에 힘쓸 예정입니다. 또한, 고객 생애 가치(LTV), 품질 관리, 예측 유지보수를 위한 고급 분석 기능을 통합하여 제조업체가 심각한 문제로 발전하기 전에 잠재적인 문제를 식별하고 해결할 수 있도록 지원할 계획입니다. 추가적으로 주문 관리, 서비스 스케줄링, 동적 가격 책정을 위한 자동화도 로드맵에 포함되어 있으며, Circuitry.ai는 GenAI의 성능을 활용하여 고객의 수익성을 극대화하려 하고 있습니다.
Circuitry.ai의 AI 기반 제품 검색 및 의사결정 인텔리전스 도구 제품군에 대한 자세한 정보는 Circuitry.ai 웹사이트에서 확인할 수 있습니다.