Domino의 Enterprise MLOps 플랫폼이 조직에 어떤 이점이 있습니까?

게시 됨: 2022-08-09

소개

인공 지능이 세상을 바꾸고 있습니다. 또한 AI 개발 전문가에 대한 수요가 전례 없이 급증하는 것을 목격하고 있습니다. 비즈니스 문제를 해결하기 위해 AI를 채택하는 기업이 직면한 가장 큰 과제 중 하나는 ML 모델을 대규모로 구축 및 배포할 수 있는 숙련된 리소스를 찾는 것입니다. 또 다른 과제는 데이터를 효과적으로 관리하여 최대 가치를 이끌어낼 수 있도록 하는 것입니다. Domino Data Lab의 엔터프라이즈 MLOps 플랫폼은 AI 프로젝트를 가속화하고 모델 개발에서 배포 및 모니터링에 이르는 모든 단계에서 규정 준수를 보장하는 풀 스택 자동화를 제공하여 이러한 문제를 모두 해결합니다.

Domino 엔터프라이즈 MLOps 플랫폼의 비즈니스 이점

Domino의 엔터프라이즈 MLOps 플랫폼은 기업이 기계 학습 모델을 대규모로 구축 및 배포할 수 있도록 하는 클라우드 기반 플랫폼입니다. 이 플랫폼을 통해 기업은 기존 데이터 과학자 및 기계 학습 엔지니어를 사용하여 기존 클라우드 인프라를 활용할 수 있습니다. 또한 ML 모델의 성능을 모니터링하고 사용자 및 권한을 쉽게 관리할 수 있는 중앙 집중식 대시보드를 제공합니다.

Domino의 Enterprise ML Ops Platform은 ZooKeeper 또는 Paxos 합의 알고리즘을 통해 지속적인 메시지 전달 보장을 제공하여 고가용성을 제공하는 "Kafka RabbitMQ"라는 Apache Kafka를 기반으로 구축되었습니다. 단일 인스턴스는 초당 수만 개의 메시지를 처리할 수 있는 동시에 클러스터 구성의 여러 시스템에 수평으로 수평 확장하여 필요에 따라 메모리 또는 디스크 스토리지에 대량의 데이터를 저장할 수 있으며 정상 기간 동안 다운타임이나 단일 지점 장애 시나리오가 발생하지 않습니다. 작업 시간은 해당 클러스터 내에서 사용할 수 있는 노드 수에 따라 매일/야간 주기입니다.

MLOps 파이프라인

MLOps 파이프라인은 시작부터 배포까지 모델의 수명 주기입니다.

ML Ops 파이프라인은 4단계로 구성됩니다.

  • 모델 생성 – 이 단계는 데이터 준비로 시작하여 교육, 테스트 또는 평가로 끝납니다. 여기에는 전처리, 기능 엔지니어링 및 선택이 포함됩니다. 차원 축소; 텍스트 데이터 청소; 정규화(특징 스케일링); 빌드하려는 모델 유형에 따라 필요한 경우 토큰화/형태소 분석 등.
  • 교육 – 이 단계에는 선형 회귀 또는 신경망과 같은 지도 학습 기술을 사용하여 교육 데이터에서 학습하는 과정이 포함됩니다.
  • 배포 – 여기에는 교육 단계 완료 후 수동 개입 없이 실시간으로 사용할 수 있도록 훈련된 기계 학습기를 프로덕션 환경에 배포하는 작업이 포함됩니다.

ML 배포 파이프라인

MLDeployment 파이프라인은 모델 배포 및 관리의 핵심입니다. 다음 작업에 사용할 수 있는 도구 모음입니다.

  • Domino의 Enterprise MLOps 플랫폼에서 모델 배포
  • 프로덕션 환경에서 모델을 교육한 다음 클라우드 또는 온프레미스 환경(또는 둘 다)에 배포합니다.
  • 시간 경과에 따라 프로덕션 환경에 배포된 모델의 성능 모니터링

또한 플랫폼 자체를 통해 이러한 모든 기능에 액세스할 수 있으므로 Domino의 Enterprise MLOps 플랫폼 외부에 추가 소프트웨어나 서비스가 필요하지 않습니다.

모델 모니터링이란 무엇입니까?

훈련된 모델을 모니터링하여 최상의 성능을 발휘하는지 확인하십시오.

모니터링은 훈련된 모델의 성능을 모니터링하는 프로세스입니다. 모니터링의 주요 목적은 다음과 같은 모델에 문제가 있는지 확인하는 것입니다.

데이터 거버넌스(GDPR, HIPAA)

GDPR 및 HIPAA는 각각 유럽과 미국의 개인 데이터 사용을 규제하는 두 가지 규정입니다. GDPR은 자신의 개인 정보에 대한 개인의 권리를 보호하기 위해 도입된 반면 HIPAA는 의료 기관이 의료 기록을 처리하는 방식을 규정하는 일련의 규정입니다. 이러한 프레임워크는 수십 년 동안 사용되어 왔지만 최근에 회사에서 정보를 사용/공유하는 방법에 대해 보다 투명하도록 요구하는 새로운 표준으로 업데이트되었습니다.

Domino Data Lab Enterprise MLOps 플랫폼에는 다음을 포함하여 이러한 규정을 준수하는 데 도움이 되는 기능이 있습니다.

  • 데이터 거버넌스(GDPR/HIPAA) – 이 기능을 사용하면 단일 인터페이스를 통해 조직의 모든 데이터 거버넌스 정책을 관리할 수 있으므로 관련된 모든 사람이 재무 또는 고객 데이터;
  • 규정 준수 위험 평가 도구 키트 – 이 도구 키트는 ISO 27001 또는 SOC 1 유형 2와 같은 산업 표준을 기반으로 하는 모범 사례에 대한 지침을 제공합니다.

모델 버전 관리란 무엇입니까?

모델 버전 관리는 MLOps 플랫폼의 핵심 구성 요소입니다. 데이터, 모델 및 모델 버전을 한 곳에서 관리할 수 있습니다.

모델 버전 관리는 사용자 요구 사항에 따라 기능이나 제한 사항이 다른 여러 버전을 생성할 수 있도록 하여 모델의 품질을 개선하는 데 도움이 됩니다. 예를 들어 고객이 주문 후 7일 이내에 배송된 모든 주문과 30분 이내에 주문했지만 오후 5시까지 접수된 주문을 분석 세트에 포함하기를 원하는 경우 다른 변경 없이 이 기능을 사용할 수 있습니다. 파이프라인 코드 또는 인프라 설정에 대해

인공 지능 개발 노력에는 높은 수준의 자동화가 필요합니다

AI 개발에는 높은 수준의 자동화가 필요하기 때문에 많은 조직에서 노력을 확장하는 데 어려움을 겪고 있습니다. AI 솔루션을 처음부터 개발하는 과정에는 다양한 도구와 프로세스가 관련되어 있기 때문입니다.

이 프로세스에는 사전 요구 사항 수집, 데이터 수집 및 분석, 개발 단계, 테스트 단계 등 여러 단계가 포함되며 모든 단계가 원활하고 올바르게 진행되도록 각 단계에서 사람의 개입이 필요합니다. 주어진 시간에 수백 또는 수천 명의 사람들이 프로젝트에서 작업할 수 있다는 점을 고려할 때(운영하는 조직 유형에 따라 다름) Domino's Enterprise MLOps Platform과 같은 조직에서 자동화하기가 왜 그렇게 어려운지 명확해집니다. 인공 지능 솔루션으로 목표를 달성하기 위한 이 여정의 모든 단계에서 품질 표준을 유지하면서 비용을 절감할 수 있도록 가능한 한 많이

Domino Data lab 엔터프라이즈 mlops 플랫폼에는 AI 프로젝트를 가속화할 수 있는 기능이 있습니다.

Domino Data lab 엔터프라이즈 mlops 플랫폼에는 AI 프로젝트를 가속화할 수 있는 기능이 있습니다. 데이터 과학자, ML 엔지니어 및 데이터 분석가를 위한 완전한 종단 간 MLOps 플랫폼을 제공합니다.

AI 모델은 모델을 쉽게 구축, 교육 및 배포할 수 있는 포괄적인 도구 세트를 제공하여 AI 모델 개발을 가속화합니다. 이 플랫폼은 또한 여러 언어(Python 포함)에 대한 교육을 단순화하므로 각 언어에 필요한 코드 구문이나 라이브러리에 대해 걱정할 필요 없이 기계 학습 사용을 즉시 시작할 수 있습니다.

결론

이 블로그 게시물에서는 Domino 엔터프라이즈 MLOps 플랫폼의 주요 이점에 대해 논의했습니다. 인프라 및 자동화 도구로 AI 프로젝트를 지원하는 기능을 통해 ML 모델을 위한 인프라 및 배포 파이프라인 관리에 대해 걱정하는 대신 훌륭한 제품을 구축하는 데 집중할 수 있습니다.

저자 약력

Priya는 시장 조사 분야에서 약 7년의 경력을 가지고 있습니다. 현재 그녀는 전 세계 최고의 B2B 미디어 퍼블리셔 중 하나인 콘텐츠 전략가인 Valasys Media에서 어시스턴트 매니저로 일하고 있습니다. 그녀는 고객을 위해 여러 개인화된 보고서를 준비했으며 시장 세분화, 청중 클러스터 분석 및 인바운드 방법론에 대해 많은 연구를 수행했습니다. 그녀는 여러 프로젝트에서 정부 기관 및 기업체와 함께 일했습니다. 그녀는 다양한 관심을 가지고 있으며 문제 해결에 대한 데이터 기반 접근 방식을 믿습니다. 그녀는 과학 학위를 취득했으며 마케팅, 과학, 데이터 과학 및 통계 외에도 삶에 관한 모든 것에 대해 광범위하게 글을 씁니다. 그녀는 더 높은 현실과 삶에는 우리가 이해하는 것보다 항상 더 많은 것이 있다고 굳게 믿습니다. 그녀는 영적인 삶의 방식을 믿고 요가와 명상을 실천하는 심령 치료사이자 타로 수련자입니다. 글을 쓰지 않을 때는 음악이나 요리를 즐기는 그녀를 볼 수 있습니다.