빅 데이터 분석에서 기계 학습을 사용하는 방법

기계 학습을 통해 조직은 빅 데이터를 수익 증대 통찰력으로 전환할 수 있습니다. 빅데이터와 머신러닝이 어떻게 연관되어 있고 어떻게 활용하는지 알아보세요.

몇 년 전, 비즈니스 소유자는 고객에게 서비스를 제공하는 방식을 맞춤화하기 위해 기억력에 의존해야 했습니다. Jones가 들어왔을 때 가게 주인은 그녀가 지난 번에 무엇을 샀는지, 결국 그것을 가지고 돌아왔는지, ​​그리고 그녀가 마지막 방문에서 그것에 대해 불평했는지를 기억해야 했습니다.

이제 빅 데이터 덕분에 수많은 고객 및 비즈니스 데이터가 손끝에 있습니다. 존스 씨가 사는 곳, 지난 10년 동안 무엇을 샀는지, 얼마를 썼는지, 얼마나 자주 물건을 반품했는지 등 수십 가지 다른 지표를 알고 있습니다. 머신 러닝을 사용하면 이 데이터와 기타 데이터를 비즈니스 강화 통찰력으로 전환할 수 있습니다. 다음은 빅 데이터 및 기계 학습에 대한 분석과 이를 활용하여 비즈니스를 강화하는 방법입니다.

빅데이터와 머신러닝이란?

빅 데이터와 기계 학습은 다르지만 밀접하게 연결되어 있습니다.

빅데이터란?

빅 데이터는 전문 도구 없이는 활용이 불가능할 수 있는 거대하거나 믿을 수 없을 정도로 복잡한 데이터 세트를 말합니다. 일부 기업은 빅 데이터를 다룰 필요가 없습니다. 예를 들어 판매 및 재고 데이터를 생성하는 세 곳의 레스토랑이 있는 경우 이는 "빅 데이터"가 아닙니다.

반면에 같은 레스토랑이 10개 지점을 더 추가하고 고객이 온라인으로 주문하고 충성도 보상을 활용하고 문자로 고객 서비스 담당자와 채팅할 수 있는 모바일 앱을 추가한다면 이제 빅 데이터 상황에 처하게 됩니다. 앱 단독으로 다음에 관한 데이터를 생성할 수 있습니다.

• 손님들이 가장 많이 주문하는 메뉴

• 하루 중 고객이 주문하는 시간

• 고객이 지리적 위치 데이터를 기반으로 음식을 주문하는 곳

• 고객이 거주하는 지역 및 각 마을과 관련된 구매 통계

• 각 위치의 판매 데이터

• 고객이 보상 포인트를 사용하는 방법

• 성수기 및 휴가철 구매 데이터

이러한 예는 표면을 긁는 것일 뿐입니다. 이러한 종류의 앱은 수십 개의 데이터 세트를 생성할 수 있습니다. 또한 정보는 거의 일정하게 스트리밍됩니다. 빅 데이터입니다.

기계 학습이란 무엇입니까?

기계 학습(ML)은 컴퓨터를 사용하여 데이터의 패턴을 인식하는 것을 말합니다. 기계 학습은 단계별로 배치된 일련의 지침인 알고리즘을 사용하여 이를 수행합니다. 기계 학습 모델은 알고리즘의 단계를 사용하여 패턴을 학습합니다. 여기에는 패턴이 깨지는 시기를 인식하고 패턴을 서로 비교하는 방법을 배우는 것도 포함됩니다.

간단한 예로 판매 데이터를 분석하기 위해 기계 학습 알고리즘을 구축한다고 가정합니다. 당신은 5년치의 판매 수치를 가지고 있습니다. 귀하의 목표는 6월과 8월 사이에 어떤 제품을 판매해야 하는지 파악하여 여름 수익을 극대화하는 것입니다.

물론 ML을 한 단계 더 발전시켜 운송, 인건비, 보관 및 기타 데이터를 포함하여 각 제품에 대한 매출 원가(COGS)를 통합할 수 있습니다. 그러면 ML 모델이 여름 판매량이 가장 높은 제품을 추천할 수 있을 뿐만 아니라 어떤 제품이 가장 많은 순이익을 가져오는지도 알려줄 수 있습니다.

빅데이터에서 머신러닝이란?

빅 데이터의 맥락에서 데이터에 패턴이 있을 수 있는 경우 언제든지 기계 학습을 사용하여 패턴을 발견하고 유용한 통찰력을 제공할 수 있습니다. 또한 ML을 사용하여 알고리즘이 분석하는 패턴을 기반으로 권장 사항을 만들 수 있습니다.

기계 학습이 빅 데이터와 작동하는 방식

머신 러닝의 가장 인기 있는 애플리케이션 중 하나는 자율 주행 차량입니다. 자동차는 기계 학습을 사용하여 주변 및 다른 차량에서 수집한 데이터와 관련하여 수행할 작업을 결정합니다.

예를 들어, 자율주행차 내부의 카메라가 정지 신호를 "볼" 때 이를 인식하고 자동으로 브레이크를 적용할 수 있습니다. 이 결정 이면의 프로세스는 여러 기계 학습 알고리즘을 테스트하는 데이터 과학자 그룹에서 시작되었을 가능성이 큽니다. 높은 수준에서 이것은 세 단계를 거칩니다.

1. 교육

빅 데이터를 분석하기 위해 데이터 과학자는 먼저 훈련 세트를 사용하여 하나 이상의 알고리즘에 그들이 찾아야 할 것을 가르칩니다.

예를 들어, 정지 신호가 있는 훈련 세트는 수천 개의 정지 신호 이미지입니다. 데이터 엔지니어는 다양한 각도, 다양한 조명, 심지어 나무나 기타 물체가 부분적으로 가로막고 있는 정지 표지판 이미지를 제시합니다.

훈련 단계가 끝나면 알고리즘이 정지 표지판의 모양과 색상에서 패턴을 식별할 수 있기를 바랍니다. 즉, 다양한 조명과 다양한 각도에서 정지 신호가 "어떻게 보이는지" 알고 있습니다.

2. 검증

유효성 검사 세트는 ML 모델이 완전히 다른 빅 데이터 세트를 사용하는 정확도를 파악하는 데 사용됩니다. 유효성 검사 단계의 목적은 ML 모델을 미세 조정하는 방법을 찾는 것입니다.

예를 들어 정지 표지판을 식별하도록 설계된 ML 모델이 95% 정확하고 잘못된 모든 이미지가 매우 어둡다고 가정합니다. 그런 다음 개발자는 각 이미지의 대비를 높이는 다른 공식을 사용하여 ML 모델이 중요한 특성을 더 쉽게 볼 수 있도록 할 수 있습니다.

3. 테스트

테스트 단계에는 학습 및 검증 단계에서 본 것과 완전히 다른 더 많은 빅 데이터를 ML 모델에 공급하는 작업이 포함됩니다.

예를 들어, 정지 신호 모델을 테스트하기 위해 프로그래머는 ML 모델에 다양한 종류의 신호 이미지 250,000개를 표시할 수 있으며 그 중 일부는 정지 신호입니다. 그런 다음 결과를 분석하여 모델이 정지 표지판을 얼마나 정확하게 구별할 수 있는지 확인하고 다른 종류의 표지판을 잘못 식별하지 않도록 했습니다.

기계 학습 및 빅 데이터의 과제

ML을 사용하여 빅 데이터를 연구하는 데이터 과학자가 직면하는 가장 어려운 두 가지 문제는 부정확성과 윤리적 딜레마입니다.

1. 부정확성

당연히 고급 컴퓨팅 프로세스가 포함되어 있어도 빅 데이터 분석에서 머신 러닝을 사용할 때마다 여전히 시행착오의 요소를 겪게 됩니다. 이는 모델을 훈련, 검증 및 테스트할 때 어떤 요인이 결과를 왜곡할 수 있는지 알 수 없기 때문입니다.

예를 들어 정지 표지판이나 사람 얼굴과 같은 이미지를 식별할 때 여러 요인이 ML 모델의 성능 저하에 기여할 수 있습니다. 예를 들어 회사의 보안 시스템을 개선하기 위해 기계 학습 모델을 개발한다고 가정합니다. 특히, 건물의 민감한 영역에 대한 액세스 권한을 부여받을 수 있도록 임원 및 기타 고위 인사의 얼굴을 식별할 수 있는 모델이 필요합니다. 유효성 검사 단계에서 시스템의 정확도는 약 65%에 불과합니다. 그러나 이는 다음과 같은 여러 변수 때문일 수 있습니다.

• 픽셀화된 얼굴 이미지

• 초점이 맞지 않는 이미지

• 안면 스캔 중에 시선을 돌리는 사람

• 선글라스, 안면 마스크, 스카프 또는 식별 결과를 왜곡할 수 있는 다른 것을 착용하기로 결정한 개인

2. 윤리적 딜레마

윤리적 문제도 있습니다. 예를 들어 HR 부서에서 머신 러닝을 사용하여 가장 적합한 지원자를 식별하고 1,500개 이력서의 디지털 스택에서 추출한다고 가정합니다.

ML 모델이 남성만 운영하는 회사 및 고용 부서를 사용하여 훈련된 경우 데이터에 편향이 포함될 수 있습니다. 일부 남성은 장점이나 자격 이외의 이유로 다른 남성을 고용하는 경향이 더 클 수 있습니다. 따라서 엔지니어가 찾도록 ML 모델을 훈련시킨 "성공적인" 후보는 대부분의 경우 남성일 수 있습니다. 결과적으로 모델은 더 자격이 있는 여성 대신 남성을 추천합니다.

비즈니스 맥락에서 빅 데이터와 기계 학습은 어떤 관련이 있습니까?

비즈니스 맥락에서 머신 러닝은 조직에서 생산하는 빅 데이터를 사용하여 비즈니스에 중요한 프로세스를 개선하거나 자동화하고 보안 및 안전을 강화합니다. 잠재적인 응용 프로그램은 말 그대로 끝이 없으며 생산하는 다양한 종류의 데이터만큼 다양합니다.

예를 들어, 공장이나 생산 시설은 기계 학습을 사용하여 공장 현장의 온도 및 습도 수준을 최적화할 수 있습니다. 예를 들어 기계 학습 모델은 다음을 파악할 수 있습니다.

• 계획되지 않은 휴식 시간을 최소화하면서 직원 생산성을 극대화하는 온도 및 습도 수준

• 잘못된 조건에서 더 빨리 악화될 수 있는 민감한 장비를 위한 이상적인 온도 및 습도 수준

• HVAC 시스템 및 제습기 운영 비용을 고려할 때 가장 비용 효율적인 온도 및 습도 조건

그런 다음 시스템을 사용하여 대기 시스템을 자동으로 제어하여 최적의 결과를 얻을 수 있습니다.

머신러닝과 빅데이터 분석은 마케팅에 어떻게 사용되나요?

마케팅은 기계 학습 및 빅 데이터 분석의 가장 유망한 응용 프로그램을 제공합니다. 다음 실제 사례를 고려하십시오.

Harley Davidson's Albert가 리드를 2,930% 늘렸습니다.

Harley Davidson은 기계 학습을 사용하여 마케팅 결정을 내리는 Albert라는 로봇을 만들었습니다 ^{[ 1 ]} . 이것은 Albert가 Harley Davidson의 임원들이 더 밝은 석양 속으로 떠나도록 도운 방법입니다.

Harley Davidson은 이전 고객과의 기존 관계를 활용하기를 원했습니다. 그들은 Albert를 사용하여 다음을 분석했습니다.

• 사람들이 구매한 빈도

• 이 고객들이 지출한 금액

• 고객이 Harley Davidson 웹사이트를 탐색하는 데 소요한 시간

그런 다음 Albert는 이 데이터를 사용하여 고객을 여러 세그먼트로 분리했습니다. 그런 다음 마케팅 팀은 각 고객 범주에 대한 테스트 캠페인을 만들었습니다. 캠페인의 성공을 테스트한 후 팀은 캠페인을 확장하여 이전 고객을 광범위하게 참여시켰습니다.

그 결과 Harley Davidson은 매출이 40% 증가했습니다. 또한 2,930% 더 많은 리드를 생성했습니다. 그 리드 중 절반은 Albert 자신이 직접 식별했습니다. Albert는 유료 고객으로 전환할 가능성이 매우 높은 리드의 프로필을 연구한 다음 다른 사용자의 데이터 프로필을 연구하고 전환율이 높은 고객과 공통점이 많은 "닮은 사람"을 정확히 찾아냈습니다.

Ms. Jones가 다음에 무엇을 구매할지 알아내려고 하거나 복잡한 생산 시설의 효율성을 최적화하려고 할 때 기계 학습은 무작위로 보이는 빅 데이터를 혁신적인 통찰력으로 바꿀 수 있습니다. 약간의 브레인스토밍과 창의적 사고를 통해 ML 및 빅 데이터를 사용하여 경쟁에서 앞서고 조직을 다음 단계로 끌어올리는 방법을 찾을 수 있습니다.