Jak korzystać z uczenia maszynowego w analizie Big Data

Wiele lat temu właściciele firm musieli polegać na swojej pamięci, aby dostosować sposób obsługi klientów. Kiedy pani Jones weszła, właścicielka sklepu musiała sobie przypomnieć, co kupiła ostatnim razem, czy przyniosła to z powrotem i czy narzekała na to podczas ostatniej wizyty.

Teraz, dzięki big data, mnóstwo danych o klientach i firmach jest na wyciągnięcie ręki. Wiesz, gdzie mieszka pani Jones, co kupiła w ciągu ostatnich 10 lat, ile wydała, jak często zwraca przedmioty i dziesiątki innych wskaźników. Korzystając z uczenia maszynowego, możesz przekształcić te i inne dane w spostrzeżenia wspierające biznes. Oto zestawienie Big Data i uczenia maszynowego oraz sposoby ich wykorzystania do napędzania firmy.

Czym są big data i uczenie maszynowe?

Big data i uczenie maszynowe są różne, ale są ze sobą ściśle powiązane.

Czym są duże zbiory danych?

Big data odnosi się do ogromnych lub niezwykle złożonych zbiorów danych, których wykorzystanie bez specjalistycznych narzędzi może być niemożliwe. Niektóre firmy nigdy nie mają do czynienia z big data. Na przykład, jeśli masz restaurację z trzema lokalizacjami produkującymi dane o sprzedaży i zapasach, to nie jest to „duża ilość danych”.

Z drugiej strony, jeśli ta sama restauracja doda jeszcze 10 lokalizacji i aplikację mobilną, która umożliwia klientom składanie zamówień online, korzystanie z nagród lojalnościowych i czatowanie z przedstawicielem obsługi klienta za pośrednictwem wiadomości tekstowych, masz teraz sytuację z dużymi danymi. Sama aplikacja może generować dane dotyczące:

• Posiłki klienci zamawiają najczęściej
• Pory dnia, w którym klienci składają zamówienia
• Skąd klienci zamawiają jedzenie na podstawie danych geolokalizacyjnych
• Gdzie mieszkają klienci i statystyki zakupów związane z każdym miastem
• Dane sprzedażowe z każdej lokalizacji
• Jak klienci wykorzystują swoje punkty premiowe
• Zakup danych w godzinach szczytu i świąt

Te przykłady tylko zarysowują powierzchnię. Tego rodzaju aplikacja może generować dziesiątki zestawów danych. Ponadto informacje będą napływać niemal bez przerwy. To duże zbiory danych.

Czym jest uczenie maszynowe?

Uczenie maszynowe (ML) odnosi się do używania komputerów do rozpoznawania wzorców w danych. Uczenie maszynowe robi to za pomocą algorytmów, które są zestawami instrukcji ułożonych krok po kroku. Model uczenia maszynowego wykorzystuje kroki algorytmu do uczenia się wzorców. Obejmuje to również rozpoznawanie, kiedy wzorce są łamane i uczenie się, jak je porównywać.

Jako prosty przykład załóżmy, że chcesz zbudować algorytm uczenia maszynowego do analizy danych sprzedażowych. Masz dane dotyczące sprzedaży z pięciu lat. Twoim celem jest maksymalizacja letnich zysków poprzez ustalenie, które produkty powinieneś oferować w sprzedaży między czerwcem a sierpniem.

Oczywiście możesz pójść o krok dalej ML i uwzględnić koszt sprzedanych towarów (COGS) dla każdego produktu, w tym koszty wysyłki, robocizny, przechowywania i inne dane. Wtedy Twój model ML może polecić nie tylko produkty, które mają największą sprzedaż w okresie letnim, ale także podpowie Ci, które z nich przynoszą największy zysk netto.

Czym jest uczenie maszynowe w big data?

W kontekście dużych zbiorów danych zawsze, gdy w danych mogą występować wzorce, możesz użyć uczenia maszynowego, aby je odkryć i dostarczyć przydatnych informacji. Możesz również użyć ML do tworzenia rekomendacji na podstawie wzorców analizowanych przez algorytmy.

Jak uczenie maszynowe działa z big data

Jednym z najpopularniejszych zastosowań uczenia maszynowego są pojazdy autonomiczne. Samochód wykorzystuje uczenie maszynowe, aby decydować, co zrobić w odniesieniu do danych gromadzonych z otoczenia i innych pojazdów.

Na przykład, gdy kamery wewnątrz pojazdu autonomicznego „widzą” znak stopu, mogą go rozpoznać i automatycznie włączyć hamulce. Proces stojący za tą decyzją najprawdopodobniej rozpoczął się od grupy naukowców zajmujących się danymi, testujących wiele algorytmów uczenia maszynowego. Na wysokim poziomie wymaga to trzech kroków:

1. Szkolenie

Aby przeanalizować duże zbiory danych, analitycy danych najpierw używają zestawu szkoleniowego, aby nauczyć jednego lub więcej algorytmów, czego powinni szukać.

Na przykład ze znakiem stopu zestaw treningowy składałby się z tysięcy obrazów znaków stopu. Inżynierowie danych przedstawiliby obrazy znaków stop pod różnymi kątami, w różnym oświetleniu, a nawet z drzewami lub innymi obiektami częściowo je blokującymi.

Istnieje nadzieja, że ​​pod koniec fazy treningu algorytm zidentyfikował wzorce w kształtach i kolorach znaków stopu. Innymi słowy, wie, jak „wygląda” znak stopu – w różnym oświetleniu i pod różnymi kątami.

2. Walidacja

Zestaw walidacyjny służy do określenia dokładności modelu ML przy użyciu zupełnie innego zestawu danych big data. Celem fazy walidacji jest odkrycie sposobów na dostrojenie modelu ML.

Załóżmy na przykład, że model ML zaprojektowany do identyfikacji znaków stopu był dokładny w 95%, a wszystkie obrazy, które popełnił, były bardzo ciemne. Deweloperzy mogliby następnie użyć innej formuły, która zwiększa kontrast każdego obrazu, ułatwiając zobaczenie ważnych cech modelowi ML.

3. Testowanie

Faza testowania obejmuje dostarczanie modelowi ML większej ilości dużych zbiorów danych, które są zupełnie inne od tego, co widziano w fazach uczenia i walidacji.

Na przykład, aby przetestować model znaku stopu, programiści mogliby pokazać modelowi ML 250 000 obrazów różnego rodzaju znaków, z których niektóre są znakami stopu. Następnie analizowali wyniki, aby zobaczyć, jak dokładnie model był w stanie rozróżnić znaki stopu, a także uniknąć błędnej identyfikacji innych rodzajów znaków.

Wyzwania związane z uczeniem maszynowym i big data

Dwa z najbardziej zniechęcających wyzwań, przed jakimi stoją naukowcy zajmujący się danymi wykorzystującymi ML do badania dużych zbiorów danych, to niedokładność i dylematy etyczne.

1. Niedokładność

Oczywiście, nawet w przypadku zaawansowanych procesów obliczeniowych, zawsze będziesz musiał przejść przez element prób i błędów za każdym razem, gdy używasz uczenia maszynowego w analityce big data. Dzieje się tak, ponieważ nigdy nie wiadomo, które czynniki mogą zniekształcić wyniki podczas trenowania, walidacji i testowania modelu.

Na przykład podczas identyfikowania obrazów — takich jak znaki stopu lub ludzkie twarze — wiele czynników może przyczynić się do słabej wydajności modelu ML. Załóżmy na przykład, że opracowujesz model uczenia maszynowego, aby ulepszyć system zabezpieczeń Twojej firmy. W szczególności potrzebujesz modelu, który może identyfikować twarze dyrektorów i innych wysokich rangą osób, aby umożliwić im dostęp do wrażliwych obszarów budynku. W fazie walidacji system jest dokładny tylko w 65%. Ale może to wynikać z kilku zmiennych, takich jak:

• Pikselowe obrazy twarzy
• Obrazy, które są nieostre
• Osoba odwracająca wzrok podczas skanowania twarzy
• Osoba decydująca się na noszenie okularów przeciwsłonecznych, maseczki na twarz, szalika lub czegoś innego, co może zafałszować wyniki identyfikacji

2. Dylematy etyczne

Są też wyzwania etyczne. Załóżmy na przykład, że dział HR wykorzystuje uczenie maszynowe do identyfikowania najlepiej wykwalifikowanych kandydatów, wyciągając ich z cyfrowego stosu 1500 życiorysów.

Jeśli model ML był szkolony z wykorzystaniem firm i działów rekrutacyjnych prowadzonych wyłącznie przez mężczyzn, dane mogą zawierać błąd. Niektórzy mężczyźni mogą być bardziej skłonni do zatrudniania innych mężczyzn – z powodów innych niż ich zasługi lub kwalifikacje. Dlatego „udany” kandydat, którego inżynierowie wyszkolili w poszukiwaniu modelu ML, może w większości przypadków być mężczyzną. W rezultacie model rekomenduje mężczyzn zamiast kobiet, które mogły mieć wyższe kwalifikacje.

Jak w kontekście biznesowym są powiązane big data i uczenie maszynowe?

W kontekście biznesowym uczenie maszynowe wykorzystuje duże dane generowane przez Twoją organizację, aby usprawnić lub zautomatyzować procesy o znaczeniu krytycznym dla firmy oraz zwiększyć bezpieczeństwo i ochronę. Potencjalne zastosowania są dosłownie nieskończone — i tak różnorodne, jak różne rodzaje danych, które produkujesz.

Na przykład fabryka lub zakład produkcyjny może wykorzystać uczenie maszynowe do optymalizacji poziomów temperatury i wilgotności na hali produkcyjnej. Na przykład modele uczenia maszynowego mogą określić:

• Poziomy temperatury i wilgotności, które maksymalizują produktywność pracowników, jednocześnie minimalizując liczbę nieplanowanych przerw, które muszą zrobić
• Idealne poziomy temperatury i wilgotności dla wrażliwego sprzętu, który może ulec szybszemu pogorszeniu w nieodpowiednich warunkach
• Najbardziej opłacalne warunki temperatury i wilgotności, biorąc pod uwagę koszty eksploatacji systemów HVAC i osuszaczy

System może być następnie wykorzystany do automatycznego sterowania systemem atmosferycznym w celu uzyskania optymalnych wyników.

W jaki sposób uczenie maszynowe i analityka big data są wykorzystywane w marketingu?

Marketing oferuje jedne z najbardziej obiecujących zastosowań uczenia maszynowego i analizy big data. Rozważ następujący przykład z życia.

Albert Harleya Davidsona zwiększa prowadzenie o 2930%

Harley Davidson zbudował robota o imieniu Albert, który wykorzystuje uczenie maszynowe do podejmowania decyzji marketingowych ^[1] . W ten sposób Albert pomógł kierownikom Harleya Davidsona odjechać w jaśniejszy zachód słońca.

Harley Davidson chciał wykorzystać swoje dotychczasowe relacje z poprzednimi klientami. Wykorzystali Alberta do analizy:

• Jak często ludzie robili zakupy
• Ile wydali ci klienci
• Ile czasu klienci spędzili na przeglądaniu witryny Harley Davidson

Albert następnie wykorzystał te dane, aby podzielić klientów na różne segmenty. Następnie zespół marketingowy stworzył kampanie testowe dla każdej kategorii klientów. Po przetestowaniu sukcesu kampanii zespół przeskalował ją, aby objąć dużą grupę poprzednich klientów.

W rezultacie Harley Davidson zwiększył swoją sprzedaż o 40%. Wygenerowali też 2930% więcej leadów. Połowa z tych tropów została bezpośrednio zidentyfikowana przez samego Alberta. Albert zbadał profile potencjalnych klientów, którzy z dużym prawdopodobieństwem przekształcili się w płacących klientów, a następnie przestudiował profile danych innych użytkowników i wskazał „podobnych” lub osoby, które mają wiele wspólnego z klientami o wysokim współczynniku konwersji.

Niezależnie od tego, czy próbujesz dowiedzieć się, co pani Jones kupi w następnej kolejności, czy też optymalizujesz wydajność złożonego zakładu produkcyjnego, uczenie maszynowe może przekształcić pozornie losowe dane big data we wgląd w transformację. Przy odrobinie burzy mózgów i kreatywnego myślenia możesz znaleźć sposoby na wykorzystanie ML i big data, aby wyprzedzić konkurencję i przenieść swoją organizację na wyższy poziom.

Źródła

1. Harley Davidson NYC bije cały czas z Albertem, Albert.ai