딥 러닝 대 머신 러닝 – 차이점을 구별하는 방법은 무엇입니까?

최근 몇 년 동안 머신 러닝, 딥 러닝, 인공 지능이 화두가 되었습니다. 결과적으로 점점 더 많은 회사의 마케팅 자료와 광고에서 찾을 수 있습니다.

그러나 머신 러닝과 딥 러닝은 무엇입니까? 또한, 그들 사이의 차이점은 무엇입니까? 이 기사에서는 이러한 질문에 답하고 Deep 및 Machine Learning 응용 프로그램의 몇 가지 사례를 보여 드리겠습니다.

머신 러닝이란 무엇입니까?

머신 러닝 은 데이터를 기반으로 수학적 모델을 사용하여 실제 이벤트 또는 개체를 나타내는 컴퓨터 과학의 일부입니다. 이러한 모델은 훈련 데이터에 맞도록 모델의 일반 구조를 조정하는 특수 알고리즘으로 구축됩니다. 해결되는 문제 유형에 따라 지도 및 비지도 기계 학습 및 기계 학습 알고리즘을 정의합니다.

지도 머신 러닝 대 비지도 머신 러닝

지도 머신 러닝은 우리가 이미 가지고 있는 데이터에 대한 지식을 새로운 데이터로 이전할 수 있는 모델을 만드는 데 중점을 둡니다. 새로운 데이터는 훈련 단계에서 모델 구축(훈련) 알고리즘에 의해 보이지 않습니다. 우리는 알고리즘이 그것들로부터 추론하는 법을 배워야 하는 해당 값(소위 대상 변수)과 함께 기능의 데이터와 함께 알고리즘을 제공합니다.

비지도 머신 러닝에서는 알고리즘에 기능만 제공합니다. 이를 통해 자체적으로 구조 및/또는 종속성을 파악할 수 있습니다. 명확한 대상 변수가 지정되지 않았습니다. 비지도 학습의 개념은 처음에는 이해하기 어려울 수 있지만 아래 4개의 차트에 제공된 예를 보면 이 개념이 명확해집니다.

차트 1a는 x 및 y 축에 2개의 기능으로 설명된 일부 데이터를 제공합니다. 1b로 표시된 것은 동일한 데이터를 색상으로 표시한 것입니다. K-means 클러스터링 알고리즘을 사용하여 이러한 점을 3개의 클러스터로 그룹화하고 그에 따라 색상을 지정했습니다. 이것은 비지 도 머신 러닝 알고리즘의 예입니다. 알고리즘에는 기능만 부여되고 레이블(클러스터 번호)을 파악해야 했습니다.

두 번째 그림은 다른 세트의 레이블이 지정된(그리고 그에 따라 색상이 지정된) 차트 2a를 보여줍니다. 우리는 각 데이터 포인트 가 선험적으로 속한 그룹을 알고 있습니다. SVM 알고리즘을 사용하여 이 그룹에 가장 잘 맞도록 데이터 포인트를 분할하는 방법을 보여주는 2개의 직선을 찾습니다. 이 분할은 완벽하지 않지만 직선으로 할 수 있는 최선입니다. 레이블이 지정되지 않은 새 데이터 포인트에 그룹을 할당하려면 평면에서 그룹이 어디에 있는지 확인하기만 하면 됩니다. 이것은 지도 머신 러닝 애플리케이션의 예입니다.

기계 학습 모델의 응용

표 형식의 데이터를 처리하기 위해 표준 기계 학습 알고리즘이 생성됩니다. 이것은 그것들을 사용하기 위해서는 일종의 테이블이 필요하다는 것을 의미합니다. 이러한 테이블에서 행은 모델링된 개체의 인스턴스(예: 대출)로 생각할 수 있습니다. 동시에 열은 이 특정 사례의 기능(특성)으로 간주되어야 합니다(예: 대출의 월별 지불, 차용인의 월 소득).

머신러닝 개발이 궁금하세요?

더 알아보기

표 1.은 그러한 데이터의 매우 짧은 예입니다. 물론 순수한 데이터 자체가 표 형식이고 구조화되어야 한다는 의미는 아닙니다. 그러나 일부 데이터 세트에 표준 머신 러닝 알고리즘을 적용하려면 일반적으로 이를 정리, 혼합 및 테이블로 변환해야 합니다. 지도 학습에는 대상 값(예: 대출이 채무 불이행인지 여부 정보)을 포함하는 하나의 특수 열도 있습니다.

훈련 알고리즘은 모델의 일반 구조를 이러한 데이터에 맞추려고 합니다. 해당 알고리즘은 모델의 매개변수를 조정하여 이를 수행합니다. 그 결과 주어진 데이터와 대상 변수 간의 관계를 가능한 한 정확하게 설명하는 모델이 생성됩니다.

모델이 주어진 훈련 데이터에 잘 맞을 뿐만 아니라 일반화할 수 있는 것이 중요합니다. 일반화는 모델을 사용하여 훈련 중에 사용되지 않은 인스턴스에 대한 대상을 추론할 수 있음을 의미합니다. 유용한 모델의 중요한 기능이기도 합니다. 잘 일반화하는 모델을 구축하는 것은 쉬운 일이 아닙니다. 정교한 검증 기술과 철저한 모델 테스트가 필요한 경우가 많습니다.

표 1. 표 형식의 대출 데이터

사람들은 다양한 애플리케이션에서 기계 학습 알고리즘을 사용합니다. 표 2. 딥 머신 러닝 알고리즘 및 모델 어플라이언스를 허용하는 몇 가지 비즈니스 사용 사례를 보여줍니다. 또한 잠재적 데이터, 대상 변수 및 선택한 적용 가능한 알고리즘에 대한 간략한 설명이 있습니다.

표 2. 머신 러닝 사용 사례의 예

딥 러닝 및 심층 신경망

딥 러닝은 ANN(심층 인공 신경망)이라고 하는 특정 유형의 모델을 사용하는 머신 러닝의 일부입니다. 인공 신경망은 도입 이후 광범위한 진화 과정을 거쳤습니다. 그 결과 여러 하위 유형이 생겼고 그 중 일부는 매우 복잡했습니다. 그러나 그것들을 소개하기 위해서는 그것들의 기본 형태 중 하나인 다층 퍼셉트론(MPL)을 설명하는 것이 가장 좋습니다.

다층 퍼셉트론

간단히 말해서, MLP는 꼭짓점(뉴런이라고도 함)과 가장자리(가중치라고 하는 숫자로 표시됨)의 그래프(네트워크) 형식을 가지고 있습니다. 뉴런은 층으로 배열되어 있으며 연속된 층의 뉴런은 서로 연결되어 있습니다. 데이터는 입력 계층에서 출력 계층으로 네트워크를 통해 흐릅니다. 그런 다음 데이터는 뉴런과 뉴런 사이의 가장자리에서 변환됩니다. 데이터 포인트가 전체 네트워크를 통과하면 출력 레이어의 뉴런에 예측 값이 포함됩니다.

훈련 데이터 덩어리가 네트워크를 통과할 때마다 예측을 해당하는 실제 값과 비교합니다. 이를 통해 모델의 매개변수(가중치)를 조정하여 더 나은 예측을 할 수 있습니다. 우리는 backpropagation이라는 알고리즘으로 그것을 할 수 있습니다. 몇 번의 반복 후에 모델의 구조가 당면한 기계 학습 문제를 해결하도록 특별히 잘 설계된 경우.

고정확도 모델 얻기

충분한 데이터가 네트워크를 여러 번 통과하면 고정확도 모델을 얻습니다. 실제로 뉴런에 적용할 수 있는 변환이 많이 있습니다. 이는 ANN을 매우 유연하고 강력하게 만듭니다. 그러나 ANN의 힘에는 대가가 따릅니다. 일반적으로 모델의 구조가 복잡할수록 높은 정확도로 훈련하는 데 더 많은 데이터와 시간이 필요합니다.

이미지 1. (draw.io) 세 가지 간단한 기능을 기반으로 뉴스 앱 사용자의 다음 달 이탈 여부를 예측하는 4계층 인공 신경망의 구조.

명확성을 위해 가중치는 선택된(굵게 표시된) 모서리에만 표시되지만 모든 모서리에는 고유한 가중치가 있습니다. 데이터는 입력 레이어에서 출력 레이어로 흐르고 중간에 2개의 은닉 레이어를 통과합니다. 각 간선에서 입력 값에 간선의 가중치를 곱한 결과 결과는 간선이 끝나는 노드로 이동합니다. 그런 다음 은닉층의 각 노드에서 에지에서 들어오는 신호를 합산한 다음 일부 기능으로 변환합니다. 이러한 변환의 결과는 다음 레이어에 대한 입력으로 처리됩니다.

출력 계층에서 들어오는 데이터는 다시 합산되고 변환되어 두 개의 숫자 형태로 결과를 산출합니다. 즉, 사용자가 다음 달에 앱을 이탈할 확률과 그렇지 않을 확률입니다.

신경망의 고급 유형

고급 유형의 신경망에서 계층은 훨씬 더 복잡한 구조를 갖습니다. 그들은 MLP에서 알려진 단일 작업 뉴런이 있는 단순한 조밀한 계층뿐만 아니라 컨볼루션 및 순환 계층과 같은 훨씬 더 복잡한 다중 작업 계층으로 구성됩니다.

컨벌루션 및 순환 레이어

합성곱 계층은 주로 컴퓨터 비전 응용 프로그램 에서 사용됩니다. 이미지의 픽셀 표현 위로 미끄러지는 작은 숫자 배열로 구성됩니다. 픽셀 값에 이 숫자를 곱한 다음 집계하여 이미지의 새로운 압축 표현을 생성합니다.

순환 레이어는 시계열 또는 텍스트와 같은 순서가 지정된 순차적 데이터를 모델링하는 데 사용됩니다 . 그들은 시퀀스 항목 간의 종속성을 파악하기 위해 들어오는 데이터에 훨씬 복잡한 다중 인수 변환을 적용합니다. 그럼에도 불구하고 네트워크의 유형과 구조에 관계없이 항상 일부(하나 이상의) 입력 및 출력 레이어가 있으며 데이터가 네트워크를 통해 흐르는 경로와 방향이 엄격하게 정의되어 있습니다.

일반적으로 Deep Neural Networks는 다중 레이어가 있는 ANN입니다. 아래 이미지 1, 2, 3은 선택된 심층 인공 신경망의 아키텍처를 보여줍니다. 그것들은 모두 구글에서 개발되고 훈련되었으며 대중에게 공개되었습니다. 그들은 오늘날 사용되는 고정밀 심층 인공 네트워크가 얼마나 복잡한지에 대한 아이디어를 제공합니다.

이러한 네트워크는 엄청난 크기를 가지고 있습니다. 예를 들어 이미지 3에 부분적으로 표시된 InceptionResNetV2에는 572개의 레이어와 총 5,500만 개 이상의 매개변수가 있습니다! 그것들은 모두 이미지 분류 모델로 개발되었으며(예: 주어진 이미지에 '자동차'라는 레이블을 지정) 1,400만 개 이상의 레이블이 지정된 이미지로 구성된 ImageNet 세트의 이미지에 대해 교육을 받았습니다.

그림 2. NASNetMobile의 구조(keras 패키지)

그림 3. XCeption의 구조(keras 패키지)

이미지 4. InceptionResNetV2(keras 패키지)의 일부(약 25%) 구조

최근 몇 년 동안 우리는 딥 러닝과 그 응용 분야에서 큰 발전을 목격했습니다. 스마트폰과 애플리케이션의 '스마트' 기능 중 많은 부분이 이러한 발전의 결실입니다. ANN에 대한 아이디어가 새로운 것은 아니지만 최근의 이러한 붐은 몇 가지 조건을 충족한 결과입니다. 우선 GPU 컴퓨팅의 잠재력을 발견했습니다. 그래픽 처리 장치의 아키텍처는 병렬 계산에 적합하며 효율적인 딥 러닝에 매우 유용합니다.

게다가, 클라우드 컴퓨팅 서비스의 부상으로 고효율 하드웨어에 훨씬 더 쉽고 저렴하며 훨씬 더 큰 규모로 액세스할 수 있게 되었습니다. 마지막으로 최신 모바일 장치의 연산 능력은 딥 러닝 모델을 적용할 수 있을 만큼 충분히 커서 DNN 기반 기능의 잠재적 사용자 시장을 크게 만듭니다.

딥러닝 모델의 적용

딥 러닝 모델은 일반적으로 이미지 분류 또는 언어 번역과 같이 단순한 행-열 구조가 없는 데이터를 처리하는 문제에 적용됩니다. 이러한 작업이 처리하는 비정형 및 복잡한 구조의 데이터(이미지, 텍스트)에 대한 작업에 탁월하기 때문입니다. , 소리. 고전적인 기계 학습 알고리즘으로 이러한 유형과 크기의 데이터를 처리하는 데 문제가 있으며 이러한 문제에 일부 심층 신경망을 만들고 적용하면 이미지 인식, 음성 인식, 텍스트 분류 및 언어 번역 분야에서 엄청난 발전이 이루어졌습니다. 지난 몇 년.

이러한 문제에 딥 러닝을 적용할 수 있었던 것은 DNN이 텐서라고 하는 다차원 숫자 테이블을 입력과 출력으로 모두 수용하고 요소 간의 공간 및 시간 관계를 추적할 수 있기 때문입니다. 예를 들어 이미지를 3차원 텐서로 표시할 수 있습니다. 여기서 1차원과 2차원은 디지털 이미지의 해상도를 나타내고(각각 이미지 너비와 높이의 크기를 가짐) 3차원은 RGB 색상을 나타냅니다. 각 픽셀의 코딩(따라서 세 번째 차원의 크기는 3임).

이를 통해 텐서에서 이미지에 대한 모든 정보를 나타낼 수 있을 뿐만 아니라 성공적인 이미지 분류 및 인식 네트워크에 중요한 소위 컨볼루션 레이어의 적용에 중요한 것으로 판명된 픽셀 간의 공간 관계를 유지할 수 있습니다.

입력 및 출력 구조의 신경망 유연성은 언어 번역 과 같은 다른 작업에도 도움이 됩니다. 텍스트 데이터를 다룰 때, 우리는 텍스트에 나타난 모양에 따라 정렬된 단어의 숫자 표현을 심층 신경망에 제공합니다. 각 단어는 다른 단어에 해당하는 벡터 간의 관계가 단어 자체의 관계를 모방하도록 계산된(일반적으로 다른 신경망을 사용하여) 백 개 또는 수백 개의 숫자로 구성된 벡터로 표시됩니다. 임베딩이라고 하는 이러한 벡터 언어 표현은 일단 훈련되면 많은 아키텍처에서 재사용할 수 있으며 신경망 언어 모델의 중심 빌딩 블록입니다.

딥 러닝 모델 사용의 예

표 3. 딥러닝 모델을 실생활 문제에 적용한 예를 보여줍니다. 보시다시피 딥 러닝 알고리즘으로 해결하고 해결하는 문제는 표 1에 제시된 것과 같은 표준 머신 러닝 기술로 해결되는 작업보다 훨씬 더 복잡합니다.

그럼에도 불구하고 머신 러닝이 오늘날 비즈니스에 도움이 될 수 있는 많은 사용 사례는 그렇게 정교한 방법이 필요하지 않으며 표준 모델을 통해 더 효율적으로(그리고 더 높은 정확도로) 해결할 수 있다는 점을 기억하는 것이 중요합니다. 표 3은 또한 인공 신경망 계층의 종류와 인공 신경망 계층으로 구성할 수 있는 유용한 아키텍처의 수에 대한 아이디어를 제공합니다.

표 3. 딥 러닝 사용 사례의 예

딥러닝 모델의 장점

생성적 적대 네트워크

Deep Neural Networks의 가장 인상적인 애플리케이션 중 하나는 GAN(Generative Adversarial Networks)의 등장과 함께 나타났습니다. 이 도구는 2014년 Ian Goodfellow에 의해 소개되었으며 그의 아이디어는 이후 많은 도구에 통합되었으며 일부는 놀라운 결과를 얻었습니다.

GAN은 사진에서 우리를 더 늙어 보이게 하고, 반 고흐가 그린 것처럼 보이도록 이미지를 변형하거나, 여러 악기 밴드의 멜로디를 조화시키는 응용 프로그램의 존재에 대한 책임이 있습니다. GAN을 훈련하는 동안 두 개의 신경망이 경쟁합니다. 생성기 네트워크는 임의 입력에서 출력을 생성하는 반면 판별기는 생성된 인스턴스를 실제 인스턴스와 구별하려고 합니다. 훈련 중에 생성기는 판별자를 성공적으로 '속이는' 방법을 배우고 결국 실제처럼 보이는 출력을 생성할 수 있습니다.

모바일 앱의 강력한 심층 신경망

심층 신경망을 훈련시키는 것은 계산 비용이 매우 많이 드는 작업이고 시간이 오래 걸릴 수 있지만 특정 작업을 수행하기 위해 훈련된 네트워크를 적용하는 것은 특히 하나 또는 한 번에 몇 가지 경우. 실제로 오늘날 우리는 스마트폰의 모바일 애플리케이션에서 강력한 심층 신경망을 실행할 수 있습니다.

모바일 장치에 적용할 때 효율적으로 특별히 설계된 일부 네트워크 아키텍처도 있습니다(예: 이미지 1에 표시된 NASNetMobile). 최신 네트워크에 비해 크기가 훨씬 작음에도 불구하고 여전히 높은 정확도의 예측 성능을 얻을 수 있습니다.

전이 학습

딥 러닝 모델을 광범위하게 사용할 수 있게 해주는 인공 신경망의 또 다른 매우 강력한 기능은 전이 학습 입니다. 일부 데이터(직접 생성했거나 공개 저장소에서 다운로드)에 대해 훈련된 모델이 있으면 전체 또는 일부를 기반으로 특정 사용 사례를 해결하는 모델을 얻을 수 있습니다. 예를 들어, 우리는 사전 훈련된 NASNetLarge 모델을 사용할 수 있고, 거대한 ImageNet 데이터 세트에서 훈련되어 이미지에 레이블을 할당하고, 구조 상단에 약간의 수정을 가하고, 레이블이 지정된 새로운 이미지 세트로 추가 훈련하고, 특정 유형의 물체에 레이블을 지정하는 데 사용합니다(예: 잎의 이미지를 기반으로 한 나무의 종).

전이 학습의 장점

일반적으로 실용적이고 유용한 작업을 수행하는 심층 신경망을 훈련하려면 방대한 양의 데이터와 엄청난 계산 능력이 필요하기 때문에 전이 학습은 매우 유용합니다. 이는 종종 수백만 개의 레이블이 지정된 데이터 인스턴스와 수백 개의 GPU(그래픽 처리 장치)가 몇 주 동안 실행됨을 의미할 수 있습니다.

모든 사람이 그러한 자산에 액세스할 수 있는 여유가 없거나 액세스할 수 있는 것은 아니므로 이미지 분류를 위한 고정밀 맞춤형 솔루션을 처음부터 구축하기가 매우 어려울 수 있습니다. 다행스럽게도 일부 사전 훈련된 모델(특히 이미지 분류를 위한 네트워크 및 언어 모델에 대한 사전 훈련된 임베딩 행렬)은 오픈 소스이며 쉽게 적용할 수 있는 형식으로 무료로 사용할 수 있습니다(예: Keras의 모델 인스턴스, 신경망 네트워크 API).

애플리케이션에 적합한 머신 러닝 모델을 선택하고 구축하는 방법

머신 러닝을 적용하여 비즈니스 문제를 해결하려는 경우 모델 유형을 바로 결정할 필요는 없을 것입니다. 일반적으로 테스트할 수 있는 몇 가지 접근 방식이 있습니다. 처음에는 가장 복잡한 모델부터 시작하고 싶은 유혹을 받는 경우가 많지만, 간단하게 시작하여 적용되는 모델의 복잡성을 점차 늘려가는 것이 좋습니다. 더 단순한 모델은 일반적으로 설정, 계산 시간 및 리소스 면에서 더 저렴합니다. 또한, 그 결과는 보다 발전된 접근 방식을 평가하기 위한 훌륭한 벤치마크입니다.

이러한 벤치마크가 있으면 데이터 과학자가 모델을 개발하는 방향이 올바른지 평가하는 데 도움이 될 수 있습니다. 또 다른 장점은 이전에 구축된 모델 중 일부를 재사용하고 새로운 모델과 병합하여 소위 앙상블 모델을 생성할 수 있다는 것입니다. 서로 다른 유형의 모델을 혼합하면 결합된 각 모델이 단독으로 가질 수 있는 것보다 더 높은 성능 메트릭이 생성되는 경우가 많습니다. 또한 전이 학습을 통해 비즈니스 사례에 사용하고 조정할 수 있는 사전 훈련된 모델이 있는지 확인하십시오.

더 실용적인 팁

무엇보다 먼저 어떤 모델을 사용하든 데이터가 올바르게 처리되는지 확인하십시오. '쓰레기 인, 가비지 아웃' 규칙을 염두에 두십시오. 모델에 제공된 훈련 데이터의 품질이 낮거나 레이블이 제대로 지정되지 않고 정리되지 않은 경우 결과 모델도 제대로 수행되지 않을 가능성이 매우 높습니다. 또한 모델의 복잡성이 무엇이든 간에 모델이 모델링 단계에서 광범위하게 검증되었는지 확인하고 최종적으로는 보이지 않는 데이터로 잘 일반화되는지 테스트합니다.

보다 실용적인 메모에서 생성된 솔루션이 사용 가능한 인프라의 프로덕션 환경에서 구현될 수 있는지 확인하십시오. 그리고 비즈니스에서 향후 모델을 개선하는 데 사용할 수 있는 더 많은 데이터를 수집할 수 있다면 쉽게 업데이트할 수 있도록 재교육 파이프라인을 준비해야 합니다. 이러한 파이프라인은 미리 정의된 시간 빈도로 모델을 자동으로 재교육하도록 설정할 수도 있습니다.

마지막 생각들

비즈니스 환경은 매우 역동적이기 때문에 프로덕션에 배포한 후 모델의 성능과 사용성을 추적하는 것을 잊지 마십시오. 데이터 내의 일부 관계는 시간이 지남에 따라 변경될 수 있으며 새로운 현상이 발생할 수 있습니다. 따라서 모델의 효율성을 변경할 수 있으므로 적절하게 처리해야 합니다. 또한 새롭고 강력한 유형의 모델을 발명할 수 있습니다. 한편으로는 솔루션을 상대적으로 취약하게 만들 수 있지만 다른 한편으로는 비즈니스를 더욱 개선하고 최신 기술을 활용할 수 있는 기회를 제공합니다.

또한 머신 및 딥 러닝 모델은 비즈니스 및 애플리케이션을 위한 강력한 도구를 구축하고 고객에게 탁월한 경험을 제공하는 데 도움이 될 수 있습니다 . 이러한 '스마트' 기능을 만드는 데 상당한 노력이 필요하지만 잠재적인 이점은 그만한 가치가 있습니다. 귀하와 귀하의 데이터 과학 팀이 적절한 모델을 시도하고 모범 사례를 따르도록 하십시오. 그러면 최첨단 기계 학습 솔루션으로 비즈니스와 애플리케이션을 강화할 수 있는 올바른 길을 걷게 될 것입니다.

출처:

• https://en.wikipedia.org/wiki/Unsupervised_learning
• https://keras.io/
• https://developer.nvidia.com/deep-learning
• https://keras.io/applications/
• https://arxiv.org/abs/1707.07012
• http://yifanhu.net/PUB/cf.pdf
• https://towardsdatascience.com/detecting-financial-fraud-using-machine-learning-three-ways-of-winning-the-war-against-imbalanced-a03f8815cce9
• https://scikit-learn.org/stable/modules/tree.html
• https://aws.amazon.com/deepcomposer/
• https://blog.keras.io/a-ten-minute-introduction-to-sequence-to-sequence-learning-in-keras.html
• https://keras.io/examples/nlp/bidirectional_lstm_imdb/
• https://towardsdatascience.com/how-do-self-driving-cars-see-13054aee2503
• https://towardsdatascience.com/r-cnn-fast-r-cnn-faster-r-cnn-yolo-object-detection-algorithms-36d53571365e
• https://towardsdatascience.com/building-a-next-word-predictor-in-tensorflow-e7e681d4f03f
• https://keras.io/applications/
• https://arxiv.org/pdf/1707.07012.pdf