퍼셉트론

출처 : https://wikidocs.net/24958

01) 퍼셉트론(Perceptron)

딥러닝이랑 머신러닝은 차이가 있다.

딥러닝은 인공 신경망을 복잡하게 쌓아 올린 방법으로 머신러닝보다 뛰어난 성능을 보여준다.

 

먼저 초기의 인공 신경망인 퍼셉트론을 이해해야한다.

퍼셉트론(perceptron)은다수의 입력으로부터 하나의 결과를 내보내는 알고리즘이다.

x는 입력값을 의미하며, w는 가중치, y는 출력값을 의미한다. 원은 인공 뉴런에 해당된다. 가중치는 신호를 전달하는 역할이다. 가중치의 값이 클수록 해당 입력값이 중요함을 의미한다.

입력값이 가중치와 곱해져서 인공 뉴런에 보내지고, 각 입력값과 그에 해당되는 가중치의 곱의 전체 합이 임계치를 넘으면 종착지에 있는 인공 뉴런은 출력 신호로 1을 출력하고, 그렇지 않을 경우엔 0을 출력한다.

이러한 함수를 계단 함수라고 한다.

이때 계단 함수에 사용된 임계치 값을 세타(Θ)로 표현한다.

세타식에서 임계치를 좌변으로 넘기고 편향 b(bias)로 표현할 수 있다. 편향 또한 퍼셉트론의 입력으로 사용된다.

 

이처럼 출력값을 변경시키는 함수(입력값*가중치)를 활성화 함수라고 한다. 퍼셉트론은 계단함수를 활성화 함수로 사용했지만 다른 신경망들은 시그모이드 함수나 소프트맥스 함수 등을 사용하기도 한다.

 

단층 퍼셉트론(SLP)

위에서 말한 퍼셉트론을 단층 퍼셉트론이라고 한다. 다층 퍼셉트론(MLP)도 있는데, 단층은 값을 보내는 단계와 값을 받아서 출력하는 두 단계만으로 이루어져 있다. 이를 입력층과 출력층으로 표현한다.

단층 퍼셉트론의 능력과 한계를 알아본다.

컴퓨터의 게이트는 0과 1을 입력해 하나의 값을 출력하는 회로를 말한다. 단층 퍼셉트론은 AND, NAND, OR 게이트는 구현이 가능하지만 XOR 게이트 등은 구현이 불가능하다.

AND 게이트를 예로 보면 x1,x2가 0,1의 값을 가지고 두개 모두 1인 경우엔 1을 출력하는 게이트이다.

 

XOR 게이트는 입력값 두개가 서로 다른 값을 갖고 있을 때만 출력값이 1이 된다.  SLP는 직선 하나로 두 영역을 나눌 수 있는 문제에서만 구현이 가능하다.

출력 값 0인 부분은 흰색 원, 1인 부분은 검은색 원이다. 직선으로 흰색과 검정색을 구분할 수 있다.

NAND와 OR도 마찬가지로 가능하다.

 

하지만 XOR 게이트는 입력값 두개가 서로 다른 값을 갖고 있을 때만 출력값이 1이 되고, 같은 값이면 0이 된다.

검은 원과 흰 원을 하나의 직선으로 분류하는 것이 불가능하다.

 

이런 경우는 MLP를 사용한다.

 

다층 퍼셉트론(MLP)

XOR 게이트는 AND,NAND,OR를 조합해 만든다. 입력층을 여러개를 쌓는 방법이다. 다층 퍼셉트론은 은닉층이라는 입력층과 출력층 사이에 하나의 층을 추가한다. 

아래 사진은 XOR 게이트를 구현한 MLP이다.

은닉층은 하나 이상인 경우를 MLP라고 한다. 

 

위와 같이 은닉층이 2개 이상인 신경망을 심층 신경망(DNN)이라고 한다.

 

앞으로는 기계가 가중치를 스스로 찾아내도록 자동화를 시켜야 한다. 이를 학습이라고 하고, 이 학습을 DNN, 2개 이상의 은닉층을 사용해 학습하는 경우를 딥러닝 이라고 한다.