유닛의 특징
- 유닛은 단순하게 추상화한 뉴런이다.
- 유닛은 연산기능이 있으므로, 출력이 다수라도 출력값은 0 또는 1 이다.
- 유닛은 가중치를 포함한 입력으로 정리된다
- Z=W1X1+W2X2+...+WnXn+B (W1, W2, ..., Wn 은 가중치, B는 편향, n은 입력수)
- 유닛은 가중치를 포함하는 입력 z 를 매개변수로 사용하는 활성화함수(전달함수)이며 y 를 출력한다.
- y=a(z)
- 활성화함수 - 사용자가 정의
- 출력값 y - 활성화함수를 사용할 수 있는 임의의 수
- 출력신호해석 - 유닛의 흥분도, 반응도, 활성도
신경망의 기본구조
- 층을 겹겹이 쌓은 신경망. 층을 쌓는 방법에 따라 다양한 방법이 있음
- 필기체 숫자 식별 신경망의 특징은 입력층의 유닛 전부가 중간층의 유닛 전부에(완전연결계층 fully connected layer) 출력신호를 보낸다는 점이다.
입력층
- 위의 예제에서 유닛수는 12개
- x1, x2, ...., x12 에는 이미지 데이터의 12개 픽셀값이 들어감
- 입력층의 유닛은 입력과 출력이 동일. 항등함수. a(z)=z
은닉층
- 입력한 이미지의 특징을 추출하는 역할
- 예측에 있어 중요한 역할을 한다.
- 위의 예에서 은닉층은 왜 1개인가? 그리고 유닛은 왜 3개인가?
- 은닉층의 유닛이 3개인 이유는 0 과 1 을 식별하는 패턴이 아래와 같이 3개이기 때문이다.
- 입력층에서 받은 정보를 종합하여 그 정보를 출력층에 전달한다.
출력층
- 출력층을 2개의유닛으로 구성한 이유는? '0'을 읽을 때 값을 출력하는 (반응하는) 유닛과 '1'을 읽을 때 값을 출력하는 유닛이 필요하기 때문이다.
- 숫자0 에는 위의 패턴A 와 패턴C 가 포함되어 있고, 숫자1 에는 패턴B 가 포함되어 있다고 예측한다.
- 패턴A,B,C 에 반응하는 유닛의 존재 유무에 따라 숫자가 0인지 아니면 1인지 판단한다.
그러면 이미지에서 숫자 '0'을 읽는 예를 통해 이상의 내용을 정리해보자.
반응을 보인 입력 4와 7은 은닉층 A에, 6과 9는 C에 더 적극적으로 정보를 전달한다. 그리고 적극적인 활동정보를 받은 A와 C는 활동을 시작한다. 그 결과 '출력0은 활동, 출력 1은 비활동' 상태라는 결과를 얻게 된다. 출력층의 유닛0 가 적극적으로 활동(유닛 1보다 큰 값)하므로 숫자0 을 읽은 상태라고 판단한다.
실제로는 활동정보를 전달할때 각 유닛의 정보가 미미하게나마 위층 전체 유닛에 전달되지만, 편향이라는게 존재해서 미미한 활동정보는 차단하게 된다.
유닛 사이의 관계와 편향을 통해 답을 이끌어내게 되는 셈이다.
가중치와 편향
- 위의 그림에서 굵은 선은 유닛 사이의 관계가 좋고, 가중치가 크다는 것을 나타낸다.
- 숫자 0 은 은닉층 유닛 A 와 C 의 출력 신호를 크게하고, 이어서 출력층 유닛 0의 신호를 크게한다.
- 관계(가중치)를 이용해 숫자를 인식한다.
- 그리고 신호를 차단하고 선명히하기 위해 편향이 필요하다.