민정♥성윤

1. 인공 신경망

위키: https://ko.wikipedia.org/wiki/%EC%9D%B8%EA%B3%B5%EC%8B%A0%EA%B2%BD%EB%A7%9D

인공 신경망은 사람의 두뇌가 여러 개의 뉴론으로 연결돼서 복잡한 연산을 수행한다는 데서 영감을 받아서, 머신러닝의 연산을 여러 개의 간단한 노드를 뉴론 처럼 상호 연결해서 복잡한 연산을 하겠다는 아이디어이다.

x1, x2, 1이라는 3개의 신호가 뉴런에 입력되어, 각 신호에 가중치를 곱한 후, 다음 뉴런에 전달한다. 다음 뉴런에서는 이들 신호의 값을 더하여, 그 합이 0을 넘으면 1을 출력하고 그렇지 않으면 0을 출력한다. 이를 확장하여 가중치가 달린 입력 신호와 편향의 총합을 계산하고, 이를 a라 한다. 그리고 a를 함수 h()에 넣어 y를 출력하게된다.

입력 신호의 총합을 출력 신호로 변환하는 함수를 일반적으로 활성화 함수(activation function)이라 한다.

1.1 Activation Functions

인공 신경망 모델에서 뉴런의 주요 기능은 입력과 연결 강도의 가중합을 구한 다음 활성화 함수에 의해 출력을 내보내는 것이다. 따라서, 어떤 활성화 함수를 선택하느냐에 따라 뉴런의 출력이 달라질 수도 있다.

참조: https://www.quora.com/What-is-the-role-of-the-activation-function-in-a-neural-network-How-does-this-function-in-a-human-neural-network-system

※ "h(x) = 0 (x<= 0) = 1 (x > 0)"와 같은 활성화 함수는 임계값을 경계로 출력이 바뀌는데, 이런 함수를 계단 함수(step function)라 한다. 퍼셉트론에서는 활성화 함수로 계단 함수를 이용한다.

활성화 함수의 종류는 다양하며 어떤 활성화 함수를 쓰느냐에 따라서 학습 속도나 정확도가 달라지게 된다.