강화학습 기초 - 뉴런, 활성화 함수

 

유데미 강의를 참고하여 글을 작성하였습니다

 

 

목차

1. 뉴런이란?

2. 활성화 함수

 

 

뉴런이란?

사람의 뇌에서 뉴런은 신경전달물질을 통해 신호를 전달하고 정보를 받아들이며 처리하는 역할을 수행한다

위 사진에서 뉴런을 초록색 원으로 표현하였다

X라는 신호가 들어오면 이 신호들을 처리하고 y라는 결과를 만든다

 

입력값을 X, 출력값을 Y라고 하였을 경우 위와 같이 Input Layer와 Output Layer로 나누어진다

 

입력값들 중에서 반드시 처리해야 할 만큼 중요한 정보가 있을 것이고 처리하지 않아도 되는 정보가 있을 것이다

이 값들을 구분하기 위해서 가중치를 두어 중요한 것에는 가중치를 더 추가하고
중요하지 않은 것에는 가중치를 제거하는 방식으로 정보를 처리할 수 있다

 

가중치가 추가되면 위와 같이 뉴런은 가중치와 입력값의 곱들의 합으로 표현된다

 

가중치와 입력값의 총합에 대해서 활성화 함수를 적용해 주면 위와 같은 표현식이 완성된다

 

 

 

활성화 함수

활성화 함수는 주로 각 뉴런의 출력 값을 결정하고 신경망의 비선형성을 제공하는 역할을 수행한다

이 글에 작성된 활성화 함수는 총 4개로 Threshold, Sigmoid, Relu, Hyperbolic 함수이다

 

Threshold 함수는 0 미만이면 0, 0 이상이면 1의 값을 가진다

0과 1, 2가지의 값을 가진다는 특징이 있다

 

Sigmoid 함수는 위와 같이 0과 1로 접근하는 특징이 있다

 

Relu 함수는 0 이상으로 갈경우 1:1의 비율로 값이 증가함을 알 수 있다

 

Hyperbolic 함수는 다른 함수들과 다르게 음의 영역까지 값을 가질 수 있다