[머신러닝] 은닉층(Hidden Layer)에서 활성화 함수를 선형 함수(Linear function)로 사용하지 않는 이유

 

- 은닉층에 활성화 함수를 선형 함수로 사용해도 될까?

 

학습시킬 neural network의 은닉층(Hidden layer)에서 활성화 함수(activation function)를 선형 함수로 사용해도 되는지, 사용하면 안 되는지 궁금하실 수 있는데요, 바로 말씀드리자면, 선형 함수(linear function)를 사용하면 은닉층의 의미가 사라지게 됩니다.

 

왜냐하면, 은닉층에서 선형 함수를 활성화 함수로 사용해서 학습시키는 구조를 은닉층이 없는 Input layer, Ouput layer로만 똑같이 구현시킬 수 있기 때문입니다. 즉, 은닉층 없이도 동일한 학습을 시킬 수 있다는 것입니다. 따라서 이러한 경우 오히려 은닉층을 없애고 모델을 간단하게 만들어 학습시키는게 더 효율적일 수 있습니다.

 

따라서 은닉층에서는 linear한 활성화 함수를 주로 사용하지 않는답니다.