- RNN으로 텍스트 분류 모델을 만들 때, 어떠한 활성화 함수와 손실 함수를 사용하는 게 좋을까요?
RNN 구조를 이용한 텍스트 분류 문제는 모든 time step(시점 수 = 던어 수)에 대해 입력을 받고, 최종 출력 층에서 활성화 함수를 통해 하나의 답을 고르는 문제인데요, 이때 출력층에서 두 개의 선택지 중에서 답을 고르는 건지, 세 개 이상의 선택지에서 답을 고르는 건지에 따라 이진 분류 또는 다중 클래스 분류로 나누어집니다.
만약, 여기서 이진 분류의 문제로 해결을 하고 싶다면 활성화 함수는 Sigmoid 함수를, 손실 함수는 binary_crossentropy를 사용하는 것이 적절합니다.
반면, 다중 클래스 문제이 경우 활성화 함수를 Softmax, 손실함수를 categorical_crossentropy로 사용하는 것이 적절합니다.
'BLOG > 머신러닝' 카테고리의 다른 글
[머신러닝] 케라스로 RNN 순환 층 구현하기 (파이썬 코드) (0) | 2021.03.23 |
---|---|
[머신러닝] 데이터(레이블)를 벡터로 변환하는 방법 (파이썬 코드) (0) | 2021.03.23 |
[머신러닝] GRU란? 케라스로 GRU 은닉층 추가하기 (코드) (0) | 2021.03.23 |
[머신러닝] 의사결정나무 : 엔트로피, 지니 계수란? (0) | 2021.03.23 |
[머신러닝] CNN 층에 dropout(드롭아웃) 추가하기 (텐서플로) (0) | 2021.03.23 |