pytorch
-
딥러닝: Mish 활성화 함수, 모델 불러오기컴퓨터/파이썬 2020. 10. 29. 23:53
Mish Mish OMish: A Self Regularized Non-Monotonic Neural Activation Function github.com BMVC 2020 (@공식 논문 pdf 링크) 1. 소개 Activation Function (활성화 함수) 중 하나인 Mish는 Swish와 ReLU 보다 전체적으로 좀 더 빠르고 좋은 활성화 함수이다. (소개할 때 최종 정확도에서, Swish (+.494%), ReLU (+1.671%) 라고 함) Mish의 식은 아래와 같고, (forward) 아래 그래프를 그린다. (참고: ReLU = $max(0, x)$ | Swish = $x * sigmoid(x)$) # Pytorch y = x.mul(torch.tanh(F.softplus(x))) # ..