Activation Function

  • Activation Function 종류로는 아래 위키페이지에 아주 잘 나와있다.
  • 그러면 이중에서 무엇을 사용해야 되나?
    • 잘 모른다면 relu을 사용하면 될 것이다.
    • 만약 하고 있는 연구개발과 비슷한 코드가 있다면 그 연구를 참고하면 될 것이다.
    • relu을 많이 써왔고 앞으로도 많이 쓰겠지만, BERT같은 곳에서는 gelu을 사용하였다.
    • 그 외에도 selu, swish 등의 새로운 activation function이 좋다고 알려져 있기는 한데 사실 무엇을 쓰는지 정답은 없어 보인다.
  • SeLU & Swish

댓글