모델 경량화

일반적인 경량화의 기법으론 대표적으로 다음의 3지가 있다

• Pruning
• device-centric metric을 타게팅하는 것이다.
• Quantization
• 계산하는 숫자들의 부동 소수점을 제한하는 것이 일반적이지만
• 네트워크를 binarize하는 것으로 binary weight 혹은 binary activation을 하는 것도 포함하는 개념이다.
• 옛날에 아무것도 모르고 신기해하던 XNOR-Net도 이 개념이였다.
• 더 신기한건 그때는 인용수가 거의 없던 듣보 논문이었는데 어느새 1902회... (경량화가 그 뒤에 대세가 되긴 했나보다)
• Knowledge-Distillation

일반적인 경량화에 대해 삼성 SDS에서 잘 정리된 글이 있어서 링크를 달아둔다.

• https://www.samsungsds.com/global/ko/support/insights/Neural-Network-AI.html