Teacher forcing

Teacher forcing은 MaliGAN에 나와서 무엇인지 찾아보게 되었다.

• 

• 직관적으로 잘 그려 둔 블로그에서 가져왔다.
• Teacher forcing: LM을 학습시 previous real token이 input
• No teacher forcing: LM을 학습시 previous prediction token이 input
• 이전 포스팅에서 다룬 SS가 이 두개를 섞어둔 것 이였군..