Trend-002, CookGAN: Meal Image Synthesis from Ingredients (2020.02.25-Arxiv)

■ 논문 정보

• 링크: https://arxiv.org/pdf/2002.11493v1.pdf
• 저자
• Fangda Han(1), Ricardo Guerrero(2), Vladimir Pavlovic(1)
• (1) Rutgers University, Piscataway, NJ, USA , (2) Samsung AI Center, Cambridge, UK
• 2020.02.22 아카이브 출시

■ 요약

• 사진의 재료 textual list로 photo-realistic food meal image을 만드는 새로운 GAN 방법을 제시한다.
• 이미지 합성에 대한 이전 연구들은 pre-trained text models으로 text features을 뽑아 이것을 condition으로 realistic images을 생성하는데 집중한다.
• 이 연구는 spatially compact하고 well-defined categories of objects (새와 꽃 등)에 집중하나 meal image들은 다양한 ingredients을 가지고 있고 요리 방법에 변형에 따른 다양한 외형과 공간적 특성이 복잡하다. (즉 조건이 너무 많고 생성하기 어렵다.)
• 이 논문에서는 Cook Generative Adversarial Networks (CookGAN)을 제안한다.
• 첫 째로 Attention-based ingredients-image association model 구축하여 이것을 meal image을 생성하는 조건으로 사용한다.
• 이미지 퀄리티 향상과 외형을 컨트롤 하기위해 cycle-consistent constraint을 추가한다.
• 
• 
•