CV-002, AD-VO: SCALE-RESILIENT VISUAL ODOMETRY USING ATTENTIVE DISPARITY MAP (2020-Arxiv)
- 이 논문은 대학원 시절 때, 썼던 것인데 졸업전에 제출했다가 reject을 당하고 딱히 개선을 못한 논문이다. (2018년 2월쯤에 연구한 내용...)
- 다른 연구원들이 이를 발전시킨 것으로 암
- arxiv에는 그 당시에 안올려서 2020년 1월에 올렸음..
- (내용은 간단히만..) 하고자 하는 것은 자동차 주행 사진 데이터로 trajectory을 그리는 visual odometry이다.
- Kitti 데이터세트를 이용했고 mono image을 가지고 camera pose estimation task로 regression하는 연구라고 생각하면 된다.
- 즉 기본적으로 RGB 가지고도 regression 하는 것인데 여러 도메인하고 융합하여 멀티모달을 사용하면 보통 성능이 더 좋아진다.
- 대표적으로 RGB에서 disparity(or depth) map을 뽑고 이를 이용하여 regression도 가능하다.
- 이 논문말고 다른 관련 연구에서들은 optical flow을 가지고도 하는 것도 있다.
- 이 논문은 frame-to-frame으로 실시간 예측을 해야하는 연구이고 일반적인 SLAM에서 쓰는 loop closing을 하는 과정들은 없다.
- 따라서 hand-craft + loop closing 등의 방법들이 실시간은 아니지만 오차를 보정해주는 방법들이 들어가게 되므로 더욱 좋은 성능을 보여준다.
- 나는 disparity map을 pre-trained model을 사용하여서 뽑았고 이를 이용하여 이미지속에서 어디에 포커싱을 맞출지에 활용하였다.
- 이를 attention이라고 논문에서는 부르고 지금 비전에서의 self-attention 개념과는 다른 거임.
- 리젝 사유가 다는 기억이 안나지만
- 1) depth을 뽑는 모델을 왜 같이 학습안했는지?
- 즉 왜 depth을 뽑는 모델은 왜 가져와서 쓰기만했는지가 있었다.
- 2) 다른 정통 모델(non deep learning)과 비교가 부실한 것 같다.
- 등등이 있었던 것 같다.
- 졸업 후에 따로 이어서 연구하진 않았지만 요즘 연구들을 보니까 상당히 많이 발전되어 있는 것 같다...
- 즉 real time + 보정 등의 방법들이 딥러닝단에서 연구가 이루어졌을 것 같다.
- 추가적으로 졸업논문을 쓸때는 몇 가지 추가실험들을 하였고 밑에는 실험 결과 일부분을 첨부 했음..(혹시나 관심있는 분들은 참고하시길...)
Reference
댓글
댓글 쓰기