Good Bye, 2021 R&E

0. 글을 시작하며 

이미 2021년이 지났지만 이 블로그에 자주 올렸던 나의 2021년 R&E 주제인 TOBDA를 진행하면서 나에 대한 얘기를 나누고자 한다. 시험기간을 갈아넣을 정도로 정말 열정적으로 참여했었고, 기술적이든, 지식적이든, 협업적으로 되게 많은 성장을 이룬 경험이었기에 한번 기록해두고 싶었다. 

 

1. 연구 시작 전 관심분야

머신러닝, 딥러닝, 컴퓨터 비전, 알고리즘

 

2. 연구 주제와 관련된 키워드

시각장애인의 공간지각, 딥러닝, 카메라 캘리브레이션, 촉각 지도, 앱 개발, semantic segmentation, depth estimation, 앱 개발. Bird's-eye view

 

3. 연구를 통해 알게 된 개념과 지식

Class Activation Map 및 Grad-CAM, Monocular Depth Estimation, 카메라 캘리브레이션, Weakly supervised semantic segmentation, 모델 경량화

 

4. 연구와 관련된 분야?

연구에서 단안영상기반 거리측정 기술(monocular depth estimation)을 적용했는데 적용한 모델뿐아니라 거리 추정 모델이 주로 어떻게 연구가 되고 있는지 궁금해 논문은 아니나 ETRI에서 발간한 보고서 '딥러닝 기반 거리측정 기술 동향'를 읽었다. 양안 영상에서의 거리측정 기술은 영상들이 서로 calibration 되어 있다는 가정하에 baseline에서의 disparity를 구하는 방법으로 거리를 측정한다는 것이 공통점이었다. 단안 영상에서는 RGB 영상 뿐만 아니라 카메라 포즈, optical flow, surface normal, segmentation 등의 주변 정보를 학습해 양안 영상으로 얻은 수준에 근접해지는 등의 성장을 이룬 것이 흥미로웠다.

 

5. 팀에서 내가 수행한 역할

- 기존에 점자 모듈을 활용하자는 생각에서 스마트폰 위에 촉각지도를 생성하자는 핵심적인 아이디어를 제안하였고 팀의 리더로서 프로젝트 일정 관리와 목표 설정, 개발 환경 세팅, 외부 자문 위원 컨택등을 진행하였다.

 

- 기술적 측면에서는 복도 영역 추출을 위한 semantic segmentation 모델 설계 및 학습, 이미지를 찍고 Bird's eye view로 만드는 과정(Depth estimation, 4점 추출 알고리즘 설계, 호모그래피 행렬 계산 및 변환)을 진행하였고 이 과정들을 앱 개발 쪽 팀원들이 사용하기 편하게 함수와 클래스로 만들어 제공하였다.

 

6. 연구를 진행하면서 성장한 점과 느낌?

 

1학년 때 계단에 한정하여 시각장애인의 공간지각을 돕는 연구를 진행했다면 2학년 땐 보다 보편적인 상황으로 확장하여 길을 걸을 때 촉각지도를 제공하는 연구를 진행했다. 나의 1년동안의 모든 노하우들과 경험들이 종합된 연구이기에 뿌듯한 것 같다.

 

- 복도 영역 추출에서의 배움

직접 데이터셋을 구축하여 학습하기에 힘들다는 점에서부터 시작해 해결하기 위해 1학년 2학기 창개연 K-means clustering을 이용한 분할 방법, 2학년 1학기 창개연을 진행하면서 class activation map (CAM) 을 적용해보고 Weakly supervised semantic segmentation(WSSS) 을 공부하고 논문을 분석하여 정리해보기도 했다. 결국 복도 사진을 찍어 라벨링을 하여 지도학습을 시키긴 했지만 이 과정에서 딥러닝 기반 영역 분할 알고리즘에 많은 흥미와 지식을 쌓았다.

 

- Bird' eyes view 변환에서의 배움

처음엔 이미지로부터 힌트를 얻어 처리할 수 없을까 고민을 많이 했다. 핀홀 카메라 이론을 이용해 접근하자는 현중이의 말을 참고하여 카메라 캘리브레이션 기법에 대해 공부해 depth map과 연결지어 이미지 상 좌표와 월드 좌표와의 대응 관계를 구해내었다. 하지만 시간적으로 오래 걸린다는 단점이 있어 어떻게 변환을 쉽고 빠르게 할까 고민하다 올해 시화호 탐사할 때 image stitching 기법을 구현한 적이 있는데 거기서 사용한 warping 변환을 적용하고 딥러닝 컨퍼런스에서 들었던 depth estimation까지 도전적으로 적용해보는 등 계속해서 실패를 반복하고 수정해가며 RGB-d 카메라 및 LiDAR 센서 없이 Bird's eye view를 얻을 수 있었고 나의 생각이 가능함을 확인한 순간 짜릿했다.

 

- 협업의 경험

Bird' eyes view로 변환하는 과정을 거의 내가 담당하여 개발했었는데 부분적으로 구현한 부분들만 있었으니 이것으로 앱개발을 들어가기는 불가능하다. Github 에 사용하기 쉽게 함수나 클래스로 만들어 제공하였고 변환하는 전과정을 담은 notebook을 만들어 제공하여 커뮤니케이션을 보다 원활히 할 수 있게 하였다.

 

GitHub - taegukang35/device_for_blind

GitHub - paull04/tobda

- 체계적 분석 능력

모델의 성능과 변환 과정이 잘 되었는지 판단하기 위해 semantic segmentation, depth estimation, bird'eyes view 변환 이 세 과정을 복도를 돌아다니며 촬영한 영상에 적용하여 비디오를 만들었고 bird-eyes view가 잘 나오지 않았다면 이것이 semantic segmentation의 문제인지, depth estimation의 문제인지, 혹은 특정 상황에서 변환이 잘 안되는 것인지를 분석할 수 있었다. 이 분석 방법은 주소창 대회를 준비하면서도 삼성전자 임직원 멘토분이 사내에 도입해보고 싶다면서 칭찬해주시기도 했고, 단순히 몇개의 케이스로 판단하는 것보다 명확히 문제점을 파악할 수 있었고 알고리즘을 개선하는데 도움이 되었다.

영상 링크:

- Hallway Semantic Segmentation ver 1.0: https://youtu.be/ZjD5f1sja1A

- Hallway Semantic Segmentation ver 2.0 : https://youtu.be/YziqwVMmjaY

- Depth Estimation with Monodepth2: https://youtu.be/gqD_D-KlSC8

- Depth Estimation with MiDaSv2: https://youtu.be/p8Vm0s8-S_Y

- Bird’s-eye View Transformation: https://youtu.be/4FqDnjf_3K0

 

- 진정한 공감

앞선 내용만 보면 시각장애인을 위한 소프트웨어를 개발한다면서 기술만 주구장창 파고있는 것 처럼 보인다. 놀랍게도 사실이었고 거의 2년동안 이런 기술이 있다면 시각장애인에게 도움이 될거야 라고 생각하고 기존 사례 및 실제 시각장애인들의 의견을 들어보지 못한 상태로 진행하였다. 사실 연구 막바지에 피드백을 받기 위해 시각장애인용 점자 패드를 개발하는 Dot 회사의 기술 고문과 통계 내용과 목표들을 같이 고민하며 우리 연구가 유용성과 앞으로 고민하고 발전시켜야 될 점을 느낄 수 있었다. 앞으로 이런 소프트웨어를 개발하기에 앞서 충분한 조사와 빠른 프로토타입 개발 후 설문을 받는 등의 시도가 있다면 더욱 수월할 것으로 판단된다.

 

7. 글을 마치며

흠 이정도로 2021년 R&E를 정리해볼 수 있을 것 같다. 최근에 딥러닝 시각화 쪽도 관심이 많아졌고 앞으로 머신러닝과 컴퓨터 비전 쪽을 같이 융합한 연구를 계속해서 나아가고 싶다는 생각이 든다. 오랜 기간 같이 연구에 참여해준 현중, 승환이도 수고많았고 내신만 했다면 지루했을 1년이 R&E와 함께 재밌는 경험으로 가득차서 뿌듯하다 ㅎㅎ.  

 

또한 청소년 과학창의연구 7권에도 수록되었으니 관심이 생겼다면 직접 확인해보길 바란다 :) 

http://www.rne.or.kr/gnuboard5/teen_search/129

과학영재 창의연구(R&E) 지원센터