멀티모달 역량 및 경험을 쌓아보자

일단 내가 이미 알고 있는 선에서 가장 대표적인 멀티모달은 CLIP이다. 

 

졸업하고 빨리 입사하여 멀티모달 부분을 연구 개발하고 싶었는데 취업이 2년이나 길어졌다. 더 이상 채용과정(코테, 인적성, 면접) 공부 준비만 할 수는 없다. 

 

멀티모달 공부를 하자. 

AutoGluon이라는게 있더라, 알아보자. 아래 링크는 데모 실현 영상이다.

https://www.youtube.com/watch?v=9JUK7oRV2RY

 

MONAI라는 라이브러리도 있더라

https://jedemanfangwohnteinzauberinne.tistory.com/13

 

CVPR2024에 의료 이미지와 tabular 데이터를 이용한 멀티모달 논문도 있다. 

https://github.com/paulhager/MMCL-Tabular-Imaging?tab=readme-ov-file

 

멀티모달에 대해 아래 논문도 가볍게 읽어보자.

AutoGluon-Multimodal (AutoMM): Supercharging Multimodal AutoML with Foundation Models

https://arxiv.org/pdf/2404.16233