Find for your own rhythm

abstractVision Langauge Model에서 학습된 text representation이 어떻게 작동하는지에 대한 메커니즘이 아직 잘 연구되지 않았으며 이로 인해 일반화 성능 향상에 한계가 있다. 이는 web에서 수집된 데이터처럼 클래스 불균형이 심한 경우 그 한계가 더 두드러진다 (보통 VLM은 web-scale dataset으로 학습됨)Neural Collapse 라는 vision-only model에서 관찰된 현상은 ETF(Equiangular Tight Frame)가 가장 이상적인 representation structure이라고 시사한다 해당 논문은 prompt tuning을 분석하기 위해 NC개념을 처음으로 도입하였고 text-visual representation이 NC조건을 얼..

이번에 리뷰할 논문은 CVPR 2022에 나온 논문으로 alignment-uniformity 를 동시에 가져가서 zero-shot video classification 에 도움을 주었다는 논문이다 2025 CVPR DG논문에서 이 논문에서 영감 얻은 method가 있어서 리뷰하게 되었다 video classification은 잘 아는 task는 아니지만 generalizability와 unseen class에 대해 어떻게 합성을 진행했는지 궁금하다. abstractzero-shot video classification 연구들은 seen visaul-semantic representation을 alignment 시키는데 집중해서 unseen class에 대한 generalization 성능이 부족하다 =..

clipceil 논문 리뷰를 해보고자 한다, DG를 하면서 읽은 논문들을 잘 섞어놓은 깔끔한 논문이라고 생각해서,, 리뷰를 하게됐다## abstract해당 논문은 domaindrop 논문에서 motivation을 삼아서 시작한 논문이였는데 (openreview 참고) clip class token의 channel 에서 domain bias, class irrelevant featurer가 섞여있기 때문에 channel refinement + lightweight adapter + image-text aligmenet 강화를 위한 loss 로 generalization 성능을 향상시켰다는 논문이다. domaindrop 논문과 마찬가지로 channel의 domain, class shift별 sensitivi..

연구실 선배가 하나하나 모아두는것도 도움이 된다고 다시 블로그를 써보라고 추천해주셔서 석사기간중 놓쳤던 블로그를 다시 쓴다 ,,, 원래는 피피티에 올려놨었는데 다시 적기 시작할 것..이건 추천받은 논문인데 내가 지금 쓰는 글쓰기랑 연관이 있어서 읽어두게 되었다 개인적으로 논문들은 저자들에 따라 글의 스타일이 많이 바뀌는데, 이 글의 저자들은 낭만있는 글쓰기를 해서 읽어보는 것도 좋은 것 같다 ㅎㅎ Abstractcontrastive learning이 각광받고 있으나, 다른 뷰를 선택함에 따라 어떤 영향력이 있는지에 대한 연구가 부족하기 때문에 해보았다는 연구(기존 연구의 limitation)view selection이 얼마나 중요한지 theoretical and empirical analysis 를 수행..

https://arxiv.org/pdf/2305.03053Motivation : 모델 학습시킬 때 additional task training => catastrophic forgettingWithout adaptation => doesn’t generalizeMerging 방법이 새로운 건 아니지만 disjoint task 들을 merging 할때는 실패할 수 있다하고 싶은 건 differently initialized model + 완전 다른 task 로 학습된 모델들의 merging 을 수행하는 것  [제안]1.Model 들간 shared 하지 않는 feature 들을 zip operation 을 수행2.Partially zipping 으로 multi-head model 과 같은 역할전체 netwo..