Find for your own rhythm

현재 swin transformer을 사용하는 swinUNETR모델도 연구 중에 사용하는 모델이다 사실 현재 진행중인 연구가 교수님 말씀으로는 데이터가 더 중요한 연구기 때문에 모델이 바뀐다고 큰 개선은 기대하지 못할수도 있다고 하셨지만.. 일단 나는 모델을 바꾸고 조절하는 공부를 하고 있다. 이전엔 unetr이나 segresnet도 사용했었는데 몇 주 동안은 swinUNETR로 연구를 진행해봤었다. swinunetr의 코드 중 forward 부분이다 swinViT(swin transformer)로 hidden_state_out을 하고 이를 encoder로 보내는 걸 확인할 수 있다. 처음엔 hidden_state가 무슨 역할을 하는지 의문을 가졌지만 공부하면서 (교수님 설명으로) encoder에 들어가..

4.1 확률적 경사 하강법 손실함수의 곡면에서 '경사가 가장 가파른 곳으로 내려가다 보면 언젠가 가장 낮은 지점에 도달한다'의 가정으로 만들어졌다. 하지만 여러 문제점이 있었다. 1)고정된 학습률 확률적 경사하강법은 지정된 학습률을 사용하는 알고리즘이다. 학습률이란 최적화할때 한걸음의 폭을 결정하는 스텝 크기를 말하며 학습속도를 결정한다. 이때문에 최적화가 비효율적으로 진행된다. 일반적으로 학습초기에는 큰폭으로 이동해 빠르게 이동하고 어느정도 이동하면 작은폭으로 천천히 이동해 최적해에 조심스럽게 이동해야한다. 이와 같이 학습의 진행상황이나 곡면의 변화를 알고리즘 내에서 고려해서 학습률을 자동으로 조정하는 방식을 적응적 학습률이라고 한다. 2) 협곡에서 학습이 안되는 문제 다음과 같이 가로방향으로는 경사가..