notou10 notou10

Reducing domain gap by reducing style bias : cvpr2022 https://openaccess.thecvf.com/content/CVPR2021/papers/Nam_Reducing_Domain_Gap_by_Reducing_Style_Bias_CVPR_2021_paper.pdf What shapes feature representations? Exploring datasets, architectures, and training 2020 neurlps https://proceedings.neurips.cc/paper/2020/file/71e9c6620d381d60196ebe694840aaaa-Paper.pdf Texture-like representation of obje..

paper link : https://aclanthology.org/2021.acl-long.471/ Dialogue summarization이란? Court debate, CS call from customer 등 두 명 이상의 화자의 담화를 바탕으로 여러 turn으로 구성된 대화에서 핵심 정보만을 추출하여 간결한 표현으로 함축한 것이다. Dialogue를 구성하는 utterance가 짧다는 특성, 화자가 여러명이라는 특성은 모델이 dialogue summarization하는데 어려움을 겪는 원인 중 하나이다. Previous works 기존의 dialogue summarization을 다룬 연구들은 충분한 supervised label들이 있는 상태에서 진행되었다. 그러나 label이 충분하지 않은 ..

https://gaussian37.github.io/dl-concept-nll_loss/ https://pytorch.org/docs/stable/generated/torch.nn.CrossEntropyLoss.html (+211123) pytorch의 default : 최종 linear output을 softmax -> 모든 값을 nll 에 각각 태워줌 pytorch의 default X argmax값만 nll에 태워줌 torch.nn.CrossEntropy는 log_softmax 를 거친 값을 target과 비교한다. pytorch의 CrossEntropy는 다음과 같이 풀어쓰기 가능하다. torch의 crossentropy https://pytorch.org/docs/stable/generated/t..

1. Knowledge review (CVPR 2021) https://arxiv.org/pdf/2104.09044v1.pdf ~를 중요한 문제로 여겼다. -> 기존은 똑같은 feature 단에서 feature transformation + loss로 knowledge 를 전달한다. 근데 이 fourth stage output끼리의 비교는 bottleneck in the whole knowledge distillation framework 이다. 이를 어떤 hint를 통해 풀었다. -> teacher의 old knowledge(low level previous feature) connection path cross 을 사용하여 student에 각 stage에서 추가적으로 전달했다. (uses multip..

https://jybaek.tistory.com/799

Non local NN spatially 멀리 떨어진 놈들끼리 연관성 주기 (attention과 비슷한 idea)

import random import os import shutil class_name = "n02111129" train_path = f"../../dataset/LGDdataset/imagenet/train/{class_name}/" val_path = f"../../dataset/LGDdataset/imagenet/val/{class_name}/" file_list = os.listdir(train_path) train_destination = f"../../dataset/LGDdataset/220327_relabel_dataset/binary_dataset_ng/train/{class_name}/" valid_destination = f"../../dataset/LGDdataset/220327_r..

git 바이블 https://www.opentutorials.org/course/2708 참고링크 : https://cjh5414.github.io/get-git-remote-branch/ https://thdev.tech/git/2016/12/19/Git-Branch-Name-Change/ Process 1) git branch 2) git checkout hinton-dongkyun 3) 코딩 후 git add * 4) git commit -m "dfdf" 5) git push origin hinton-dongkyun (선택) 마스터랑 병합 git checkout master 이후 git merge hinton-dongkyun git push origin master 강제로 push 하기 git pu..