표준화 정규화

표준화와 정규화 필요한 이유
한 feature의 scale은 [0~400], 다른 feature의 scale은 [0,100]일 때, scale이 큰 feature가 결과는 내는데에 dominent해지는걸 방지.
다 똑같은 scale로 바꾸어줌

표준화 (standardization) : 정규분포로 만들어주는 과정 scikit learn standard scalar..
주로 샘플이 적을 때 빈 샘플 공간(결측치) 을 보간할 때 효과적.
대부분 세상의 데이터는 정규분포 따름

정규화(normalization) : 데이터를 min max, batch morm등으로  0~1 scale로 바꾸어줌


r1 reg: r1: gradient들의 norm.
gradient의 norm이 너무 커지지 않게, 즉 해당 layer의 output이 너무 커지지 않게 r1크기에 제약을 걸어줌.

l1 reg: gradient가 아닌 weight 크기 자체에 패널티를 줌

l2 reg:




면접 전 볼 링크 : https://recipesds.tistory.com/entry/중심극한정리에-대한-오해-많으면-무조건-정규분포-OK

표준화,정규화 bsk: https://bskyvision.com/849

r1 reg: https://ai.stackexchange.com/questions/25458/can-someone-explain-r1-regularization-function-in-simple-terms

l1, l2reg : https://light-tree.tistory.com/125

딥러닝 용어 정리, L1 Regularization, L2 Regularization 의 이해, 용도와 차이 설명

https://gaussian37.github.io/dl-concept-regularization/