본문 바로가기
2022. 5. 20. 19:31
엔트로피, cross entropy loss (logistic loss) 정보이론에서, 확률이 낮으면 더 많은 정보를 가진다.(rare case) 따라서 데이터 x의 정보량 h(x)는 확률이 낮을수록 커지는 함수인 -log(P(x))로 정의한다. log를 쓰는 이유는 확률이 낮을 수록 더 빠르게 interesting해지는 특성이 담겨 있음 확률 분포에서는 모든 데이터의 발생 확률에 비례해 합산한 값인 H(X) = – ∑ P(x)logP(x)로 정의된다. Low Probability Event (surprising): More information. Higher Probability Event (unsurprising): Less information. 엔트로피는 확률분포에서 랜덤하게 선정된 이벤트를 전송하는 데 필요한 비트 수를 의미한다. 한 쪽에 치우친 분포일수록(less..
2022. 5. 20. 18:45
Logistic Regression, Logit, Odds, Logistic Function multivariate linear regression: 변수가 여러 개(x1 ~ xq)일 때 변수 간의 linear combination을 통해 확률 p를 계산 이 때 p는 linear function으로, 1차함수 형태로 나와 결과값이 unbound되어있기 때문에, 0~1 사이의 값을 가지도록 오른쪽 처럼 변형해줄 수 있다.(logistic function) odds: success와 nonsuccess 간의 비중. logistic function을 odds에 대한 식으로 표현할 수 있다. (실패 대비 성공확률) --> 1보다 크고 작음에 따라 성공인지 실패인지 결정됨. 여기에 로그를 취하면 0이 성공과 실패의 기준이 된다. exponential term을 없애기 위해 odds에 로그를 취하고, 이 ..
2022. 5. 18. 17:56
딥러닝에서의 likelihood, MLE/MAP (베이즈 정리) 베이즈 정리는 어떤 사건 a가 일어났을 때 다른 사건 b가 발생할 확률을 찾는 것 -> 이 확률을 직접 구하기는 어려워도 'b가 발생했을 때 a가 발생할 확률'을 알고 있다면 위 확률을 계산할 수 있게 된다. 그래서 베이즈 정리를 사용하는 것. 보통 구하기 어려운 사후확률을 계산하기 위해 사전확률과 likelihood를 이용 prior(사전 정보): 파라미터의 확률분포. p(θ) posterior: p(θ|x) 우리가 관찰할 수 없는 것(θ)을 구하고자 함. 데이터가 주어졌을 때 최적화된 모델 파라미터를 구하려는 것. 사건 발생 후에 그 원인이 되는 분포를 찾는 것.(사후확률) MAP (Maximum a Posteriori)는 posterior를 최대화함으로써 분포를 찾음 likelihood(observ..
2022. 5. 4. 20:27
Transfer learning과 Fine tuning의 차이점 Transfer learning 학습된 모델의 전체, 또는 일부 레이어만 남기고 새로운 태스크(데이터셋)에 학습시키는 것. 최소한 output layer(classifier, regressor)는 0부터 학습한다. output layer만 fine tuning하는 경우도 있으나 이 경우 transfer learning으로 지칭하는 것이 적합. Fine tuning 학습된 모델의 weight값을 새로운 태스크에 맞게 미세하게 학습시키는 것. 0부터 학습하는 것이 아니라 이미 학습된 weight를 조금씩 수정하는 경우에 해당한다. Notes 새로운 태스크의 data distribution이 비슷하다면 low level layer까지 재학습시킬 필요가 없기 때문에 아래는 고정하고 윗단만 학습하는 transfe..
2022. 3. 6. 16:18
Visual Perception 관련 읽기 자료 http://vr.cs.uiuc.edu/vrch5.pdf https://www.stat.auckland.ac.nz/~ihaka/120/Notes/ch05.pdf https://www.medien.ifi.lmu.de/lehre/ws1112/iv/folien/IV-W11-02-Perception.pdf https://slideplayer.com/slide/1387556/ Visual Perception and Cognition - ppt download Roadmap Visual Perception: how it works Fun with Visual Perception: Party Tricks and other Amusements Impact on Visualization: What do we know a..
2022. 2. 23. 19:22
Quadratic interpolation을 쓰지 않는 이유 Linear > quadratic > cubic으로 갈 수록 function approximation을 위해 더 많은 주변 픽셀을 필요로 한다. 예를 들면 linear function은 두 개의 점만 있어도 그릴 수 있지만, quadratic function은 3개, cubic function은 4개의 점을 필요로 한다. linear interpolation의 단점은 포인트 간 linear function을 그리면 포인트들에서 sharp edge가 생긴다는 것이다. 따라서 포인트 전후의 값을 interpolation하면 포인트 직전과 직후임에도 함수의 방향이 다르므로 값이 달라지고 계단이 생길 수 있다. 이를 보완하려면 포인트 전후로 연속함수여야 한다. quadratic interpolation의 경우,..
2021. 3. 14. 17:29
[Study] Camera and Light Exposure Color constancy 연구를 위한 photography 기본 개념 공부
2021. 3. 8. 01:37
Toy Project - vol.1 Project Topic 편의점, 대형마트 등 물품을 구입하는 곳에서 바코드가 아닌 상품의 이미지를 인식해 계산하는 계산대 시스템을 개발하고자 한다. Background and Objective 최근 국내 리테일 업계는 무인 점포를 위한 기술을 도입하고 있다. 대표적 사례로 곳곳에서 셀프 계산대를 볼 수 있는데, 외적으로는 기술이 발전한 것 같지만 바코드를 찍는 점원의 역할을 사용자에게 전가한 형태에 그친다. 때문에 제품의 바코드 위치나 계산과정에 능숙하지 않은 고객들이 제품을 돌려가며 바코드를 찾아 인식시켜야 하며 이로 인해 계산에 소요되는 시간이 더 늘어난다. 또한 바코드가 없는 상품은 직접 입력해야 하는 번거로움이 있고, 다이소의 경우 셀프 계산대로 바뀐 후 모든 물품에 QR코드를 새로 부착하는 추..
2021. 2. 19. 19:23
[논문] SinGAN: Learning a Generative Model from a Single Natural Image Literature Review GAN을 이용해 새로운 이미지를 생성할 때, 보통 대량의 training set에서 이미지/오브젝트의 스타일 분포를 학습한 후 그 분포에서 이미지를 생성한다. 하지만 이 논문에서는 하나의 이미지만으로 학습을 진행하며, 학습한 정보를 바탕으로 input 이미지와 비슷한 새로운 이미지를 생성해낸다. 이전에도 하나의 이미지로 새로운 이미지를 얻어내려는 시도가 있었지만 fine texture를 재현해내는 데 그쳤다. PSGAN, Deep Texture Synthesis 등의 방식은 training input으로 들어온 이미지의 특정 텍스처를 학습한 뒤 이를 반복적으로 적용하는 형태이다. 이런 경우 예술적인 이미지를 만들어주지만 실제와 같은 이미지를 만들어 내기는 어려웠다. Sin..
2021. 2. 15. 18:04
[논문] Generative Adversarial Nets & SRGAN for Super Resolution Discriminative model : 데이터 X가 주어졌을 때 decision boundary를 찾아 classification/regression을 하는 일반적인 모델의 형태. Generative model : 데이터의 분포를 학습하는 모델. 클래스 마다 데이터들의 분포를 파악하기 때문에 클래스가 주어지면 새로운 데이터를 샘플링할 수 있다. Adversarial Network 이전까지 Generative model은 이미지 생성 시 필요한 수식들이 적분 불가능함으로 인해 높은 성능을 낼 수 없었다. 때문에 성능이 좋았던 대부분의 DNN은 discriminative model이었는데, GAN은 이 적분불가능함을 해결하고 두 가지 모델이 적대적(adversarial)으로 대치하며 서로를 이기기 위해 학..

티스토리툴바