Maximum Likelihood Estimation2 Maximum Likelihood Estimation(MLE)과 Cross Entropy(CE)와의 관계. 결국 같은것이었다. MLE에 대한 내용은 아신다고 가정하고 진행해보겠습니다. 확률분포 내에서 데이터(D)에 대한 N개의 샘플을 먼저 추출하구요. 입력 x를 넣었을 때 출력 y값을 다 더한값이 최대가 되게하는 세타 햇 즉, 랜덤변수를 찾는 것이 MLE의 목표였습니다. 이걸 Negative Log Likelihood(NLL)로 변환하면 식이 다음과 같이 바뀌죠. 그리고 딥 뉴럴 네트워크로 가서 한번 살펴보겠습니다. 가장 왼쪽이 입력 x죠. 그리고 softmax를 거친 y햇이 나옵니다. 이걸 식으로 나타내면 다음과 같습니다. 그리고 Cross Entropy를 볼까요? 앞에 1/N을 제외한 나머지는 똑같습니다. 1/N은 미분하면 사라지게 되구요. 결국 최대의 확률 분포를 찾는 것. 즉, 최소의 Negative Log Likelih.. 2020. 7. 1. Maximum'Likelihood'Estimation 란? Maximum Likelihood Estimation란 어떤 확률분포(매개변수)의 가능성을 최대화 시켜주는 것입니다. 수식으로만 설명드리면 아마 이해가 안가실 겁니다. 그래서, 예를 한번 들어보겠습니다. 대한민국 신장 분포를 알고 싶다고 가정을 해봅니다. 아마 분포를 정확하게 아는 것은 신 뿐이겠죠? 대부분의 분포는 가우시안 분포를 따를겁니다. 평균이 얼마고 표준편차가 얼마다. 다들 중,고등학교 때 다 배우셨죠(?) 그래프는 다음과 같이 생겼습니다. 10명을 샘플로 추출해봤다고 가정 해볼게요. 여기서 가로축은 신장이구요 세로축은 사람 수입니다. 밑에 2개의 그래프는 중간점이 아닌 한쪽으로 치우친 분포를 보입니다. 그리고 세번째 그래프에서는 중심점에 가깝에 분포를 많이했죠? 그러니깐, 즉 이전 2개의 그래.. 2020. 6. 29. 이전 1 다음
