mle 예제

우리가 논의 한 예제에는 알 수없는 매개 변수 $theta $가 하나뿐입니다. 일반적으로 $theta$는 매개 변수의 벡터일 수 있으며 동일한 방법론을 적용하여 MLE를 얻을 수 있습니다. 좀 더 구체적으로 말하자면, 알 수 없는 매개 변수 $theta_1$, $theta_2$, $cdots$, $theta_k$를 $k 경우, 우리의 예에서 세 가지 데이터 포인트를 관찰하는 총 (합동) 확률 밀도를 최대화해야 합니다. 위에서 예제를 다시 방문하여 자연 로그림. 우리는 가능성 함수로 시작합니다 : 좋아, 그래서 지금 우리는 방해가공식 정의를 가지고있다. 이 페이지의 첫 번째 예제에는 하나의 매개 변수, 즉 p, 성공 비율에 만 의존하는 조인트 확률 질량 함수가 포함되었습니다. 이제 두 매개 변수에 종속된 관절 확률 밀도 함수를 포함하는 예제를 살펴보겠습니다. 이 게시물에서는 매개 변수 추정을위한 최대 우도 방법이 무엇인지 설명하고 간단한 예제를 통해 메서드를 시연합니다. 일부 콘텐츠에는 공동 확률의 정의 및 이벤트의 독립성과 같은 기본 확률 개념에 대한 지식이 필요합니다. 이러한 전제 조건이 있는 블로그 게시물을 작성했기 때문에 재교육이 필요하다고 생각되면 자유롭게 읽을 수 있습니다. 무작위 표본 X1, X2,…, Xn이 있다고 가정하여 확률 분포가 알려지지 않은 매개 변수 θ에 따라 달라지는 것으로 가정합니다. 여기서 우리의 주요 목표는 u(x1, x2,…, xn)가 x1, x2,…, xn이 임의 표본의 관찰된 값인 θ의 “양호한” 포인트 추정치가 되도록 포인트 추정기 u(X1, X2,…, Xn)를 찾는 것입니다.

예를 들어, 무작위 표본 X1, X2,…, Xn을 가져가려고 계획하는 경우 Xi가 일반적으로 평균 μ 및 분산 σ2로 분포된 것으로 가정하는 경우, 우리의 목표는 데이터 x1을 사용하여 μ의 좋은 추정치를 찾는 것입니다. , x2,…, xn 은 특정 무작위 표본에서 얻은 것입니다. 이것은 여전히 너무 많은 추상적 인 횡설수설처럼 들리는가? 좀 더 구체적으로 만들 수 있는지 예를 살펴보겠습니다. 최소 제곱 최소화는 기계 학습에서 모델에 대한 매개 변수 값을 추정하는 또 다른 일반적인 방법입니다. 모델이 위의 예와 같이 가우시안으로 가정할 때 MLE 추정값은 최소 제곱 방법과 동일합니다. 보다 심층적인 수학 파생을 보려면 다음 슬라이드를 확인하십시오. 위의 예제는 최대 가능성 추정 뒤에 아이디어를 제공합니다. 여기에서는 이 방법을 공식적으로 소개합니다. 이렇게 하려면 먼저 우도 함수를 정의합니다. $X_1$, $X_2$, $X_3$, $…$, $X_n$는 매개변수 $sta$가 있는 분포에서 무작위 표본이 될 수 있도록 합니다(일반적으로 $sbf{theta==(theta_1, theta_2, cdots, theta_k). $x_1$, $x_2$, $x_3$, $…$, $x_n$가 $X_1$, $X_2$, $X_3$, $…$, $X_$의 관찰된 값이라고 가정해 보습니다.

$X_i$의 이산 무작위 변수인 경우, 관찰된 샘플 샘플의 확률로 가능성 함수를 $theta$: 다른 예의 예로, 무작위 샘플 X1, X2, . . 지수 분포로 모델링하는 채우기의 Xn입니다. 하나의 무작위 변수에 대한 확률 밀도 함수는 f(x) = θ-1 e-x/θ의 단계 목록에 대한 몇 가지 수정이 있다. 예를 들어 위에서 보았듯이 일반적으로 우도 함수의 식을 단순화하기 위해 일부 대수를 사용하는 데 시간을 할애하는 것이 좋습니다. 그 이유는 차별화를 더 쉽게 수행하기 위한 것입니다. 일부 프로세스에서 10개의 데이터 포인트를 관찰한 것으로 가정해 보겠습니다. 예를 들어 각 데이터 포인트는 학생이 특정 시험 문제에 답변하는 데 걸리는 시간(초)을 나타낼 수 있습니다. 이러한 10개의 데이터 포인트는 아래 그림에 도시되어 있으며 이 표현식은 최대값을 찾기 위해 차별화될 수 있다. 이 예제에서는 평균의 MLE인 μ를 찾습니다. 이를 위해 μ에 대한 함수의 부분 미분체를 사용하여 식별 조건을 제공하면 로그 우도가 고유한 전역 최대값을 가지도록 설정합니다.