로그인 바로가기 하위 메뉴 바로가기 본문 바로가기

인공지능 및 기계학습 개론Ⅰ

임시 이미지 KAIST 산업및시스템공학과 문일철
http://kooc.kaist.ac.kr/machinelearning1_17/forum/125488
좋아요 3560 수강생 17080

전체 데이터셋  X =(x_1, x_2,..., x_i, ...x_m)  X=(x1,x2,...,xi,...xm) 이며, 각 instance (sample)  x_i = [x_i^1,x_i^2,..., x_i^n ]^T  xi=[xi1,xi2,...,xin]T (m은 데이터의 갯수 이며, n은 featrue의 개수), 일 때, MLE에서 랜덤변수 x에 대한 pdf를 모수  \theta  θ 를 가지는 어떠한 함수로 정의한 뒤, 모든 랜덤 변수 X에 대한 likelihood를 정의할 때, joint probability를 개별 instance에 대한 likelihood에 대한 곱으로 다음과 같이 표현하지 않습니까?

 P(X|\theta) = P(x_1,...,x_m|\theta) = P(x_1|\theta)P(x_2|\theta)...P(x_m|\theta)  P(Xθ)=P(x1,...,xmθ)=P(x1θ)P(x2θ)...P(xmθ)

이 때, X안에 있는 개별 instance = sample이 각각 독립적으로 추출되는 것을 기본적으로 가정하기 때문에 다음과 같이 likelihood의 곱으로 표현이 되는 것으로 이해하고 있는데 올바르게 이해하고 있는건가요? 또한 만약 맞다고 한다면, 개별 sample이 시계열 데이터가 아니라는 가정하에, MLE를 적용함에 있어 일반적으로 방금 말씀드린 가정이 언제나 존재하는 것인가요?

또한 pdf를 가정할 때  P(X|\theta)  P(Xθ) (여기서 X는 random variable) given으로  \theta   θ 를 표현하는데 이 역시 어떠한 conditional probability 생각해도 되는 건가요?