제시해주신 Columbia 대학교 Blei 교수님의 강의 자료에 보면
"Why we like graphical models. What is the advantage of limiting the family? Suppose  x_{1:n}  x​1:n​​  are binary random variables. The full joint requires  2^n  2​n​​ values, one per entry. The graphical model joint requires  \sum^n_{i=1}2^{|{\pi_i}|}  ∑​i=1​n​​2​∣π​i​​∣​​  entries. We have replaced exponential growth in n by exponential growth in |{\pi_i}|  ∣π​i​​∣."

라는 설명이 나와 있습니다.

즉, 확률 변수가 30개이고 확률 변수의  $state=\{T,F\}$ 로 2개일 때,

full joint distribution은  2^{30}  2​30​​ 의 연산량을 지니고, conditionally independent할 때에는 부모와 자기 자신과의 결합 확률만을 고려하기 때문에  \sum^{30}_{i=1}2^{|{\pi_i}|}  ∑​i=1​30​​2​∣π​i​​∣​​  가 되는 것입니다.

제가 찾아본 또 다른 자료에서는 이렇게 설명하고 있습니다.

"CI 가정이 들어왔을 때 취할 수 있는 장점은, CI 가정이 들어오면 계산량이 줄어든다는 것입니다. 앞선 사례와 마찬가지로,  $V$ 개의 변수에 대해, 각 변수가 이산적이고, 모든 변수는 각각  $K$ 개 state를 가질 수 있다고 해봅시다. 각 변수를 표현하기 위해서는  $1\times K$  짜리 table이 필요합니다. 그리고 모든 변수의 모든 결합 분포를 표현하기 위해서는  V\times K^{ParentsOf(K)}  V×K​ParentsOf(K)​​ 만큼의 메모리가 필요하게 됩니다. 부모 노드의 갯수는 분명  $V$ 보다 훨씬 작으니,V\times K^{ParentsOf(K)}  V×K​ParentsOf(K)​​는  K^V  K​V​​ 보다 훨씬 작은 값이 됩니다. CI 가정으로 인해 계산할 필요가 없어진 메모리칸이 생겼습니다."

그런데 제가 이해가 되지 않는 것은 full joint distribution에서는  $2\times 2\times ...\times 2$ 로 모두 곱하지만

conditionally independent의 관계에서는 왜  $2+2+4+...+2$ 등으로 더해주는 것인가요…?

conditionally independent한 관계에서도 똑같이 가능한 경우들을 모두 곱하여 모든 경우의 수를 구하는 것이 맞지 않나요?