Независимость (теория вероятностей)

В теории вероятностей два случайных события называются независимыми, если наступление одного из них не изменяет вероятность наступления другого^[1]. Аналогично, две случайные величины называют независимыми, если закон распределения одной из них не зависит от того, какие значения принимает другая случайная величина^[2].

Определение 1. Два события ${\displaystyle A}$ и ${\displaystyle B}$ независимы, если появление события ${\displaystyle A}$ не меняет вероятности появления события ${\displaystyle B}$^[3].

В том случае, если вероятность одного события, скажем ${\displaystyle B}$, ненулевая, то есть ${\displaystyle \mathbb {P} (B)>0}$, определение независимости эквивалентно^[3]:

${\displaystyle \mathbb {P} (A\mid B)=\mathbb {P} (A),}$

то есть условная вероятность события ${\displaystyle A}$ при условии ${\displaystyle B}$ равна безусловной вероятности события ${\displaystyle A}$.

Определение 2. События называются независимыми, если совместная вероятность этих событий равна произведению вероятностей этих событий, то есть^[4][5]

${\displaystyle \mathbb {P} (AB)=\mathbb {P} (A)\cdot \mathbb {P} (B).}$

Несколько событий называются попарно независимыми, если независимы каждые два из них^[6].

Определение 3. События ${\displaystyle A_{1},A_{2},...,A_{N}}$ называются независимыми в совокупности, если верно утверждение^[6]:

${\displaystyle \mathbb {P} (A_{1}A_{2}...A_{N})=\mathbb {P} (A_{1})\cdot \mathbb {P} (A_{2})...\mathbb {P} (A_{N}).}$

Независимость в совокупности влечёт попарную независимость. Обратное, в общем случае, неверно^[6].

• Пусть ${\displaystyle \mathbb {P} ^{X,\;Y}}$ — распределение случайного вектора ${\displaystyle (X,\;Y)}$, ${\displaystyle \mathbb {P} ^{X}}$ — распределение ${\displaystyle X}$ и ${\displaystyle \mathbb {P} ^{Y}}$ — распределение ${\displaystyle Y}$. Тогда ${\displaystyle X,\;Y}$ независимы тогда и только тогда, когда

${\displaystyle \mathbb {P} ^{X,\;Y}=\mathbb {P} ^{X}\otimes \mathbb {P} ^{Y},}$

где ${\displaystyle \otimes }$ обозначает (прямое) произведение мер.

• Пусть ${\displaystyle F_{X,\;Y},\;F_{X},\;F_{Y}}$ — функции распределения ${\displaystyle (X,\;Y),\;X,\;Y}$ соответственно. Тогда ${\displaystyle X,\;Y}$ независимы тогда и только тогда, когда^[2]

${\displaystyle F_{X,\;Y}(x,\;y)=F_{X}(x)\cdot F_{Y}(y).}$

• Пусть случайные величины ${\displaystyle X,\;Y}$ дискретны. Тогда они независимы тогда и только тогда, когда

${\displaystyle \mathbb {P} (X=i,\;Y=j)=\mathbb {P} (X=i)\cdot \mathbb {P} (Y=j).}$

• Пусть случайные величины ${\displaystyle X,\;Y}$ непрерывны, то есть их совместное распределение имеет плотность ${\displaystyle f_{X,\;Y}(x,\;y)}$. Тогда они независимы тогда и только тогда, когда^[2]

${\displaystyle f_{X,\;Y}(x,\;y)=f_{X}(x)\cdot f_{Y}(y),\;\forall (x,\;y)\in \mathbb {R} ^{2}}$,

где ${\displaystyle f_{X}(x),\;f_{Y}(y)}$ — плотности вероятности случайных величин ${\displaystyle X}$ и ${\displaystyle Y}$ соответственно.

• Пусть случайные величины ${\displaystyle X,\;Y}$ — независимы. Тогда они не являются коррелированными.
• Любой набор независимых в совокупности случайных величин является попарно независимым, но не все попарно независимые наборы являются независимыми в совокупности. Последнее демонстрирует пример с подбрасыванием монетки, приведённый С. Н. Бернштейном.

• Лемма Бореля — Кантелли
• Закон нуля или единицы Колмогорова
• Копула

• Russell, Stuart. Artificial Intelligence: A Modern Approach / Stuart Russell, Peter Norvig. — Prentice Hall, 2002. — P. 478. — ISBN 0-13-790395-2.