기본 확률 개념

References

• 확률과 통계 강의 (KOWC - 한양대학교 이상화 교수님)
• Fundamentals of Applied Probability and Random Processs (Oliver Ibe)

Contents

• Sample Space and Events
• Definitions of Probability
• Set Theory
• Properties of Probability

---

확률(Probability)는 예측 불가능성(unpredictability)와 무작위성(randomness)를 다루며, 확률론(Probability Theory)는 무작위 현상을 연구하는 분야입니다. 무작위 현상(random phenomenon)은 반복적인 관찰 하에서 결정론적으로 예측할 수 없는 결과들을 산출하는 것입니다. 그러나 이러한 결과는 나올 수 있는 결과들의 상대적인 빈도가 대략적으로 예측 가능한 통계적 규칙의 특정 조건을 따릅니다.

 

위의 정의에 따르면 무작위 현상의 근본적인 문제는 일련의 가능한 결과 또는 사건(events)에 대한 반복적인 실험입니다. 각각의 사건들과 연관되어 있는 것은 사건의 확률(probability of the event)라는 실수이며, 이는 반복된 실험을 통해서 얻을 수 있는 사건의 발생 빈도와 관련이 있습니다. 이러한 방식을 통해서 사건의 확률은 0과 1 사이에 있는 값이며, 특정 실험에 대한 사건들의 확률의 합은 1이 됩니다.

어느 한 사건의 확률이 0이라면 절대 발생하지 않으며, 1이라면 항상 발생한다는 것을 의미합니다. 이때, 이 사건들에서는 얻을 수 있는 정보가 없다고 표현할 수 있습니다.

 

---

Sample Space and Events

확률 연구에서 실험(experiments)와 사건(events)의 개념은 매우 중요합니다.

 

실험(experiments)은 시도(trial)과 관찰(observation)의 모든 과정입니다. 이때, 수행하기 전에 결과가 불확실한 실험은 무작위(random) 실험이라고 합니다. 무작위 실험을 수행할 때 가능한 기본적인 결과의 모음을 실험의 표본 공간(sample space)라고 하며, 일반적으로 \(\Omega\)로 표현합니다. 실험이 수행될 때, 정확히 가능한 결과 중 하나가 발생하기 때문에 이러한 결과를 기본 결과로 정의합니다. 실험에서의 기본 결과를 표본 공간의 표본점(sample points)라고 하며, \(w_i, i = 1, 2, \cdots\)로 표현합니다. 만약 실험에서 n개의 가능한 결과가 있는 경우의 표본 공간은 \(\Omega = \{w_1, w_2, \cdots, w_n\}\)입니다.

 

사건(event)는 실험에서 가능한 결과 중 하나 또는 규정된 결과(prescribed outcom)가 발생한 것입니다. 따라서 이는 표본 공간의 하위 집합(subset)입니다. 예를 들어, 주사위를 던지면 1에서 6까지의 숫자가 나타날 수 있고, 이 실험에서 표본 공간은 다음과 같이 정의됩니다.

\[\Omega = \{1, 2, 3, 4, 5, 6\}\]

여기서, "주사위를 던진 결과가 짝수"라는 사건은 \(\Omega\)의 하위 집합이며 다음과 같이 정의됩니다.

\[E = \{2, 4, 6\}\]

 

또 다른 예시로, 동전을 던질 때마다 앞면(H) 또는 뒷면(T)가 나올 수 있는 동전 던지기 실험을 살펴보겠습니다. 만약 동전을 3번 던지는데, xyz로 결과를 표현(x가 첫 번째, y가 두 번째, z가 세 번째 던졌을 때의 결과)하면 실험의 표본 공간은 다음과 같습니다.

\[\Omega = \{HHH, HHT, HTH, HTT, THH, THT, TTH, TTT\}\]

여기서 앞면이 한 번만 나올 사건은 위 표본 공간의 하위 집합이며, 아래와 같이 정의됩니다.

\[E = \{HTT, THT, TTH\}\]

 

 

표본 공간 \(\Omega\)에서 A와 B 두 사건이 있을 때, 이를 이용하여 새로운 사건을 정의할 수 있습니다.

• \(A \cup B\): A 또는(or) B 사건을 포함하는 사건 (union)
• \(A \cap B\): A 와(and) B 사건을 모두 포함하는 사건 (intersection)
• \(A - B = A\setminusB\): A는 발생하지만 B는 발생하지 않는(A but not B) 사건 (difference)

 

---

Definitions of Probability

확률을 정의하는 방법은 여러 방법이 있는데, 여기서는 3가지 정의를 살펴보도록 하겠습니다.

• axiomatic definition
• relative-frequency definition
• classical definition

 

Axiomatic Definition

표본 공간이 \(\Omega\)인 한 무작위 실험을 고려해보겠습니다. \(\Omega\)의 각각의 사건 A에서 P[A]라는 숫자(A 사건의 확률) 다음과 같이 정의된다고 가정합니다.

• Axiom 1: \(0 \leq P[A] \leq 1\)
• Axiom 2: \(P[\Omega] = 1\)
• Axiom 3: 동일한 표본 공간에 정의된 n개의 상호 배타적(mutually exclusive)인 사건 \(A_1, A_2, \cdots, A_n\)에 대해
  \[P[A_1 \cup A_2 \cup \cdots \cup A_n] = P[A_1] + P[A_2] + \cdots + P[A_n]\]
  즉, 동일한 공간에 정의된 서로 배터직인 사건들의 집합에 대해 이 사건들 중 적어도 하나가 발생할 확률은 해당 사건들 각각의 확률의 합이 됩니다.

 

Relative-Frequency Definition

n번 수행되는 무작위 실험을 고려해보겠습니다. 만약 사건 A가 \(n_A\)번 발생한다면, 사건 A의 확률 P[A]는 다음과 같이 정의됩니다.

\[P[A] = \lim_{n \rightarrow \infty} \left \{\frac{n_A}{n} \right \}\]

여기서 \(n_A/n\)은 사건 A의 상대 도수(relative frequency)라고 부릅니다.

 

확률에서 상대 도수 정의는 많은 실제 문제에서 직관적으로 만족할 수 있지만, 몇 가지 제한 사항이 있습니다. 이러한 제한 사항 중 하나는 비용이 크고 희소한 파괴적인 테스트에서는 실험을 반복적으로 수행할 수 없다는 것입니다.

 

Classical Definition

고전적인 정의에서 사건 A의 확률 P[A]는 A에 대한 실험 결과의 수 \(N_A\)와 실험에서 가능한 모든 결과의 수 \(N\)의 비율입니다. 즉,

\[P[A] = \frac{N_A}{N}\]

으로 정의됩니다.

 

이 확률은 실제 실험을 수행하지 않고 선험적(priori)으로 결정됩니다. 예를 들어, 동전 던지기 실험에서는 앞면과 뒷면의 두 가지 가능한 결과가 있습니다. 따라서 N=2이고, 동전이 fair한 경우 앞면이 나올 확률은 1/2가 됩니다.

 

 

---

Elementary Set Theory

집합(set)은 요소(elements)라는 개체들의 모음(collection)입니다. 일반적으로 사건(event)는 집합으로 모델링되며 집합대수(algebra of sets)은 사건을 연구하는데 사용됩니다.

 

Set Operations

• Equality(상등): 두 집합 A와 B가 동일(A = B)할 때, A는 B의 하위 집합이고 B는 A의 하위 집합입니다(필요충분조건). 즉, \(A \in B\)이고 \(B \in A\)입니다.
• Complementation(여집합): \(A \in \Omega\)라고 가정해봅시다. A의 여집합(\(\overline{A}\)로 표기)는 A를 포함하지 않는 \(\Omega\)의 모든 요소를 포함하는 집합입니다. 즉,
  즉, \(\overline{A} = \{k|k \in \Omega \text{ and } k \notin A\}\) 입니다.

위에서 두 사건으로 새로운 사건을 만들 수 있다고 설명하면서, Union/Intersection/Difference를 설명했는데, 이것이 바로 Set Operation에 속합니다.

 

추가로 Disjoint Set(서로소 집합)이 있습니다. 두 사건이 공통으로 포함하는 요소가 하나도 없을 때, 두 집합 A와 B를 Disjoint Sets(or mutually exclusive)이라고 부릅니다. \(A \cap B = \empty\)로 표기할 수 있습니다.

 

Venn Diagram

위에서 살펴본 집합 연산들은 벤 다이어그램(venn diagram)을 통해 시각적으로 표현할 수 있습니다. 아래 그림은 두 집합 A와 B에 대해 complementation, union, intersection, difference 연산을 보여주고 있습니다.

전체 집합은 사각형 내부의 점들의 집합으로 표현되고, 집합 A와 B는 타원 내의 점들의 집합으로 표현될 수 있습니다.

 

Set Identities

집합의 합집합, 교집합, 여집합을 형성하는 연산은 대수학의 규칙과 유사한 특정한 규칙을 따릅니다. 이 규칙은 다음을 포함합니다.

• Commutative Law(교환 법칙) for unions, intersections:
  \[A \cup B = B \cup A \text{ ,  } A \cap B = B \cap A\]
• Associative Law(결합 법칙) for unions, intersections:
  \[A \cup (B \cup C) = (A \cup B) \cup C \text{ ,  } A \cap (B \cap C) = (A \cap B) \cap C\]
• Distributive Law(분배 법칙):
  \[\left \{ \begin{matrix} A \cup (B \cap C) = (A \cup B) \cap (A \cup C) \\ A \cap (B \cup C) = (A \cap B) \cup (A \cap C) \end{matrix}\right.\]
• De Morgan's Law(드 모르간 법칙):
  \[\left \{ \begin{matrix} \overline{(A \cup B)} = \overline{A} \cap \overline{B} \\ \overline{(A \cap B)} = \overline{A} \cup \overline{B} \end{matrix}\right.\]

 

---

Properties of Probability

위에서 살펴본 집합의 항등(set identities)과 확률의 axiomatic(공리적) 정의를 결합하면 다음의 확률의 성질들을 얻을 수 있습니다.

• \(P(\overline{A}) = 1 - P(A)\)
  • \(A\)와 \(\overline{A}\)는 서로 배타적이며 \(A \cup \overline{A} = S\) (여기서 S는 표본 공간)
  • \(P(A \cup \overline{A}) = P(A) + P(\overline{A}) = P(S) = 1\)
• \(P( \empty) = 0\) : null event의 확률은 0
• \(A \in B\)라면, \(P(A) \leq P(B)\).
• \(A = A_1 \cup A_2 \cup \cdots \cup A_n\)이고, 각각이 서로 배타적인 사건이라면,
  \[P(A) = P(A_1) + P(A_2) + \cdots + P(A_n)\]
• \(P(A \cup B) = P(A) + P(B) - P(A \cap B)\)