[기초수학] 순열, 조합, 베이즈정리, 확률변수

이 문서는 성균관대학교 수학과 이상구 교수님의 강의인 인공지능을 위한 기초수학을 정리한 내용입니다.

순열(Permutation)

경우의 수를 세는 방법에는 크게 두 가지 순열과 조합이 대표적이다. 먼저 순열(Permutation)은 순서를 고려하여 나열하는 경우의 수를 의미한다.

서로 다른 n개에서 k개를 택하여 순서대로 나열한 순열의 수를 nPk로 쓰고 다음 공식에 의해 계산한다.

특히 k=n일 때, n의 계승(factorial)이라하며, nPk를 계승을 이용하여 표현하면 다음과 같다

예1) 1부터 9까지의 숫자 중에서 서로 다른 3개를 선택하여 3자리 수를 만드려고 한다. 만들 수 있는 자연수의 개수를 구하시오.

풀이. 9P3 = 9 x 8 x 7 = 504이다.

factorial(9)/factorial(6)

504

조합(combination)

조합은 순서와 상관없이 선택하는 경우의 수를 말한다.

서로 다른 개에서 k개를 택하는 조합의 수를 nCk와 같이 나타내고 다음 공식에 의해 계산한다.

예2) 500개의 넥타이로 부터 5개의 넥타이를 택하는 방법의 개수는 다음과 같다.

factorial(500)/(factorial(5)*factorial(495))

255244687600

중복순열(repeated permutation)

서로 다른 n개에서 중복을 허용하여 k개를 택하여 순서대로 나열한 경우의 수이고 다음 공식에 의해 계산한다.

n개 중에서 k개를 선택하여 순서대로 나열하려면 첫 번째 올 수 있는 경우의 수가 n이고, 두 번째 올 수 있는 경우도 n이고, 세 번째 올 수 있는 경우의 수도 n이다. 그러면 n을 k번 곱해준 것과 똑같은 경우가 된다.

중복조합(repeated combination)

서로 다른 n개에서 중복을 허용하여(순서없이) k개를 택하는 경우의 수이고 다음 공식에 의해 계산한다.

중복순열 중복조합 예제

예3) 예제 3. 숫자 1, 2, 3, 4, 5 중에서 중복을 허락하여 세 개를 택해 일렬로 나열하여 만든 세 자리의 자연수가 5의 배수인 경우의 수를 구하시오.

풀이. 일의 자리를 5로 고정시키면 되므로, 나머지 두 자리를 1, 2, 3, 4, 5 중에서 중복을 허락하여 나열하는 경우의 수와 같다. 따라서 다음을 얻는다.

예4) 4명의 사람이 A, B, C 중 한 명에게 무기명으로 투표를 할 때, 나올 수 있는 경우의 수를 구하시오.

풀이. 4명이 무기명으로 투표하는 방법은 AAAA, AAAB, …, BCCC, CCCC 이므로, 서로 다른 n=3개에서 중복을 허용하여 k=4개를 선택하는 중복조합의 수와 같다. 즉,

이렇게 4가지 기본적인 Counting Technique을 배운 후 이걸 이용해서 확률을 학습해보자.

확률(probability)

특정 사건(event)이 일어날 가능성을 수 0과 1사이의 값으로 나타낸 것을 확률(probability)이라고 한다. 예를 들어, 동전 던지기를 한 번 했을 때 앞면이 나올 확률은 1/2이다. 그리고 확률이 0임은 사건이 절대로 일어날 수 없음을 의미하며, 1은 사건이 반드시 일어남을 의미한다.

사건이 일어날 확률을 수학적으로 분석하기 위해서는, 먼저 어떠한 사건들이 발생가능한지를 명확히 알아야 한다. 예를 들어, 동전 던지기의 경우 발생 가능한 사건들은 {앞면, 뒷면}으로 나타낼 수 있고, 주사위의 경우 {1,2,3,4,5,6}으로 나타낼 수 있다. 이처럼 모든 사건들의 집합을 표본공간(sample Space)이라고 한다.

확률은 어떤 실험이나 관찰에서 각 경우가 일어날 가능성이 같다고 할 때, 일어나는 모든 경우의 수를 n(S), 사건 A가 일어나는 경우의 수를 n(A)라고 하면 사건 A가 발생할 확률 P(A)는 아래와 같다.

(1) 수학적 확률

(2) 기하학적 확률

(3) 통계적 확률과 대수의 법칙(Law of large number)

또한 어떤 시행을 n번 반복하였을 때, 특정사건 A가 일어난 횟수가 k번이라고 할 때, n이 한없이 커짐에 따라 상대도수 k/n가 일정한 값 p에 가까워지면 이 값 p를 사건 A의 통계적 확률이라고 한다. 그러나 시행횟수 n이 충분히 커지면 통계적 확률은 수학적 확률과 같아지는데, 이것을 대수의 법칙(Law of large number)이라 한다.

확률은 다음 성질을 만족한다. 사건 A의 확률을 P(A)라 하면

① 표본공간 S에서 임의의 사건 A에 대하여 0 ≤ P(A) ≤ 1

② 표본공간 S에 대하여 P(S) = 1 (표본공간 전체의 확률은 1)

③ 공사건 ⦰에 대하여 P(⦰) = 0

④ 두 사건 A, B가 동시에 발생하지 않는 배반사건이면 P(A∪B) = P(A) + P(B)

⑤ 사건 A가 일어나지 않는 경우를 A 여집합이라고 하면

예5) 박스 안에 빨간 공 6개와 파란 공 4개가 들어 있다. 처음 빨간 공을 꺼내고, 두 번째 파란 공을 꺼낼 확률은 다음과 같다.

예6)1000개의 제품 중에 불량품이 3개 있다. 이 제품 중에서 10개의 제품을 구입했을 때 다음 확률을 구하시오.

(1) 구입제품 중 불량품이 한 개도 없는 경우

(2) 구입제품 중 불량품이 적어도 한 개 이상 있는 경우

풀이 1) 1000개의 제품 중에 10개의 제품을 선택하는 경우의 수는 ₁₀₀₀C₁₀.

불량품이 한 개도 없는 경우는 정상 제품인 997개에서 10개를 모두 선택하고, 불량품 3개에서는 하나도 선택하지 않는 경우밖에 없으므로 그 경우의 수는 ₉₉₇C₁₀x₃C₀이다.

# 모두 불량품이 아닐 확률 < R 명령어 >
choose(997, 10)* choose(3, 0)/ choose(1000, 10)

풀이 2) 불량품이 적어도 한 개 이상 있을 확률은, 1에서 불량품이 한 개도 없는 확률을 빼면 된다.

< R 명령어 >
# 적어도 불량품이 1개 이상 있을 확률
1 - choose(997, 10)*choose(3, 0)/choose(1000, 10)

조건부 확률

어떤 사건 A가 일어났다는 조건하에서 사건 B가 일어날 확률을 사건 A에 대한 사건 B의 조건부확률(Conditional probability)이라 하고, P(B|A)로 표시한다.

[그림출처] https://blog.naver.com/alwaysneoi/100148922781

조건부 확률의 정의로부터 다음 곱셈정리를 얻을 수 있다.

베이즈 정리

베이즈 정리(Bayes theorem)는 주어진 조건에서 어떠한 현상이 실제로 나타날 확률을 구하는 방법으로, 불확실성 하에서 의사결정 문제를 수학적으로 다룰 때 중요하게 이용된다.

우선 용어를 정리하자.

사전확률(Prior probability)은 관측자가 이미 알고 있는 사건으로부터 나온 확률을 말한다. P(A)는 A에 대한 사전확률을 나타낸다. 사후확률(Posteriori probability)은 사전확률과 대비되는 개념으로 실제의 데이터나 조건이 부과되었을 때 기대되는 조건부 확률을 말한다. 즉, 어떤 특정사건이 이미 발생하였는데, 이 특정사건이 나온 이유가 무엇인지 불확실한 상황을 식으로 나타낸 것이며 P(A|B)로 표현될 수 있다.

여기서 B는 이미 일어난 사건이고, 사건 B를 관측한 후에 그 원인이 되는 사건 A의 확률을 따졌다는 의미로 사후확률이라고 정의한다.

베이즈 정리는 사전확률과 사건으로부터 얻은 자료를 사용하여 사후확률을 추출해내는 것이다. 즉, 사전확률과 사후확률의 관계를 조건부 확률을 이용하여 계산하는 이론이다.

이 표본공간 의 분할(partition)을 이룬다고 하자. 그러면 임의의 사건 에 대하여 다음이 성립한다.

이때 Aᵢ ⋂ B (𝑖 = 1, 2, …, n)는 서로 배반(exclusive)이다. 따라서

이다. 한편, 확률의 곱셈정리로부터 아래 전확률 공식(Law of Total Probability)을 얻을 수 있다.

또한, 임의의 에 대한 조건부확률 에

와 위의 전확률 공식을 대입하면 다음 식을 얻을 수 있는데 이를 베이즈 정리(Bayes’ theorem)라고 한다.

여기서 P(Aᵢ)를 사건 Aᵢ의 사전확률, P(Aᵢ

B)를 사건 Aᵢ의 사후확률이라고 한다.

예7). 3대의 기계 가 각각 이 공장의 생산품 전체의 를 생산한다. 그리고 이들 기계가 불량품을 생산할 비율은 각각 이다.

한 제품을 임의로 선택할 때 그 제품이 불량품일 확률을 구하여라. 또한 불량품이 기계 에 의하여 생산될 확률을 구하시오.

풀이. 구입한 개의 제품이 기계 로 생산된 제품인 사건을 로 나타내고, 그것이 불량품이라는 사건을 로 나타내면,

(제품을 생산하는 사건) 이고,

(불량품을 생산하는 사건)

(불량품을 생산하는 확률)

이므로 전확률 공식에 의해서 다음을 얻는다.

따라서 베이즈 정리에 의하여 불량품 중 기계 C가 생산한 제품이 불량품일 확률은 다음과 같다.

확률변수

동전 2개를 동시에 던져보자. 그러면 발생할 수 있는 사건들은 다음과 같다.

    (앞면, 앞면), (앞면, 뒷면), (뒷면, 앞면), (뒷면, 뒷면)

그리고 이들 각각의 사건이 일어나는 확률은 이다. 이때 뒷면이 나오는 동전의 개수를 라 하면, 다음 그림과 같이 각 사건은 숫자 0, 1, 2에 대응시킬 수 있다.

예를 들어, X=0은 (앞면, 앞면)에 대응된다.

즉, 확률변수란 표본 공간의 모든 표본에 대해 어떤 실수 값을 대응시킨 것이다. 따라서 확률변수를 사용하게 되면 구체적인 사건 대신에 이를 수치로 표현할 수 있어 여러 가지 계산과 분석이 가능해진다.

이산확률분포

• 확률변수 X가 연속적이지 않은 값 𝒙₁, 𝒙₂, …, 𝒙n을 취할 때, X를 이산확률변수라고 하고, 각각의 𝒙ᵢ에 대하여 X = 𝒙ᵢ일 확률 P(X = 𝒙ᵢ)을 할당한 것을 이산확률분포라고 한다.

예를 들어, 앞서 언급한 동전 2개를 동시에 던지는 시행에서, 뒷면이 나오는 동전의 개수 의 확률분포를 그림으로 나타내면 다음과 같다.

그리고 이산확률변수 X가 𝒙₁, 𝒙₂, …, 𝒙n의 값을 취할 때 확률 P(X = 𝒙ᵢ)을 대응시키는 함수 𝑓(𝒙)를 확률변수 X의 확률질량함수(probability mass function)라 한다.

𝒙ᵢ가 주어졌을 때는 확률값을 주고, 그 외에는 0값을 주는 함수이며 다음과 같은 성질을 만족한다.

연속확률분포

• 확률변수 X가 어떤 범위에 속하는 모든 실수를 취할 때, X를 연속확률변수라 한다.
• 연속확률변수 에 대하여 함수 X가 다음 성질을 만족하면 𝑓(𝒙)를 X의 확률밀도함수라 한다.