가설 테스트에 대한 완전한 가이드

가설 테스트는 통계에서 가장 중요한 주제 중 하나입니다. 가설 테스트를 기반으로 회사에서 큰 비즈니스 결정을 내릴 수 있습니다. 따라서이 주제를 잘 이해하면 업계에서 올바른 비즈니스 결정을 내리는 데 많은 도움이됩니다.

가설 테스트로 넘어 가기 전에 일부 개념을 명확하게 이해해야합니다. 그래서 저는 여러분이 공감할 수있는 실생활의 예를 단계별로 제시하고 가능한 한 주제를 단순화하려고 노력할 것입니다.

목차 :

1. 중심 극한 정리

중앙 극한 정리는 통계에서 가장 기본적인 개념 중 하나입니다. 정리에 따르면

모집단 표본 분포의 표본 평균은 다음과 같은 경우 평균 μ 및 표준 편차 σ / sqrt (n) (여기서 μ는 모집단 평균이고 σ는 모집단 표준 편차)의 정규 분포를 따릅니다. n은 무한한 경향이 있습니다 .

정리를 읽은 후 처음으로 생각했습니다

거의 모든 사람에게 해당되는 것 같습니다. 이 정의를 여러 부분으로 나누고 더 명확하게 이해하겠습니다.

먼저 정규 분포 란 무엇이며 모든 것이 정규 분포를 따르기를 원하는 이유 는 무엇입니까? 자연에서 대부분의 변수의 확률 분포는 모두 대략 정규 분포를 따릅니다. 예를 들어 세계의 모든 사람의 키를 측정하면 대략 정규 분포를 따릅니다. 정규 분포가 어떻게 생겼는지 보자

이 그림에서 정규 분포가 다음과 같음을 알 수 있습니다.

위 그림에서 평균은 x 로 표시되고 표준 편차는 시그마 (σ)로 표시됩니다. 표준 편차는 값이 평균에서 얼마나 멀리 떨어져 있는지를 의미합니다. 표준 편차가 높으면 값이 평균에서 멀다고 말할 수 있고 표준 편차가 낮 으면 값이 평균에 더 가깝다고 말할 수 있습니다. 예를 들어 보면 더 명확해질 것입니다.

Q : 친구가 다음과 같이 질문한다고 가정 해 보겠습니다.“저는 더 신선합니다. 내가 하이데라바드에서 소프트웨어 엔지니어로 합류하면 대략적으로 얼마를받을 수 있을지 말씀해 주시겠습니까? (인도에 위치) ?

답 : 소프트웨어 엔지니어가 될 많은 학생들이 알고 싶어하는 질문입니다. 하이데라바드에서 소프트웨어 엔지니어로 일하는 신입생의 급여가 평균 (μ) 30K 및 표준 편차 (σ) 2K의 정규 분포를 따른다고 가정 해 보겠습니다. 이 정보를 통해 친구에게 “당신이받을 수있는 정확한 금액은 모르지만 당신이 26K에서 34K 사이의 급여를받을 수있는 95 %의 확률로 말할 수 있습니다.”라고 말할 수 있습니다. 분포가 정규 분포 인 경우 평균은 데이터의 95 %를 포함합니다.

따라서 정규 분포를 사용하여 데이터에 대한 중요한 정보를 제공 할 수 있습니다. 다른 분포에는 1σ, 2σ, 3σ 속성이 없기 때문에 정규 분포는 매우 중요합니다.

이제 다음 개념은 인구와 표본입니다. 다음은 인구와 표본을 설명하는 사진입니다.

예 : 상자에 공이 500 개 있다고 가정하고 여기서 무작위로 공을 50 개 뽑습니다. 따라서이 예에서는 500 개의 공이 모집단이고 무작위로 그린 공 50 개를 샘플이라고합니다. 인구는 유한하거나 무한 할 수 있습니다. 샘플과 인구에 대해 더 알고 싶다면 여기 링크가 있습니다.

이제 모집단, 표본 및 정규 분포에 대해 이미 논의 했으므로 중심 한계 정리 (CLT)에 대해 알아 보겠습니다. CLT는 각 표본 크기가 m 인 표본의 n 개를 수집하고 m 의 모든 평균을 플로팅하면 인구 (인구는 모든 분포를 따를 수 있음)에서 x 축의 샘플 평균이 모집단의 평균과 같고 표준 편차가 σ / sqrt (n) (여기서 σ는 모집단 표준 편차)와 동일한 정규 분포를 따릅니다. 우리가 샘플링 한 것은 무한대입니다. 그러나 실제 시나리오에서는 표본 수가 30 개 이상이면 정규 분포를 따르는 것으로 관찰됩니다 . 이제 예제를 살펴 보겠습니다.

이 링크에서 데이터 세트를 수집했습니다.이 데이터 세트에는 ‘벽 두께’라는 열 하나가있는 9000 개의 행이 있습니다. 따라서이 예에서는 9000이 인구가되고 “벽 두께”의 히스토그램을 플로팅합니다.

보시다시피 벽 두께는 약 12.4에서 13.2까지 다양합니다. 그리고 어떤 분포가 따르는 지 말씀해 주시겠습니까? 일종의 균일 한 분포 인 것 같습니다 . 모집단의 평균은 12.802이고 분산은 0.0837입니다. 그런 다음 각 표본의 크기가 100 인이 모집단에서 100 개의 표본을 가져옵니다. 그리고 100 개의 표본에 대해 평균과 분산을 계산합니다.

그런 다음 100 개의 평균 분포를 플로팅합니다. 어떤 모습일까요? CLT의 모든 조건이 충족됨을 기억하십시오.

1) 인구는 모든 분포에서 올 수 있습니다. 우리의 경우 일종의 균일 분포입니다.

2) 각 샘플 크기가 100 (30보다 큼) 인 100 개의 샘플을 가져 왔습니다.

3) 이제 모든 평균의 분포를 플로팅하면 대략 정규 분포처럼 보일 것입니다.

보기 :

위에서 논의한 그림과 비슷합니까? 예, 정규 분포에 가깝습니다. 평균은 12.08로 모집단 평균과 같고 분산은 0.0006으로 모집단 분산 / n과 같고 우리의 경우 n은 100입니다.

2. 신뢰 구간

신뢰 구간으로 직접 이동하기 전에 간단한 실제 사례를 살펴 보겠습니다. 마케팅 리서치 디렉터가 자동차 배터리의 평균 수명을 몇 개월 단위로 추정해야한다고 가정합니다. 이제 데이터 과학자로서이를보고하는 것은 귀하의 의무입니다. 그래서 당신은 자동차 쇼룸에 가서 그들이 매일 약 1K 배터리를 생산하고 있음을 알 수 있습니다. 배터리를 모두 가져 와서 평균 수명을 계산하면 인구가 많기 때문에 전체 수명이 걸립니다 (이러한 경우는 실제 사례에서 자주 발생하므로 인구를 고려할 수 없습니다). 그래서 200 개의 배터리를 무작위로 골라서 평균 수명을 계산했습니다. 36 개월이라는 것을 알았습니다 (포인트 견적이라고합니다). 내가 계산 한 결과, 36 개월이라는 사실을 감독에게보고한다. 디렉터는 배터리의 평균 수명을 계산하기 위해 무작위 샘플을 몇 개만 취 했으므로 점수를 추정하지 마세요 라고 말합니다. 인구 평균이 36 개월이라는 것을 어떻게 알 수 있나요? (이보다 더 많거나 적을 수 있음) . 이 경우 신뢰 구간이 그림에 나타납니다.

신뢰 구간을 찾기 위해 위의 예를 살펴 보겠습니다. 주어진 추가 정보 중 하나는 모집단의 표준 편차가 10이라는 것입니다. 계산을 위해서는 CLT의 개념이 많이 필요하며 위에서 간략하게 논의했습니다.

그리고 std-error의 계산은 매우 간단합니다.

위의 계산에서 저는 인구의 평균 배터리 수명이 34.586 개월에서 37.414 개월 사이에있을 것이라고 95.5 % 확신한다고 말할 수 있습니다. 신뢰 수준과 구간을 제공하므로이를 신뢰 구간이라고합니다. 따라서 이론적으로 모집단에서 무작위로 1000 개의 샘플을 선택하고 각 샘플의 평균 주위에 ± 2 표준 오차 간격을 구성하면 약 955 개의 간격이 모집단 평균을 포함합니다.

3. 가설 테스트

이제 우리는 가설 테스트를 이해하기위한 모든 개념을 얻었습니다 .Investopedia에서 정의한대로

가설 테스트는 분석가가 모집단 매개 변수에 대한 가정을 테스트하는 통계 작업입니다. 분석가가 사용하는 방법론은 사용 된 데이터의 특성과 분석 이유에 따라 다릅니다. 가설 검정은 더 많은 모집단의 표본 데이터에 대해 수행 된 가설의 결과를 추론하는 데 사용됩니다.

가설에는 두 가지 유형이 있습니다.

1) 무 가설 (H0으로 표시)

2) 대체 가설 (H1로 표시)

Null 가설 :

단순히 표본과 모집단 평균의 차이가 무작위 확률 때문이라고 말합니다.

대체 가설 :

대체 가설에서 우리는 표본과 모집단간에 유의 한 차이가 있고 무작위 확률 때문이 아니라고 말함으로써 귀무 가설을 기각하려고합니다.

이제 임의의 기회가 무엇을 의미하는지 이해하고이를 바탕으로 귀무 가설을 거부하거나 귀무 가설을 유지하기로 결정하는 방법을 살펴 보겠습니다.

Q) 비만 환자의 혈당 수치는 평균 100이고 표준 편차는 15입니다. 한 연구원은 생 옥수수 전분을 많이 섭취하면 혈당 수치에 긍정적 인 영향을 미칠 것이라고 생각합니다. 생 옥수수 전분 식단을 시도한 36 명의 환자 샘플의 평균 포도당 수치는 108입니다. 생 옥수수 전분이 효과가 있었는지 여부에 대한 가설을 테스트하십시오.

답 : 귀무 가설의 정의에 따르면 혈당 108의 평균은 임의의 우연에 의해 발생했다고 말할 것입니다 (선택한 샘플이 혈당 수치가 높다는 것을 의미합니다). 대체 가설은“아니오 혈당 수치에 영향을 미치며 우연히 발생하지 않았습니다”라고 말할 것입니다. 이제 연구를 수행하고 어떤 가설이 옳은지 말하는 것이 우리의 의무입니다. 여기

H0 : mu = 100

H1 : mu & gt; 100 (연구자가 혈당 수치에 + ve 효과가 있다고 말했기 때문에 더 많이 복용했습니다)

이제 임의 확률을 계산한다는 것은 임의의 확률로 인해 발생했을 확률을 의미합니다. 무작위 확률을 계산하기 위해 먼저 Z 값을 계산하고 해당 Z 값을 사용하여 무작위 확률 확률을 계산합니다.

Z 테이블에서 3.20은 0.9993에 해당하는 것으로 나타났습니다. 여기서 Z 테이블을 찾을 수 있습니다. 이것으로부터 우리는 그것이 효과가 있다는 99.93 % 신뢰 또는 임의의 기회로 인해 발생했을 확률 1–0.9993 = 0.0007이라고 말할 수 있습니다. 이제 관찰을 바탕으로 귀무 가설을 기각하거나 귀무 가설을 받아 들일 것입니다. 따라서 우리는 확률 값이 그 값보다 낮 으면 귀무 가설을 기각한다는 연구를 수행하기 전에 확률 값을 설정했습니다.

연구를 수행하기 전에 확률값을 설정하는 것을 유의 수준 이라고하고 1- 유의 수준을 신뢰 구간과 유사한 신뢰 수준 이라고합니다. 유의 수준 설정은 본질적으로 매우 주관적이며 도메인마다 다릅니다. 가장 일반적인 유의 수준은 5 %, 1 %, 10 %로 설정됩니다. 위의 예에서 유의 수준을 1 %로 설정하면 귀무 가설을 기각하고 옥수수 전분식이가 비만 환자의 혈당치에 + ve 효과가 있음을 확인한 이유는 0.0007 인 확률값이 0.001. 통계적 측면에서 “우리는 1 % 중요성 수준을 기준으로 NULL 가설을 거부했습니다”라고 말할 수 있습니다.

좋아, 위의 예에서 우리가했던 것은 방향성 가설은 우리가 한 방향 (& gt; 100)에 대한 가설을 테스트했다는 것을 의미합니다. 다른 경우에 우리는 양쪽 방향에 대한 가설을 테스트해야 할 수 있으며 비 방향성 가설 테스트라고합니다. 방향성 가설에서 본 것과 똑같은 절차이지만 약간의 차이가 있습니다. 차이점을 살펴 보겠습니다.

가설의 첫 번째 구성

H0 : mu = 100

H1 : mu 100과 같지 않음 (보다 작거나 클 수 있음을 의미)

1 % 중요도를 확인하는 경우 양쪽에서 0.5 % 유의 수준으로 나뉩니다. 통계에서 방향성 가설 테스트를 단측 검정이라고하고 비 방향성 가설 검정을 양측 검정이라고합니다.

단측 검정과 양측 검정 모두에 대한 개념을 배웠으므로 일부 사용자는 언제 어떤 검정을해야하는지 확신하지 못할 수 있습니다.

어떤 시나리오에서 어떤 테스트를 수행해야하는지 알 수있는 실제 사례 두 가지를 말씀 드리겠습니다.

전구 제조업체가 평균 수명이 1000 시간 인 전구를 생산하려고한다고 가정합니다. 수명이 짧으면 고객을 경쟁에 놓을 것입니다. 수명이 길면 필라멘트가 너무 두껍기 때문에 생산 비용이 매우 높습니다. 그의 작품이 제대로 작동하는지보기 위해 그는 전구를 샘플링하고 가설을 다음과 같이 설정했습니다.

H0 : mean = 1000 시간

H1 : 1000 시간과 같지 않음

두 경우 모두 테스트 중이라는 것은 양측 가설 테스트를 수행하고 있음을 의미합니다.

2. 단측 테스트의 경우 :

도매 업체가 해당 제조업체로부터 전구를 구매하는 경우를 고려합니다. 도매업자는 전구를 대량으로 구입하고 평균 수명이 1000 시간이 아니면 많은 전구를 받아들이고 싶지 않습니다. 따라서 가설을 다음과 같이 설정하십시오.

H0 : 평균 = 1000 시간

H1 : 평균 & lt; 1000 시간

1000 시간 이상이면 전구를 생산하지 않기 때문에 1000 시간 이상 확인하는 것에 대해 걱정하지 않습니다.하지만 1000 시간 미만이면 구매자를 잃게되어 영향을받습니다. 그래서 그는 한 꼬리 테스트를합니다.

따라서이 실제 사례를 통해 어느 테스트를 사용해야하는지 이해하실 수 있습니다.

내 블로그를 읽어 주신 독자 여러분 께 감사드립니다. 좋아 하시길 바라며 개선을위한 제안을 언제나 환영합니다. 이제 중앙 한계 정리, 신뢰 구간, 가설 테스트 및 이러한 개념을 사용하여 비즈니스 결정을 내리는 데 대한 확실한 이해를 얻었을 것입니다. 또한 가설 테스트에 대한 몇 가지 문제를 더 해결하려고 시도하면 훨씬 더 명확하게 개념을 배울 수 있습니다. 나는 Christopher Dougherty의 아름다운 책을 읽었습니다. 이 책에서 개념은 실제 사례를 통해 가장 간단한 방식으로 설명됩니다. 나는 내가 많은 것을 배운 곳에서 훌륭한 블로그 링크를 발견했습니다. 이 개념에 대해 좀 더 자세하게 배운 훌륭한 교사 인 Srikanth Varma Chekuri에게 감사드립니다.

참조