Un ghid complet pentru testarea ipotezei

Testarea ipotezei este unul dintre cele mai importante subiecte din statistici. Pe baza testării ipotezelor pot fi luate decizii de afaceri mari în companie. Așadar, o bună înțelegere a acestui subiect vă va ajuta foarte mult să luați o decizie corectă de afaceri în industrie.

Înainte de a trece direct la testarea ipotezelor, unele concepte trebuie să fie clare pentru a o înțelege în claritate. Așa că voi proceda pas cu pas, oferind exemple din viața reală pe care le puteți raporta și voi încerca să simplific cât mai mult subiectele.

Cuprins:

1. Teorema limitei centrale

Teorema limitei centrale este unul dintre cele mai fundamentale concepte din statistici. Teorema spune

Media eșantionului de distribuție a eșantionării dintr-o populație va urma o distribuție normală cu media μ și abaterea standard σ / sqrt (n) (unde μ este media populației și σ este abaterea standard a populației) atunci când n tinde spre infinit .

Prima dată după ce am citit teorema, am fost ca

Cred că este cazul pentru aproape toată lumea. Să împărțim această definiție în părți și să o înțelegem mai clar.

Deci, primul lucru este ce este distribuția normală și de ce dorim ca totul să fie distribuit în mod normal ? Distribuția probabilității majorității variabilelor în natură, toate urmează aproximativ distribuția normală. De exemplu, dacă măsurați înălțimea tuturor oamenilor din lume, aceasta va urma aproximativ o distribuție normală. Să vedem cum arată o distribuție normală

Din această cifră este clar că distribuția normală este:

În figura de mai sus, media este reprezentată de x și deviația standard este reprezentată de sigma (σ). Abaterea standard înseamnă cât de departe sunt valorile de medie. Dacă abaterea standard este mare, puteți spune că valorile sunt departe de medie și dacă abaterea standard este mică, puteți spune că valorile sunt mai apropiate de medie. Să parcurgem un exemplu și va fi mai clar.

Î: Să presupunem că un prieten de-al tău te întreabă „Hei, sunt mai proaspăt – îmi poți spune cât salariu voi primi aproximativ dacă mă alăturez ca inginer software în Hyderabad (situat în India) ?

Răspuns: Deci, acestea ar fi întrebările pe care mulți dintre studenții care vor fi ingineri software ar dori să le cunoască. Să presupunem că știți că salariile celor care lucrează ca perfecționari care lucrează ca inginer software în Hyderabad urmează o distribuție normală cu media (μ) 30K și deviația standard (σ) 2K. Cu aceste informații îi poți spune prietenului tău că „Hei, nu știu suma exactă pe care o vei primi, dar îți pot spune cu 95% șanse să obții un salariu între 26K și 34K” (pentru că știu că 2 σ din media acoperă 95% din date dacă distribuția este normală).

Prin urmare, folosind distribuția normală, putem oferi câteva informații valoroase despre date. Distribuția normală este foarte foarte importantă, deoarece nicio altă distribuție nu are acea proprietate 1σ, 2σ, 3σ.

Acum următorul concept este populația și eșantionul. Iată imaginea care explică populația și eșantionul:

Ex: Să presupunem că avem 500 de bile într-o cutie. Și trag 50 de bile la întâmplare din ea. Deci, pentru acest exemplu, 500 de bile sunt populația și și 50 de bile pe care le-am desenat aleatoriu se numesc eșantion. Populația poate fi finită sau infinită. Dacă doriți să aflați mai multe despre eșantion și populație aici este linkul.

Permiteți să ne scufundăm acum în teorema limitei centrale (CLT), deoarece am discutat deja despre populație, eșantion și distribuție normală. CLT spune din populație (populația poate urma orice distribuție) dacă colectăm n numărul de eșantioane din fiecare eșantion având dimensiunea m și dacă trasăm întreaga medie a eșantioane în axa x va urma o distribuție normală a cărei medie va fi aceeași cu media populației și abaterea standard va fi aceeași cu σ / sqrt (n) (unde σ este abaterea standard a populației) atunci când numărul de eșantioane eșantionat este infinit. Dar, în scenariul practic, se observă că, dacă numărul eșantioanelor este mai mare de 30 decât urmează o distribuție normală . Să trecem la un exemplu acum.

Am colectat setul de date din acest link. Acest set de date conține 9000 de rânduri cu o coloană care este „grosimea peretelui”. Deci, pentru acest exemplu, 9000 va fi populație. Apoi, trasez o histogramă a „grosimii peretelui”.

După cum putem vedea, grosimea peretelui variază între 12,4 și 13,2. Și îmi puteți spune ce distribuție urmează. Se pare că este un fel de distribuție uniformă . Se constată că media populației este de 12,802 și varianța este de 0,0837. Apoi iau 100 de eșantioane din această populație, fiecare eșantion având dimensiunea 100. Și pentru 100 de eșantioane calculez media și varianța.

Apoi trasez distribuția celor 100 de mijloace. Ce crezi că va arăta? Amintiți-vă că toate condițiile CLT sunt îndeplinite:

1) Populația poate proveni din orice distribuție, în cazul nostru, este o distribuție uniformă.

2) am prelevat 100 de probe cu fiecare dimensiune a probei 100 (care este mai mare de 30).

3) Acum ar trebui să arate aproximativ la distribuția normală dacă trasăm distribuția tuturor mijloacelor

Să vedem:

Arată ca figura pe care am discutat-o ​​mai sus. Da, aproximează distribuția normală. Și media este 12,08, care este aceeași cu media populației, iar varianța este 0,0006, care este aceeași cu varianța populației / n, iar în cazul nostru n este 100.

2. Interval de încredere

Înainte de a merge la intervalul de încredere, vă permite să parcurgeți direct un exemplu simplu din viața reală. Să presupunem că directorul cercetării de marketing are nevoie de o estimare în luni a duratei medii de viață a bateriilor auto. Ca om de știință al datelor acum este de datoria dvs. să faceți un raport despre asta. Așa că mergi în showroom-ul auto și vezi că în fiecare zi produc aproximativ baterii de 1K. Dacă luați toate bateriile și numărați durata medie de viață, vă va dura întreaga viață să o numărați, deoarece populația este imensă (astfel de cazuri apar adesea în cazurile din viața reală, deci nu putem lua în considerare populația). Așa că am selectat o probă aleatorie de 200 de baterii și am calculat durata medie a acesteia. Am constatat că este de 36 de luni (Se numește estimare punctuală). Raportez directorului că l-am calculat și se constată că sunt 36 de luni. Directorul spune că Nu-mi dați estimări punctuale, deoarece ați luat doar o probă aleatorie pentru a calcula durata medie de viață a bateriilor. De unde știți că populația înseamnă 36 de luni? (Poate fi mai mult decât atât sau poate fi mai puțin decât ea) . În acest caz, intervalul de încredere vine la imagine.

Să parcurgem exemplul de mai sus pentru a găsi intervalul de încredere. O informație suplimentară dată este că abaterea standard a populației este de 10. Pentru conceptul de calcul al CLT este foarte necesar și am discutat-o ​​mai sus pe scurt.

Iar calculul erorii std este foarte simplu, este

Putem spune că, după calculul de mai sus, am încredere de 95,5% că durata medie de viață a bateriei populației va fi cuprinsă între 34,586 și 37,414 luni. Deoarece oferim un nivel de încredere și un interval, se numește interval de încredere. Deci teoretic, dacă selectăm 1000 de eșantioane la întâmplare din populație și construim un interval de plus / minus 2 std-error în jurul mediei fiecăruia dintre eșantioane, aproximativ 955 din aceste intervale vor include media populației.

3. Testarea ipotezei

Acum avem toate conceptele pentru a înțelege testarea ipotezelor. Ca definiție din investopedia

Testarea ipotezei este un act din statistici prin care un analist testează o presupunere cu privire la un parametru al populației. Metodologia utilizată de analist depinde de natura datelor utilizate și de motivul analizei. Testarea ipotezei este utilizată pentru a deduce rezultatul unei ipoteze efectuate pe date eșantion de la o populație mai mare.

Există 2 tipuri de ipoteze

1) Ipoteza nulă (notată cu H0)

2) Ipoteza alternativă (notată cu H1)

Ipoteză nulă:

Se spune pur și simplu că diferența dintre eșantion și media populației s-a datorat unei șanse aleatorii .

Ipoteză alternativă:

În ipoteză alternativă, încercăm să respingem ipoteza nulă spunând că există o diferență semnificativă între eșantion și populație și nu s-a datorat șansei aleatorii .

Acum, parcurgem un exemplu pentru a înțelege ce înseamnă o șansă aleatorie și pe baza acestui lucru, cum putem lua o decizie de a respinge ipoteza nulă sau de a păstra ipoteza nulă.

Q) Nivelurile de glucoză din sânge pentru pacienții obezi au o medie de 100, cu o abatere standard de 15. Un cercetător consideră că o dietă bogată în amidon de porumb crud va avea un efect pozitiv asupra nivelului de glucoză din sânge. Un eșantion de 36 de pacienți care au încercat dieta cu amidon de porumb crud au un nivel mediu de glucoză de 108. Testați ipoteza că amidonul de porumb crud a avut sau nu un efect.

Răspuns: Conform definiției ipotezei nule, se va spune că media glicemiei 108 s-a produs din întâmplare (înseamnă că proba pe care am ales-o are un nivel ridicat de glucoză în sânge). Ipoteza alternativă va spune „NU are efect asupra nivelului de glucoză din sânge și nu s-a întâmplat din cauza unei șanse aleatorii”. Acum este de datoria noastră să efectuăm o cercetare și să spunem care ipoteză este corectă. Aici

H0: mu = 100

H1: mu & gt; 100 (Am luat mai mult decât pentru că cercetătorul spune că are un efect + ve asupra nivelului de glucoză din sânge)

Acum, pentru a calcula șansa aleatorie, probabilitatea înseamnă care este probabilitatea ca aceasta să se întâmple din cauza șansei aleatorii. Pentru calcularea probabilității șansei aleatorii calculăm mai întâi valoarea Z și folosind acea valoare Z vom calcula probabilitatea șansei aleatorii.

Din tabelul Z am constatat că 3.20 corespunde cu 0.9993.Y puteți găsi tabelul Z aici. Din aceasta putem spune că avem 99,93% încredere că are un efect sau 1-0,9993 = 0,0007 probabilitate ca acest lucru să se întâmple din cauza unei șanse aleatorii. Acum, pe baza observației, vom respinge ipoteza nulă sau vom accepta ipoteza nulă. Prin urmare, înainte de a efectua cercetarea, stabilim o valoare a probabilității că, dacă valorile noastre de probabilitate vor fi inferioare acestei valori, vom respinge ipoteza nulă.

Setarea valorii probabilității înainte de efectuarea cercetării se numește Nivel de semnificație , iar nivelul de 1 semnificație se numește Nivel de încredere , care este similar cu intervalul de încredere. Setarea nivelului de semnificație are o natură destul de subiectivă, variază de la domeniu la domeniu. Nivelul de semnificație cel mai frecvent stabilit ca 5%, 1%, 10%. Dacă nivelul de semnificație a fost stabilit ca 1% în exemplul de mai sus, în acest caz, am respins ipoteza nulă și am confirmat că dieta cu amidon de porumb crud are un efect + ve asupra nivelului glicemiei la pacienții obezi, deoarece valoarea probabilității noastre, care este 0,0007, este mai mică de 0,001. În termeni statistici, putem spune că „AM RESPONSAT HIPOTEZA NULĂ PE BAZA NIVELULUI DE SEMNIFICAȚIE DE 1%”.

Bine ceea ce am făcut în exemplul de mai sus este ipoteza direcțională înseamnă că am testat ipoteza pe o singură direcție (& gt; 100). În alte cazuri, este posibil să trebuiască să testăm ipoteza pe ambele direcții și apoi se numește testare ipoteză nedirecțională. Este exact aceeași procedură de făcut așa cum am văzut în ipoteza direcțională, dar cu o mică diferență. Să vedem diferența:

Prima construcție a ipotezei

H0: mu = 100

H1: mu nu este egal cu 100 (înseamnă că poate fi mai mic sau mai mare decât)

Și dacă verificăm semnificația de 1%, se va împărți pe ambele părți ca nivel de semnificație de 0,5%. În statistici, testarea direcțională a ipotezelor se numește test cu o singură coadă, iar testarea ipotezei non-direcționale se numește test cu două cozi.

Deoarece am învățat conceptul atât pentru testul cu o singură coală, cât și pentru testul cu două cozi, este posibil ca unii dintre voi să nu fie convinși că atunci când ar trebui să facem ce test.

Permiteți-mi să vă ofer două cazuri din lumea reală, în care veți ști în ce scenariu trebuie să faceți ce test.

Să presupunem că producătorul unui bec dorește să producă becuri cu o durată medie de viață de 1000 de ore. Dacă timpul de viață este mai scurt, el va pierde clienții în competiția sa. Dacă durata de viață este mai mare, va avea un cost de producție foarte mare, deoarece filamentele sunt excesiv de groase. Pentru a-și vedea producția funcționând corect, eșantionează unele dintre becuri și stabilește ipoteza ca

H0: medie = 1000 ore

H1: medie care nu este egală cu 1000 de ore

El testează ambele cazuri înseamnă că face două teste de ipoteză.

2. Pentru un test cu coadă:

Luați în considerare un caz în care un angrosist care cumpără becuri de la producătorul respectiv. Angrosistul cumpără becuri în loturi mari și nu dorește să accepte o mulțime de becuri decât dacă durata lor medie de viață este de 1000 de ore. Deci, setați ipoteza ca

H0: medie = 1000 de ore

H1: medie & lt; 1000 de ore

El nu-și face griji cu privire la verificarea timpului de & gt; 1000 de ore, deoarece nu produce becuri dacă este mai mare de 1000. Dar dacă este mai puțin de 1000 de ore, îl va afecta, deoarece va pierde clienții. Așa că merge la un singur test.

Prin urmare, cu acest exemplu din lumea reală, sunt destul de sigur că înțelegeți unde să folosiți ce test.

Deci, mulțumesc cititorilor pentru citirea blogului meu, sper că vă place și orice sugestie de îmbunătățire este întotdeauna binevenită. Sunt sigur că aveți acum o înțelegere solidă a teoremei limitei centrale, a intervalului de încredere, testarea ipotezelor și utilizarea acestor concepte pentru a lua o decizie de afaceri. În plus, încercați să rezolvați câteva probleme legate de testarea ipotezelor – veți învăța conceptul cu mult mai multă claritate. Am citit o carte frumoasă de Christopher Dougherty trebuie să citească cartea. În această carte, conceptele sunt explicate într-o manieră simplă, cu exemple din lumea reală. Am dat peste un link grozav de blog de unde am învățat multe. Mulțumesc lui Srikanth Varma Chekuri, care este un profesor extraordinar de la care am învățat multe despre aceste concepte într-un mod mai detaliat.

<