仮説検定の完全ガイド

仮説検定は、統計における最も重要なトピックの1つです。仮説検定に基づいて、企業内で大企業の意思決定を行うことができます。したがって、このトピックをよく理解することは、業界で正しいビジネス上の決定を下すのに大いに役立ちます。

仮説検定に直接ジャンプする前に、いくつかの概念を明確にして理解する必要があります。ですから、私はあなたが関係することができる実生活からの例を与えて段階的に進み、トピックをできるだけ単純化するように努めます。

目次:

1。中心極限定理

中心極限定理は、統計における最も基本的な概念の1つです。定理によると

母集団からのサンプリング分布のサンプル平均は、平均μと標準偏差σ/ sqrt(n)(μは母集団平均、σは母集団標準偏差)の正規分布に従います。 nは無限大になる傾向があります

定理を読んだ後、初めて私は好きでした

ほとんどの人に当てはまると思います。この定義をいくつかの部分に分けて、より明確に理解しましょう。

最初に、正規分布とは何ですか。また、すべてを正規分布させたいのはなぜですか?自然界のほとんどの変数の確率分布は、すべてほぼ正規分布に従います。たとえば、世界中のすべての人の身長を測定すると、ほぼ正規分布に従います。正規分布がどのように見えるかを見てみましょう

この図から、正規分布は次のようになっていることが明らかです。

上の図では、平均は x で表され、標準偏差はシグマ(σ)で表されます。標準偏差とは、値が平均からどれだけ離れているかを意味します。標準偏差が高い場合は、値が平均から遠いと言え、標準偏差が低い場合は、値が平均に近いと言えます。例を見てみましょう。より明確になります。

Q:あなたの友人があなたに尋ねたとしましょう。 ?

回答:これは、ソフトウェアエンジニアになる予定の多くの学生が知りたい質問です。ハイデラバードでソフトウェアエンジニアとして働いている新入生の給与は、平均(μ)30Kと標準偏差(σ)2Kの正規分布に従うと仮定します。この情報を使用して、「正確な金額はわかりませんが、95%の確率で26Kから34Kの給与が得られる可能性があります」と友達に伝えることができます(2σが分布が正常な場合、平均はデータの95%をカバーします。

したがって、正規分布を使用して、データに関するいくつかの貴重な情報を提供できます。正規分布は非常に重要です。これは、1σ、2σ、3σの特性を持つ分布が他にないためです。

次の概念は母集団とサンプルです。これが母集団とサンプルを説明する写真です:

例:1つの箱に500個のボールがあり、そこからランダムに50個のボールを引き出したとします。したがって、この例では、500個のボールが母集団であり、ランダムに描画した50個のボールはサンプルと呼ばれます。母集団は有限でも無限でもかまいません。サンプルと母集団について詳しく知りたい場合は、ここにリンクがあります。

母集団、標本、正規分布についてはすでに説明したので、中心極限定理(CLT)について詳しく見ていきましょう。 CLTは、各サンプルの n 個のサンプルをサイズ m で収集し、すべての平均をプロットすると、母集団から言っています(母集団は任意の分布に従うことができます)。 x軸のサンプルは、平均が母集団の平均と同じであり、その標準偏差がサンプル数の場合のσ/ sqrt(n)(σは母標準偏差)と同じになる正規分布に従います。サンプリングしたのは無限大です。 しかし、実際のシナリオでは、サンプル数が正規分布に従うよりも30を超える場合 が観察されます。ここで例を見てみましょう。

このリンクからデータセットを収集しました。このデータセットには、「壁の厚さ」である1つの列を持つ9000行が含まれています。したがって、この例では9000が人口になります。次に、「壁の厚さ」のヒストグラムをプロットします。

ご覧のとおり、壁の厚さは12.4から13.2程度です。 それがどの分布に従うか教えてください。一様分布のようです 。母集団の平均は12.802で、分散は0.0837であることがわかります。次に、この母集団から100個のサンプルを取得します。各サンプルのサイズは100です。100個のサンプルについて、平均と分散を計算します。

次に、100個の平均の分布をプロットします。それはどのように見えると思いますか? CLTのすべての条件が満たされていることを忘れないでください:

1)人口は、どのような分布からでも得られます。この場合、それは一種の一様分布です。

2)各サンプルサイズが100(30より大きい)で100個のサンプルを取得しました。

3)すべての平均の分布をプロットすると、ほぼ正規分布に見えるはずです

見てみましょう:

上で説明した図のように見えますか。はい、正規分布に近似しています。また、平均は12.08で、母平均と同じです。分散は0.0006で、母分散/ nと同じです。この場合、nは100です。

2。信頼区間

信頼区間に直接進む前に、簡単な実際の例を見てみましょう。マーケティングリサーチディレクターが、自動車のバッテリーの平均寿命の月単位での見積もりを必要としているとします。現在、データサイエンティストとして、そのことを報告するのはあなたの義務です。それで、あなたは自動車のショールームに行きます、そしてあなたは彼らが毎日およそ1Kのバッテリーを生産しているのを見るでしょう。すべてのバッテリーを取り、その平均寿命を数えると、人口が膨大であるため、一生かかることになります(このようなケースは実際のケースで頻繁に発生するため、人口を考慮に入れることはできません)。そこで、200個のバッテリーのランダムなサンプルを選択し、平均寿命を計算しました。 36ヶ月(点推定といいます)であることがわかりました。計算したことを取締役に報告したところ、36ヶ月であることがわかりました。ディレクターは、 あなたが取ったので、私に点推定を与えないでください バッテリーの平均寿命を計算するために、いくつかのランダムなサンプルだけを取りました。母平均が36か月になることをどのように知っていますか?(それより長くても少なくてもかまいません) 。その場合、信頼区間が明らかになります。

上記の例を見て、信頼区間を見つけましょう。与えられた追加情報の1つは、母集団の標準偏差が10であるということです。CLTの計算概念は非常に必要であり、上記で簡単に説明しました。

そして、標準誤差の計算は非常に簡単です

上記の計算から、人口の平均バッテリー寿命は34.586〜37.414か月になると95.5%確信していると言えます。信頼水準と間隔を与えているので、それは信頼区間と呼ばれます。したがって、理論的には、母集団からランダムに1000個のサンプルを選択し、各サンプルの平均の周りにプラス/マイナス2 std-error の間隔を作成すると、これらの間隔の約955個に母集団の平均が含まれます。

3。仮説検定

これで、仮説検定を理解するためのすべての概念が得られました。investopediaからの定義として

仮説検定は、統計における行為であり、分析者は母集団パラメーターに関する仮定を検定します。分析者が採用する方法論は、使用するデータの性質と分析の理由によって異なります。仮説検定は、より多くの母集団からのサンプルデータに対して実行された仮説の結果を推測するために使用されます。

2種類の仮説があります

1)帰無仮説(H0で示される)

2)対立仮説(H1で示される)

帰無仮説:

サンプルと母集団の平均の差は、ランダムな確率によるものであると単純に言っています。

対立仮説:

対立仮説では、標本と母集団の間に有意差があり、それは偶然によるものではないと言って帰無仮説を棄却しようとします。

次に、例を見て、ランダムチャンスとは何かを理解し、それに基づいて、帰無仮説を棄却するか、帰無仮説を保持するかを決定するにはどうすればよいでしょうか。

Q)肥満患者の血糖値は平均100で、標準偏差は15です。研究者は、生のトウモロコシ澱粉を多く含む食事が血糖値にプラスの影響を与えると考えています。生のコーンスターチ食を試した36人の患者のサンプルの平均血糖値は108です。生のコーンスターチに効果があるかどうかの仮説をテストします。

回答:帰無仮説の定義によれば、血糖値108の平均は偶然によるものであると言われます(選択したサンプルの血糖値が高いことを意味します)。対立仮説は、「いいえ、それは血糖値に影響を及ぼし、偶然の偶然のために起こらなかった」と言うでしょう。今、私たちの義務は、調査を行い、どの仮説が正しいかを言うことです。ここに

H0:mu = 100

H1:mu> 100(研究者が血糖値に + ve の影響があると言っているためよりも多く取っています)

ここで、ランダムチャンス確率を計算するということは、ランダムチャンスが原因で発生した確率を意味します。ランダムチャンス確率を計算するには、最初にZ値を計算し、そのZ値を使用してランダムチャンス確率を計算します。

Zテーブルから、3.20は0.9993に対応することがわかりました。ここでZテーブルを見つけることができます。このことから、効果があるという99.93%の信頼度、またはランダムな偶然が原因で発生する確率が1〜0.9993 = 0.0007であると言えます。ここで、観察に基づいて、帰無仮説を棄却するか、帰無仮説を受け入れます。したがって、調査を行う前に確率値を設定し、確率値がその値を下回ると、帰無仮説を棄却します。

調査を行う前の確率値の設定は有意水準と呼ばれ、1-有意水準は信頼水準と呼ばれます。これは信頼区間と同様です。有意水準の設定は本質的に非常に主観的であり、ドメインごとに異なります。最も一般的な有意水準は5%、1%、10%に設定されています。上記の例で有意水準を1%に設定した場合、帰無仮説を棄却し、0.0007である確率値が以下であるため、生のコーンスターチ食が肥満患者の血糖値に+ veの影響を与えることを確認しました。 0.001。統計的には、「1%の有意水準に基づいて帰無仮説を棄却しました」と言えます。

上記の例で行ったことは、方向性仮説です。これは、仮説を一方向(> 100)でテストしたことを意味します。他のいくつかのケースでは、両方向で仮説を検定する必要がある場合があり、それは無指向性仮説検定と呼ばれます。方向性仮説で見たのとまったく同じ手順ですが、少し違いがあります。違いを見てみましょう:

仮説の最初の構築

H0:mu = 100

H1:muが100に等しくない(より小さいまたはより大きい可能性があることを意味します)

そして、1%の有意性をチェックしている場合、0.5%の有意水準として両側で分割されます。統計では、方向性仮説検定は片側検定と呼ばれ、非方向性仮説検定は両側検定と呼ばれます。

片側検定と両側検定の両方で概念を学習したため、どちらの検定をいつ実行する必要があるのか​​確信が持てない場合があります。

どのシナリオでどのテストを実行する必要があるかがわかるという点で、現実の世界から2つのケースを紹介します。

電球の製造業者が平均寿命1000時間の電球を製造したいとします。寿命が短い場合、彼はその競争に貸衣装を失うでしょう。寿命が長ければ、フィラメントが太すぎるため、製造コストが非常に高くなります。彼の作品が適切に機能していることを確認するために、彼はいくつかの電球をサンプリングし、仮説を次のように設定しました

H0:mean = 1000hours

H1:1000時間に等しくないことを意味します

彼は両方のケースをテストしているということは、両側仮説検定を行っていることを意味します。

2。 片側検定の場合:

卸売業者がそのメーカーから電球を購入する場合を考えてみましょう。卸売業者は球根を大量に購入し、平均寿命が1000時間でない限り、球根を大量に受け入れたくありません。したがって、仮説を次のように設定します

H0:平均= 1000時間

H1:平均< 1000時間

1000時間を超える場合は電球を生産していないため、1000時間以上チェックする必要はありません。ただし、1000時間未満の場合は、貸衣装を失うため、影響を受けます。それで彼は片側検定に行きます。

したがって、この実世界の例では、どのテストをどこで使用するかを理解していると確信しています。

ですから、私のブログを読んでくれた読者に感謝します。あなたがそれを気に入ってくれることを願っています。改善のための提案はいつでも歓迎します。これで、中心極限定理、信頼区間、仮説検定、およびこれらの概念を使用してビジネス上の意思決定を行うことをしっかりと把握できたと思います。さらに、仮説検定でさらにいくつかの問題を解決してみてください。概念をより明確に学習できます。私はクリストファー・ドハティの美しい本を読んだことがあります。この本では、概念が実際の例で最も簡単な方法で説明されています。私は多くを学んだところから素晴らしいブログリンクに出くわしました。この概念についてより詳細に学んだ素晴らしい教師であるSrikanthVarmaChekuriに感謝します。

参考資料