07-データサイエンス

データサイエンス(Part.16)|帰無仮説と対立仮設・有意水準・P値・z検定

目標

帰無仮説について理解する
対立仮説について理解する
有意水準について理解する
P値について理解する
z検定について理解する

帰無仮説と対立仮説

帰無仮説とは

帰無仮説(H₀)とは、統計的検定でまず前提とする「効果がない/差がない」という基準の仮説です。データがこの仮説と矛盾するほど、極端であれば、H₀を棄却(効果があるとする/差があるとする)します。

対立仮説とは

対立仮説(H₁ / H_A)とは、統計的検定で「効果がある/差がある」と主張する仮説です。基準となる帰無仮説(H₀:効果なし/差なし)に反する内容で、データが十分にH₀と矛盾すると判断できたとき、H₀を棄却しH₁を支持します。

判断基準

  • 判断基準は「有意水準 α(一般には 5% や 1%)」です。
  • P値 ≤ αH₀を棄却(統計的に有意)
  • P値 > αH₀は棄却できない(=有意差は示せない)
  • コインの公平性
    • H₀: 表の確率 p = 0.5
    • H₁: p ≠ 0.5(両側)
  • A/Bテスト(CVRの比較)
    • H₀: pA = pB(=差 0)
    • H₁: pB > pA(片側、Bの改善だけ主張)
  • 平均の差(薬効)
    • H₀: μ治療 − μ対照 = 0
    • H₁: ≠ 0(両側)または > 0(片側)
  • 回帰係数
    • H₀: 係数β = 0(説明変数の効果なし)
  • RDD(回帰不連続)
    • H₀: カットオフでの“ジャンプ” = 0(処置効果なし)
  • 合成コントロール
    • H₀: 介入後も実測=合成(ギャップの平均 0)

P値・有意水準・帰無/対立仮説を使った練習

「ある地域の、ある国道では、雨の日に限って渋滞が発生するという住民の声から、それが、本当に正しいのかをデータをもって確認する」ということを例に、P値・有意水準・帰無/対立仮説を使った練習を行います。

有意水準(α)とは

「帰無仮説(H₀)が本当なのに、まちがって棄却してしまう確率の上限」としてあらかじめ決めておく基準です。典型的には 5%(0.05)1%(0.01) が使われます。P値 ≤ α なら H₀を棄却(統計的に有意)P値 > α なら 棄却できない(=有意差を示す証拠が不足)とします。

P値 とは

帰無仮説(H₀)が正しいと仮定したとき、観測した統計量と同じかそれ以上に極端な結果が出る確率」です。

  • 両側検定:正負どちら側でも「これ以上」
  • 片側検定:指定した方向に「これ以上」

設計(例)

帰無仮説 H₀:「雨でも渋滞は増えない」
例:雨と晴れで平均速度は同じ(μ_rain = μ_clear)/渋滞率は同じ(p_rain = p_clear)

対立仮説 H₁:「雨で渋滞が増える」
例:平均速度が下がる(μ_rain < μ_clear)/渋滞率が上がる(p_rain > p_clear)

有意水準 α:5% を目安に

サンプルデータ(架空例)と その分析

6月1日から10日の期間で、一時間ごとのデータを取得。データには「曜日」「雨かそうでないかを 0/1 で判定」」「雨量をmm単位で」「気温」「事故の有無」「車の速度」などを取得。

雨 vs 晴れの「平均速度」の差(t検定・片側)

is_rain=1とis_rain=0でspeed_kmhの平均を出力します。

  • 「is_rain=0の平均速度」=AVERAGEIF($F$2:$F$241,0,$J$2:$J$241)
    • is_rain=0の平均速度 58.07253521
  • 「is_rain=1の平均速度」=AVERAGEIF($F$2:$F$241,1,$J$2:$J$241)
    • is_rain=1の平均速度 48.58571429
  • 「P値」= T.TEST(FILTER(J2:J241, F2:F241=1),FILTER(J2:J241, F2:F241=0),1,3)
    • P値 0.00000000002

補足:T.TEST関数の「tails」は 1=片側, 2=両側の検定、「type」 は 1=対応あり, 2=等分散, 3=等分散でない です。

判定:P値 ≤ 0.05 で「雨で平均速度が下がる」証拠あり

雨 vs 晴れの「渋滞率」の差(2標本比率のz検定・片側)

ピボットで 雨/晴れ(0/1) × 渋滞(0/1) の件数を集計します。

  • 渋滞件数:
    • x_clear = 0(晴れで渋滞=1 の件数:ピポットテーブルでは空欄)
    • x_rain = 3(雨で渋滞=1 の件数)
    • n_clear(行の総計) = 142(is_rain=0 の総観測数)
    • n_rain(行の総計) = 95(is_rain=1 の総観測数)

z検定とプール比率とは?

z検定は、「たまたま? ほんとう?」を調べる方法です。手順は次の通りです。

  1. まず約束(考えの出発点)を決める
     →「晴れでも、雨でも、渋滞の起きやすさは同じ」と考える(帰無仮説)。
  2. 実際の数を見て、どのくらい、回数が違うかをはかる
     → 差が大きいほど、「同じはず」では説明しにくい。
  3. その差が起きる確率(P値)がとっても小さければ、
     「たまたまじゃなさそう=雨の日は本当に混みやすいのかも」と考る。

たとえば:コインを100回投げて表が70回。
「半分のはず(50回)」という約束の下では、70回は回数が多い
これが z検定の考え方。

プール比率は、「全部をまとめた割合」のことです。例えば、「晴れ」と「雨」を同じと考えるなら、2つをいったん合体して、全体での“渋滞の割合”を数えることができます。

  • 例:晴れで渋滞3回/100回、雨で渋滞5回/100回なら、
    プール比率 = (3+5) ÷ (100+100) = 8/200=0.04(4%)
    これを「同じはず」の基準の割合(=プール比率)として使います。

どうしてまとめるのか?:出発点が「同じ」と考えるから、2つをひとつの袋に混ぜて、「ふつうはこのくらい起きる」を見積もります。

プール比率の式:
帰無仮説 H₀:𝑝1=𝑝2のもとで、2群に共通と仮定した比率の最尤推定値

  • プール比率:
    • p = (x_rain + x_clear) / (n_rain + n_clear)
    • p = ( 3 + 0 ) / ( 142 + 95 )
    • p = 0.012658228
  • 標準誤差:
    • SE = SQRT(p*(1-p)*(1/n_rain + 1/n_clear))
    • SE = SQRT(0.0125*(1-0.0125)*(1/142 + 1/95))
    • SE = 0.01481796

標準誤差とは?

  • たとえば、「日本人の平均身長」を知りたいとします。
  • でも全員を測れないので、ある程度の規模の人数の身長から平均を出します。
  • すると、その平均は本来の平均とは少しズレます。
  • 標準誤差は、この「平均のズレの大きさ」を表すものです。
    → つまり、「今回の平均はどれくらい不確か(ふらつく)か」の目安です。

※データ数が増えると標準誤差は小さくなります(平均が安定)

標準誤差の式:(nはサンプル数)

  • 統計量(z 近似):
    • z = (x_rain/n_rain – x_clear/n_clear) / SE
    • z = (3 / 142 – 0 / 95) / 0.01481796
    • z = 1.42575368295639

z 近似は次の式で表せます。

  • 片側P値:
    • P =1 – NORM.S.DIST(z, TRUE)
    • P = 1 – NORM.S.DIST(1.42575368295639, TRUE)
    • P = 0.0769697273720911

判定:P値 ≤ 0.05 で「雨の方が渋滞率が高い」を支持。今回の場合は当てはまらないので、晴れの日でも、雨の日でも、渋滞率は変化なしを支持。

期待成功数とは?

検定の帰無仮説のもとで「成功(=1)」が何回くらい起きるはずかを表す「期待」の回数です。今回の例で「成功」は 渋滞=1 のことです。

求め方は 2通り あります。

1) 2群比率の z 検定の考え方

帰無仮説 H₀:prain​=pclear​​ のもとで共通の確率を「プール比率」として推定し、各群の期待成功率は次の式で表せます。

今回の場合は

  • 晴れ:142 × 0.012658228 = 1.79746835443038
  • 雨:95 × 0.012658228 = 1.40770616798226

2) 2×2表のカイ二乗検定の式

行合計×列合計÷総計 で各セルの期待度数を出します。

期待成功数:晴れ 1.79746835443038、雨 1.40770616798226 (どちらも <5)

z=1.42575368295639、SE=0.01481796 なので
p^雨−p^晴  = 1.42575368295639 × 0.01481796 ≈ 0.0211
約 2.1 パーセント雨の方が渋滞率は高い

ここまでの解釈

雨の渋滞率は晴れより約2.1ポイント高い傾向がみられた。z近似の片側P=0.077で、5%水準では有意差は確認できず10%水準では有意。ただし期待度数が小さく近似の信頼性が低いため、Fisherの正確検定での再確認と追加データの収集が望まれる。

期待度数が小さいため、z 近似は過信できないのが現状です。この場合はFisherの正確検定(または二項検定)を優先するのが丁寧です。

Fisherの正確検定:

= 1 – HYPGEOM.DIST(3-1, 98, 3, 240, TRUE)
= 0.066847157272951

ここまでの解釈

雨の渋滞率は晴れより高い傾向(差は数ポイント)を示したが、Fisher の正確検定(片側)では P=0.0669。5%水準では有意差は確認できない(10%水準では有意)。件数が少なく推定の不確かさが大きいため、追加データの収集およびピーク時間帯・事故の有無などでの層別ロジスティック回帰による検証を推奨する。

今回は以上となります。(以後の解析は割愛)

Excelでの表示例

ブックマークのすすめ

「ほわほわぶろぐ」を常に検索するのが面倒だという方はブックマークをお勧めします。ブックマークの設定は別記事にて掲載しています。

「お気に入り」の登録・削除方法【Google Chrome / Microsoft Edge】「お気に入り」の登録・削除方法【Google Chrome / Microsoft Edge】について解説している記事です。削除方法も掲載しています。...
【パソコン選び】失敗しないための重要ポイント | 現役エンジニア&プログラミングスクール講師【パソコン選び】失敗しないための重要ポイントについての記事です。パソコンのタイプと購入時に検討すべき点・家電量販店で見かけるCPUの見方・購入者が必要とするメモリ容量・HDDとSSDについて・ディスプレイの種類・バッテリーの持ち時間や保証・Officeソフト・ウィルス対策ソフトについて書いています。...

RELATED POST
07-データサイエンス

データサイエンス(Part.15)|準実験:合成コントロール法(Synthetic Control Method)

2025年9月11日
プログラミング学習 おすすめ書籍情報発信 パソコン初心者 エンジニア希望者 新人エンジニア IT業界への就職・転職希望者 サポートサイト Programming learning Recommended schools Recommended books Information dissemination Computer beginners Prospective engineers New engineers Prospective job seekers in the IT industry Support site
07-データサイエンス

データサイエンス(Part.8)|データ分析のプロセス3(相関分析・回帰分析)

2025年9月3日
プログラミング学習 おすすめ書籍情報発信 パソコン初心者 エンジニア希望者 新人エンジニア IT業界への就職・転職希望者 サポートサイト Programming learning Recommended schools Recommended books Information dissemination Computer beginners Prospective engineers New engineers Prospective job seekers in the IT industry Support site
07-データサイエンス

データサイエンス(Part.9)|データ分析のプロセス3(ロジスティック回帰、決定木)

2025年9月5日
プログラミング学習 おすすめ書籍情報発信 パソコン初心者 エンジニア希望者 新人エンジニア IT業界への就職・転職希望者 サポートサイト Programming learning Recommended schools Recommended books Information dissemination Computer beginners Prospective engineers New engineers Prospective job seekers in the IT industry Support site
07-データサイエンス

データサイエンス(Part.4)|データ分析のプロセス2(データの分類)

2024年1月12日
プログラミング学習 おすすめ書籍情報発信 パソコン初心者 エンジニア希望者 新人エンジニア IT業界への就職・転職希望者 サポートサイト Programming learning Recommended schools Recommended books Information dissemination Computer beginners Prospective engineers New engineers Prospective job seekers in the IT industry Support site
07-データサイエンス

データサイエンス(Part.10)|データドリブンマーケティング と マーケティングミックスモデリング(MMM)

2025年9月6日
プログラミング学習 おすすめ書籍情報発信 パソコン初心者 エンジニア希望者 新人エンジニア IT業界への就職・転職希望者 サポートサイト Programming learning Recommended schools Recommended books Information dissemination Computer beginners Prospective engineers New engineers Prospective job seekers in the IT industry Support site