Voight-Kampff Test #1
メールでのやり取りで東大・佐倉さんから、「《ブレードランナー 2049 》を見るので予習（復習?）に昔の《ブレードランナー》を見返したところなんですが、例の、アンドロイドか人間かを見分けるフォークト＝カンプフ検査（VK テスト）は、どの程度再現可能なんだろうかとかとか、偽陰性はさておき偽陽性（人間をアンドロイドと判定する）を出しちゃったら大ごとだろうなとか、薬物でドーピングできそうだな、とか、いろいろ連想してしまいました。検査者の手腕に相当依存するテストらしいので、実用性は低いと思います。」というご意見があったので、まずは VK 法の使い勝手について考えてみます。
佐倉さんがおっしゃる通り、VK 検査は type I/II error と事前確率を知る上で (年寄りには) とても良い教材だと思うので、少し詳しく。ちなみにアンドロイドは映画の中ではレプリカントと呼ばれています。
Neyman-Pearson 流の帰無仮説検定の前提に基づき、対立仮説 alternative hypothesis は「この人はレプリカントである」に、帰無仮説は「この人はレプリカントではない」としましょう。ここでまず第一種の過誤 type I error (偽陽性) は「この人は本当はレプリカントでないにも関わらず、レプリカントだと判定する」こと、第二種の過誤 type II error (偽陰性) は「この人本当はレプリカントなのに、人間だと判定する」ことになります。
当然のことながら、レプリカントだと判定されたら引退 (retire, 殺される) してもらわないといけなくなるので、人間をレプリカントだと判定したら大変ですから、第一種の過誤を起こす確率、つまり有意水準 α は極めて低く設定しなければなりません。ここでは素粒子物理学でよく用いられる 5σ (3 × 10^-7) ほどにしておきましょう。350万回テストしたら一回くらい間違えて人間をレプリカントだと判定してしまう程度の、かなり厳しい基準になっています (ちょっと気になったので R で 1/(1-pnorm(5, mean = 0, sd = 1, lower.tail = TRUE)) と計算してみると、3,488,556 回に1回という計算でした)。
次に、目の前の人が本当はレプリカントなのに見逃してしまっても駄目なので、検定力 1-β も 99.9% くらいに設定しておきましょう。1000人のレプリカントをテストしてひとり見落とすくらいの精度です。
しかし重要なのは、レプリカントがもともとどのくらい世の中にいるのか、つまり事前確率です。映画関係の資料を調べたのですがよく分かりません。でもかなり少なそうなので、ここでは仮に 100万人にひとりくらいだとしてみましょう。
そうすると、仮にある容疑者に VK 法を使って、その人が実はレプリカントらしいという結果が出たとして、この判定の信憑性はどのくらいあるのでしょうか。100万人にひとりのレプリカントがいて、そのレプリカントを VK 法が正しく見抜ける確率が 99.9% なので、まあちょっと変な言い方ですが、0.999人をレプリカントだと判定するとします。ところが、残りの 99万 9,999人のうちからも、5σ の確率で間違うので、約 0.29人をレプリカントだと判定してしまいます。そうすると、VK 法でこいつはレプリカントだという判定が出たとしても、0.999 / (0.999 + 0.29) = 約 0.78 つまり 78% しか当たりません。残りの 22% はいわゆる false discovery rate (FDR) というやつになり、検査してレプリカントだと判定された40人のうち、9人程度もの人が本当は人間なのに、間違って引退させられることになります。
ちなみにベイズの法則で言うと P(A) がレプリカントである事前確率、P(B)が VK 法でレプリカントという判定が出る確率、P(B|A) がレプリカントである時 VK 法で正しく判定される条件付き確率 (尤度 likelihood)、そして P(A|B) が VK 法でレプリカントだと判定された時に、本当にその人がレプリカントである事後確率となります。
いずれにせよ、素粒子物理並の厳しさで VK 法を用いたとしても、やはりレプリカント人口が少なければ信頼できる検査にはならない、といことですね。そこでデッカードのようなブレードランナーが、捜査を通じてこの事前確率 P(A) を高めてあげないと、役に立たないということになるわけです。逆い言えば VK マシーンを一般に流通させることは禁止されているはずで、なぜなら、一般人が、大した根拠もないのに、周囲の人間をどんどん VK 法でテストし出すと、そのうち何人かではレプリカントだという判定が出てしまいますが、その中にはかなり高い確率で人間が含まれてしまうので、冤罪で殺される人が続出するからです。
佐倉さんがおっしゃる通り、VK 検査は type I/II error と事前確率を知る上で (年寄りには) とても良い教材だと思うので、少し詳しく。ちなみにアンドロイドは映画の中ではレプリカントと呼ばれています。
Neyman-Pearson 流の帰無仮説検定の前提に基づき、対立仮説 alternative hypothesis は「この人はレプリカントである」に、帰無仮説は「この人はレプリカントではない」としましょう。ここでまず第一種の過誤 type I error (偽陽性) は「この人は本当はレプリカントでないにも関わらず、レプリカントだと判定する」こと、第二種の過誤 type II error (偽陰性) は「この人本当はレプリカントなのに、人間だと判定する」ことになります。
当然のことながら、レプリカントだと判定されたら引退 (retire, 殺される) してもらわないといけなくなるので、人間をレプリカントだと判定したら大変ですから、第一種の過誤を起こす確率、つまり有意水準 α は極めて低く設定しなければなりません。ここでは素粒子物理学でよく用いられる 5σ (3 × 10^-7) ほどにしておきましょう。350万回テストしたら一回くらい間違えて人間をレプリカントだと判定してしまう程度の、かなり厳しい基準になっています (ちょっと気になったので R で 1/(1-pnorm(5, mean = 0, sd = 1, lower.tail = TRUE)) と計算してみると、3,488,556 回に1回という計算でした)。
次に、目の前の人が本当はレプリカントなのに見逃してしまっても駄目なので、検定力 1-β も 99.9% くらいに設定しておきましょう。1000人のレプリカントをテストしてひとり見落とすくらいの精度です。
しかし重要なのは、レプリカントがもともとどのくらい世の中にいるのか、つまり事前確率です。映画関係の資料を調べたのですがよく分かりません。でもかなり少なそうなので、ここでは仮に 100万人にひとりくらいだとしてみましょう。
そうすると、仮にある容疑者に VK 法を使って、その人が実はレプリカントらしいという結果が出たとして、この判定の信憑性はどのくらいあるのでしょうか。100万人にひとりのレプリカントがいて、そのレプリカントを VK 法が正しく見抜ける確率が 99.9% なので、まあちょっと変な言い方ですが、0.999人をレプリカントだと判定するとします。ところが、残りの 99万 9,999人のうちからも、5σ の確率で間違うので、約 0.29人をレプリカントだと判定してしまいます。そうすると、VK 法でこいつはレプリカントだという判定が出たとしても、0.999 / (0.999 + 0.29) = 約 0.78 つまり 78% しか当たりません。残りの 22% はいわゆる false discovery rate (FDR) というやつになり、検査してレプリカントだと判定された40人のうち、9人程度もの人が本当は人間なのに、間違って引退させられることになります。
ちなみにベイズの法則で言うと P(A) がレプリカントである事前確率、P(B)が VK 法でレプリカントという判定が出る確率、P(B|A) がレプリカントである時 VK 法で正しく判定される条件付き確率 (尤度 likelihood)、そして P(A|B) が VK 法でレプリカントだと判定された時に、本当にその人がレプリカントである事後確率となります。
コメント
コメントを投稿