これって、文章の分類につかうのかな？




べいず・うぃき
から引用

ベイジアンってどういう考え方なんだろう

主観確率

ベイズ推定の世界では全ての確率は主観的な確率(subjective probability)だとされます。

ふつう確率というのは対象の不確かさを示す量とされるのですが、ベイズ推定では不確かさはその対象を観察するひとの知識にあるとされるわけです。

観察者のもつ不確かな知識のことを信念(belief)という名で呼ぶこともあります。

例えば、目の前のサイコロの1の目が出る確率 1/6 という数字を

そのサイコロの性質である

と考えるのが普通の見方。

観察者の知識（予測・信念・期待...どんな言葉で呼んでもいいけど）の不確かさの性質である

たとえば、サイコロなんて何処で振っても同じなのに、「今日ははれているから奇数が出る」とかってことかな？

と考えるのが主観確率の見方

事前確率

観測者は、研究対象である確率変数 X に関して、事前確率 P(X) をもっています。事前確率(prior)とは観測者が観測以前にもっている信念を確率分布関数で表現したものです。

男A：「やばいよ遅れたよー、こんなに待たせちゃってるよー、怒ってるかなー？」

(事前知識)

P(X)
P(彼女は怒っている) = 0.7
P(彼女は怒ってない) = 0.3

事後確率

観測者は観測を行います。観測した結果を D とします。観測結果 D によって、確率変数 X に関する信念が変化します。観測結果 D のもとで 確率変数 X に関する信念を P(X|D) と書き、これを事後確率(posterior)と呼びます。

男A：「あれ？彼女にこにこ笑ってこっちに手を振ってる。怒ってないのかも」

(観測とそれに基づく推定)

P(確率変数 X|観測結果 D)
P(彼女は怒っている|にこにこ顔) = 0.2
P(彼女は怒ってない|にこにこ顔) = 0.8

尤度

ところで、確率変数 X の元では、観測結果 D が確率 P(D|X) に従って生成されるはずだということが分かっていたとします。 P(D|X) を D が観測されたときの X の尤度(ゆうど)(likelihood)と呼び、これを尤度関数P(D|X)で定義された確率的生成モデルと呼ぶこともあります。 Xの値によってDの出方が変るという意味で、 XをP(D|X)のパラメータと呼ぶこともあります。

男A：「僕は知ってる。彼女がにこにこしているときにも、ときどき裏で怒ってることもあるんだ。
でも怒ってなくてもむっすりしてることも多いよなぁ。」

(彼女の表情の生成モデル)

P(観測結果 D|確率変数 X)
P(にこにこ顔|彼女は怒っている) = 0.1
P(むっすり顔|彼女は怒っている) = 0.9
P(にこにこ顔|彼女は怒ってない) = 0.5
P(むっすり顔|彼女は怒ってない) = 0.5

ベイズの定理

事前確率 P(X)、事後確率 P(X|D)、尤度 P(D|X) の間には以下の関係が成り立ちます。これをベイズの定理といいます。

P(X|D) = P(D|X)P(X) / P(D)
P(D) = Σ(Xの全ての場合についての和) P(D|X)P(X)

ここで新しく出てきた P(D) を D の証拠(evidence)と言います。 (「証拠」という日本語の意味に引きずられるのを避けるために、僕はあえてカタカナ語でエビデンスと呼ぶのが好きです。)

男A：「ええと、ベイズの定理に基づいて考え直してみよう
いま彼女が怒っている確からしさは、

P(怒|にこにこ)

　　　　　　　　　P(にこにこ|怒)P(怒)
＝　−−ー−−−−−−−−−−−−−−−−−−−−−−
　　　P(にこにこ|怒)P(怒)　+　P(にこにこ|不怒)P(不怒)

＝　0.1 × 0.7 ／ ( 0.1 × 0.7 ＋ 0.5 × 0.3 )

≒　0.32

あ、正しくは３割強の確率で彼女は怒ってるんだ！」

エビデンスはモデル選択の問題で重要な役割を示す量です。これに関してはモデル選択に関する議論でくわしく考えましょう。

ベイズ的行動決定

状況 X のもとで行動 A を決定する必要があります。行動 A の良さは、効用関数(utility function)　U(A|X) で定義されるものとしましょう。不確実な状況 X のもとでの最良の行動は、期待効用 E[U]

期待効用 E[U] = Σ(Xの全ての場合についての和) U(A|X)P(X|D)

を最大にするように決めます。これがベイズ的行動決定です。

男A:「もしも彼女が怒っている場合、3000円の花束で怒りを解く必要がある
そうでないと、彼女得意の真空とび膝蹴りで入院して治療費30000円がかかる。

でも今給料日前で3000円はきつい、普段なら8000円払うぐらいきつい。

だから効用関数は

U[花|怒] = -8000
U[無|怒] = -30000
U[花|非怒] = -8000
U[無|非怒] = 0

のように定義できる。

彼女が怒ってる事後確率は 0.32 だから

E[U[花]] = U[花|怒] P(怒|にこにこ) + U[花|非怒] P(非怒|にこにこ)
　　　　　= - 8000 × 0.32 - 8000 × 0.68
　　　　　= - 8000
E[U[無]] = U[無|怒] P(怒|にこにこ) + U[無|非怒] P(非怒|にこにこ)
　　　　　= - 30000 × 0.32 - 0 × 0.68
　　　　　= - 9600

うん。やっぱり花を買っていこう。
あぶないところだったなぁ、怒ってる確率2割だとしてたら
花を買わなかったよ。」

女B：「花くれるのは嬉しいけど、独り言は聞こえないように言いなさいね」