Кароткае ўвядзенне ў правілы Байеса Кевін Мэрфі. Інтуіцыя
"Сутнасць байесовского падыходу заключаецца ў прадастаўленні пад правілам матэматычнага тлумачэнні, як вы павінны змяніць існуючыя вераванні ў святле новых дадзеных. Іншымі словамі, гэта дазваляе навукоўцам аб'яднаць новыя дадзеныя з існуючых ведаў або вопыту. Кананічны прыклад ўявіць, што ранняя нованароджаных адзначае свой першы закат, і цуды ці сонца ўзыдзе яшчэ раз ці няма. Ён прызначае роўнае апрыёрныя верагоднасці як магчымых вынікаў, і ўяўляе гэты памяшканне аднаго белага і аднаго чорнага мармуру ў мех. На наступны дзень, калі ўзыходзіць сонца, дзіцяці месца іншага белага мармуру ў мех. верагоднасць таго, што мармур сарваў выпадковым чынам з мяшка будзе белым (гэта значыць, дзіцяці ступень веры ў будучыню узыход), такім чынам, шлях ад паловы да двух траціны. Пасля ўзыходу сонца на наступны дзень, дадае яшчэ адно дзіця белага мармуру, і верагоднасць (і, такім чынам, ступень ўпэўненасці) ідзе ад двух трацін да трох чвэрцяў. І гэтак далей. Паступова, пачатковая перакананне, што сонца толькі жа верагодна, як не ўставаць кожную раніцу змяненне, каб стаць амаль напэўна, што сонца заўсёды будзе расці. "
У сімвалы
Матэматычна, Байеса правіла абвяшчае,
Верагоднасць * да
задняя = ------------------------------
маргінальныя верагоднасці
або, у выглядзе знакаў
P (E | R = R) P (R = R)
P (R = R | E) = -----------------
Р (Е)
дзе P (R = R | E) абазначае верагоднасць таго, што выпадковая велічыня R мае значэнне г даў паказанні Е. Назоўнік толькі нармалізацыі сталай, што забяспечвае задняя дадае да 1, яна можа быць вылічаная шляхам падсумоўвання лічніку па ўсіх магчымых значэнняў R, т. е. P (E) = P (R = 0, е) + P (R = 1, е) +... = Sum_r P (E | R = R) P (R = R)Гэта называецца лімітавай верагоднасці (так як мы маргіналізацыі над R), і дае да верагоднасць доказаў.
Прыклад правіла Байеса
Вось просты прыклад, заснаваны на Java-аплет Майк шор. Выкажам здагадку, у вас быў станоўчы вынік на захворванне; тое, што верагоднасць таго, што ў вас сапраўды ёсць хвароба? Гэта залежыць ад дакладнасці і адчувальнасці тэсту, і на фоне (да) верагоднасць захворвання.Няхай P (Test = + Е. | Хвароба = True) = 0,95, так што ілжывыя адмоўныя тэмпы, P (Test =- Е. | Хвароба = True), складае 5%. Няхай P (Test = + Е. | Хвароба = False) = 0,05,, так што працэнт ілжывых спрацоўванняў таксама 5%. Хай захворванне сустракаецца рэдка: P (Хвароба = True) = 0,01 (1%). Няхай D пазначае хвароба (R ў гэтым раўнанні) і "T = + VE" абазначае станоўчы тэст (E у гэтым раўнанні). Тады
P(T=+ve|D=true) * P(D=true)
P(D=true|T=+ve) = ------------------------------------------------------------
P(T=+ve|D=true) * P(D=true)+ P(T=+ve|D=false) * P(D=false)
0.95 * 0.01 0.0095
= ------------------- = ------- = 0.161
0.95*0.01 + 0.05*0.99 0.0590
Так што верагоднасць наяўнасці захворвання пры ўмове, што вы далі станоўчы вынік усяго толькі 16%. Гэта здаецца занадта нізкай, але вось інтуітыўна аргументам для яго падтрымкі. З 100 чалавек, мы чакаем, што толькі 1, каб хваробы, і гэты чалавек, магчыма, станоўчы вынік тэсту. Але мы таксама чакаем каля 5% іншыя (каля 5 чалавек у агульнай складанасці) для праверкі станоўчы выпадкова. Так 6-станоўчых людзей, мы чакаем толькі 1 з іх на самой справе ёсць хвароба, і сапраўды 1 / 6 складае прыблізна 0,16. (Калі вы ўсё яшчэ не лічу, што гэта вынік, паспрабуйце прачытаць Інтуітыўна тлумачэнне байесовских Разважаючы па Эліэзер Юдковски.) Іншымі словамі, прычына нумар настолькі малы, што вы лічылі, што гэта рэдкае захворванне, тэст зрабіла ў 16 разоў больш верагодна, у вас ёсць захворванні (P (D = 1 | T = 1) / P (D = 1) = 0.16/0.01 = 16), але ён па-ранейшаму малаверагодна у абсалютным выразе. Калі вы хочаце быць "аб'ектыўнай", вы можаце ўсталяваць да раўнамернай (г.зн. фактычна ігнаруюць раней), а затым атрымаць
Р (Т = + Е. | D = True) * P (D = True)
P (D = True | T = + VE) = -------------------------------------- ----------------------
Р (Т = + VE)
0.95 * 0.5 0.475
= ------------------- = ------- = 0,95
0,95 * 0,5 + 0,05 * 0,5 0,5
Гэта, вядома, толькі сапраўдныя станоўчыя тэмпы выпрабаванні. Аднак гэты вывад заснаваны на перакананні, што, калі вы не праводзіць выпрабаванні, палова людзей у свеце маюць захворванні, якія не здаюцца разумнымі. Лепшым падыходам з'яўляецца выкарыстанне праўдападобным да (напрыклад, P (D = True) = 0,01), а затым правесці некалькі незалежных тэстаў, калі ўсе яны паказваюць станоўчы вынік, то задні будзе павялічвацца. Напрыклад, калі мы праводзім два (ўмоўна незалежнымі) выпрабаванні T1, T2 з той жа надзейнасцю, і яны абодва станоўчыя, мы атрымліваем
P(T1=+ve|D=true) * P(T2=+ve|D=true) * P(D=true)
P(D=true|T1=+ve,T2=+ve) = ------------------------------------------------------------
P(T1=+ve, T2=+ve)
0.95 * 0.95 * 0.01 0.009
= ----------------------------- = ------- = 0.7826
0.95*0.95*0.01 + 0.05*0.05*0.99 0.0115
Здагадцы, што доказы ўмоўна незалежныя называюць наіўным здагадка Байеса. Гэтая мадэль была паспяхова выкарыстаная для класіфікацыі электроннай пошце як спам (D = TRUE) або няма (D = False), улічваючы прысутнасць розных ключавых слоў (Ti = + VE, калі я слова ў тэкст, інакш Ti =- VE). Ясна, што словы не з'яўляюцца незалежнымі, нават умоўны на спам / не-спам, але мадэль працуе на здзіўленне добра, тым не менш. Якая сувязь паміж графічнай мадэлі і правілы Байеса?
Для складаных імавернасны мадэляў, вылічальных нармалізацыі пастаяннай P (E) з'яўляецца вылічальнай складаных, альбо таму, што Ёсць экспаненцыяльная ліку (дыскрэтныя) значэнні R ў суму больш, ці таму, што інтэграл па R не можа быць вырашана ў замкнёнай выглядзе (напрыклад, Калі R з'яўляецца высокая-мерны вэктар). Графічныя мадэлі могуць дапамагчы, таму што яны ўяўляюць сумеснае размеркаванне верагоднасцяў ў выглядзе творы мясцовых умоў, якія часам могуць быць выкарыстаны вылічальнай (напрыклад, з выкарыстаннем дынамічнага праграмавання або Гібса выбаркі). Байесовских сетак (рэжысёр графічныя мадэлі) з'яўляюцца натуральным спосабам прадстаўлення многіх іерархічных байесовских мадэляў.Некаторыя чытанні па байесовской статыстыкі
Артыкулы ў прэсе
- Навука артыкула, 19 лістапада 1999 года, Дэвід Malakoff. Выдатна, не-тэхнічны агляд.
- Эканаміст артыкула (9/30/00) аб байесовского падыходу да клінічным выпрабаванням.
- Нью-Ёрк таймс "артыкул (4/28/01) аб байесовской статыстыкі.
Пачатковага ўзроўню Кнігі
- "Першы курс у байесовских статыстычных метадаў", Пітэр Хофф, М., 2009
- "Байесовский вылічэнні ў R", Джым Альберт, М., 2009 (2-е выданне)
- Байесовской статыстыкі: Увядзенне, Піцер М. Лі. Трэцяе выданне 2004 года.
Больш прасунутыя кнігі
- "Байесовский аналіз дадзеных", А. Гельман і інш
- "Байесовский выбар", С. Роберт
- "Байесовской тэорыі", Бернарда і інш
- "Тэорыя імавернасцяў: Логіка навукі", Джейнс
Гісторыя правіла Байеса
(У наступным раздзеле была напісана Аланам Юль.)Тэарэму Байеса звычайна прыпісваюць Вялебны Томас Байес (1701-1761), які пакінуў сто фунтаў у сваім завяшчанні, каб Рычард Цана `` Зараз я мяркую, прапаведнік Ньюингтон Грын.''Цана выявілі два неапублікаваных сачыненняў сярод's работ Байеса, які ён накіроўваецца Каралеўскае таварыства. Гэтая праца зрабіў невялікае ўплыў, аднак, пакуль гэта не было незалежна выявілі некалькі гадоў праз вялікі французскі матэматык Лаплас. Ангельскія матэматыкі затым хутка зноў "працы Байеса.
Мала што вядома пра Байеса і ён лічыцца загадкавай фігурай. Адзін з вядучых гісторыкаў статыстыкі, Стывен Стиглер, нават прапанаваў, што тэарэма Байеса быў сапраўды выяўлены Нікаля Сондерсон, сляпы матэматык, які быў чацвёртым Lucasian прафесара матэматыкі ў Кембрыджскім універсітэце. (Сондерсон было рэкамендавана, каб гэты крэсла Ісаака Netwon, другі Lucasian прафесар. Апошнія ўладальнікі крэсла ўключаюць вялікі фізік Поль Дирак і бягучага ўладальніка, Стывен Хокинг).
Тэарэму Байеса і, у прыватнасці, яго акцэнт на апрыёрныя верагоднасці выклікаў значныя спрэчкі. Вялікая статыстыка Рональда Фішэра быў вельмі крытычна `` субъективистской''аспекты настаяцеляў. У адрозненне ад гэтага, адным з галоўных прыхільнікаў IJ Добрае сцвярджаў, пераканаўча, што `` субъективистской (г.зн. байесовский) заяўляе, што яго меркаванні, у той час як аб'ектывісцкая зачыстак іх пад дыван па тэлефоне здагадкі ведаў, і ён купаецца ў славутым аб'ектыўнасць навукі''.