Уводзіны ў алгарытмічнай тэорыі інфармацыі
Copyright (C) 1996 Nick Szabo
дазвол на распаўсюд без змены сучаснасцю прадстаўлена
Нядаўнія адкрыцці адзінага поля кампутарнай навукі і тэорыі інфармацыі ў вобласці алгарытмічнай тэорыі інфармацыі. Гэта поле таксама вядомы сваёй асноўнай вынік, А. Н. Колмогоров складанасці. А. Н. Колмогорова складанасці дае нам новы спосаб разумення матэматыкі інфармацыі, якая выкарыстоўваецца для апісання структуры свету. Інфармацыя выкарыстоўваецца для апісання культурных структур навукі, прававых і рынкавых інстытутаў, мастацтвы, музыкі, ведаў і перакананняў. Інфармацыя таксама выкарыстоўваецца пры апісанні структуры і працэсы біялагічных з'яў і з'яў фізічнага свету. Найболей відавочнае ўжыванне інфармацыі для інжынерных вобласці кампутараў і сродкаў сувязі. Гэта эсэ забяспечыць агляд поля, толькі перадачы ведаў у вобласці інфарматыкі і тэорыі верагоднасцяў, што патрабуецца ад чытача.
Мы пачнём з апісання аб'ектаў з парнымі струнамі. Мы прымаем даўжыня кароткі радок апісання аб'екта ў якасці меры складанасці гэтага аб'екта. Давайце паглядзім на самыя традыцыйныя прыкладанні тэорыі інфармацыі, сувязі. Адпраўніка і атрымальніка кожнага ведаць спецыфікацыі метаду Л. Паведамленне х могуць быць перададзены як у, такое, што L (Y) = X. Гэта напісана "Y: L (у) = х" і ":" чытаецца як "такая, што". Кошт перадачы даўжынёй у, | у |. Меры кошт
min(|y|):L(y)=x.
Гэта мінімальнае | У | з'яўляецца выразных складанасці х з указаннем метаду Л.Універсальны метад апісання павінны мець наступныя ўласцівасці:
- Ён павінен быць незалежным ад L, у сталай зрушэнні, так што мы можам параўнаць складанасць любога аб'екта са складанасцю любы іншы аб'ект.
- Апісанне павінна быць у прынцыпе performable любой машыны ці людзей
Такі метад дасць нам меру абсалютнае ўтрыманне інфармацыі, колькасць дадзеных, якое павінна быць перададзена ў адсутнасць якіх-небудзь іншых апрыёрнае веды.
Апісанне метаду, які адпавядае гэтым крытэрам складанасці Колмогорова: памер найкароткія праграмы (у бітах), што без дадатковых дадзеных, вылічае радкі і завяршае працу. Фармальна:
K(x) = min|p|:U(p)=x
дзе U з'яўляецца ўніверсальнай машынай Цьюрынга.Варыяцыі на колмогоровской складанасці
Умоўныя складанасці па Колмогорову радкі х дадзены радок у
K(x|y) = min|p|:U(p,y)=x
Даўжыня найкароткай праграмы, якая можа вылічыць як х і ў і спосаб адрозніць адзін ад аднаго з'яўляецца
K(x,y) = min|p|:U(p)=xy
Прыклады колмогоровской складанасці
1. Pi з'яўляецца бясконцай паслядоўнасці, здавалася б, выпадковых лічбаў, але ён утрымоўвае толькі некалькі бітаў інфармацыі: памер кароткай праграмы, якія могуць вырабляць паслядоўных бітаў ліку "пі" назаўжды. Нефармальна мы кажам выразных складанасці ПІ сталая. Фармальна мы кажам, Да (р) = 0 (1), што азначае "Да (р) не гадуй".
2. Сапраўды выпадковыя радкі не моцна сцісканай, яго апісанне даўжыня знаходзіцца ў межах сталага зрушэння яго даўжыні. Фармальна мы кажам, Да (х) = Theta (| X |), што азначае "Да (х) расце так хутка, як даўжыня х".
Алгарытмічныя Верагоднасць і індукцыя
Камбінацый, якія могуць паўстаць у доўгай серыі манет сальта можна падзяліць на рэгулярных паслядоўнасцяў, якія вельмі малаверагодна, і нерэгулярныя паслядоўнасці, якія значна больш шматлікія. Усюды, дзе мы бачым сіметрыі і рэгулярнасці, мы шукаем чыннік. Сціскальнасць варта прычыннасці. Мы можам пазбавіцца ад праблемнага характару традыцыйных індуктыўных верагоднасць пераазначэннем верагоднасці ў тэрмінах тэорыі вылічэнняў, з дапамогай складанасць Колмогорова: магчымасць генерацыі радка х у выглядзе кароткага р праграме: U (P) = х
Р (р) = 2 (| X |-Да (х)).
Гэта 2 (| X |-Да (х)) раз больш верагодна, што х паўстала як вынік алгарытмічнага працэсу, чым ад выпадковага працэсу.Варыяцыі на Алгарытмічныя верагоднасцяў
Калі алгарытм не генераваць дакладныя радкі, мы можам уключыць памылку (так званы "скажэнні" ў тэорыі інфармацыі), як частка апісання дадзеных:
Р (р) = 2 (| X | - D (х, у) - Да (х))
Верагоднасць таго, што выпадковыя выйсці праграмы X завецца "ўніверсальных дыскрэтных паўмера", і даецца
т (х) = sum (па ўсіх р: U (P) = х) 2 (- | р |) + з
Алгарытмічныя верагоднасць х задаецца
R (X) = 2 (-Да (х))
Тэарэма кадавання:
Да (х) = Theta (-log т (х))
Умоўныя тэарэмы кадавання:
Да (х | у) + Theta (1) =-log M (X | Y)
Прагназаванне
Рудольф Карнап прапанаваў, каб мы прагназуем, прымаючы ўзважанай сумы ўсіх тлумачэнняў дадзена апісанне мовы. Рэй Саламонаў абагульненых гэта ўніверсальная мова апісання машыны Цьюрынга, каб прыдумаць наступныя ўніверсальныя працэдуры прагноз: прыняць узважанае спалучэнне ўсіх праграм, якія тлумачаць дадзеныя і паглядзець, што яны друкуюць наступнай.
Брытва Оккама
"Бессэнсоўна рабіць з больш, што можна зрабіць з меншай колькасцю". А. Н. Колмогорова складанасці забяспечвае аб'ектыўную меру для прастаты. Вычіслімые набліжэнняў для пэўных камбінаторных структур дадзеных былі дадзены, пачынальна з Rissannen і Уоллес. Прынцыпу мінімуму даўжыні апісання кажа мінімізацыі ўзважанай сумы па структурнай складанасці мадэлі, і памылка паміж мадэллю і дадзенымі.
Адлегласць
Адлегласць, як падаленасць двух целаў ведаў, было ўпершыню прызнана ў вобласці герменеўтыкі, інтэрпрэтацыі традыцыйных тэкстаў, такіх як прававыя кодэксы. Каб аформіць гэту ідэю, разгледзім дзве фатаграфіі прадстаўлены як радкі бітаў. Адлегласць Хэммінга з'яўляецца нездавальняльным меры з карціны і яе адмоўнага, вельмі падобныя адзін на аднаго, і кожны лёгка выводзіцца з іншай, максімальная адлегласць Хэммінга. Больш здавальняючыя меры інфармацыі адлегласці Лі і Vitanyi:Е (х, у) = тах (Да (у | х), Да (х | у))
Гэта адлегласць рахункаў меры для любога выгляду падабенства паміж аб'ектамі. Гэта адлегласць таксама меры найкароткія праграма, якая пераўтворыць х ва ў і ва ў х Мінімальная сума незваротнасці, неабходных для пераўтварэння радка ў радок х у задаецца
КР (х, у) = Да (у | х) + Да (х | у)
Рэверсіўныя вылічэнняў могуць быць скарыстаны для мінімізацыі колькасці цяпла, якія выдаткоўваюцца вылічальных прылад. КР дае мінімальны аб'ём прац, неабходных для стварэння і знішчэнні біт падчас вылічэнняў, у якіх пасроднік праграмы не захоўваюцца.
Павярхоўнасць і вытанчанасць
Чарльз Беннетт выявіў аб'ектыўнае вымярэнне для выдасканаленасці. Напрыклад складанасці з'яўляецца структура самалёта. Мы не маглі проста выкінуць разам у часткі ПДВ, страсянуць іх, і спадзяемся, што сабраць які ляціць самалёта. Пралётнай пабудовы з'яўляецца значна неверагоднае, гэта далёка пераўзыходзілі шырокі спектр нелетной структур. Тое ж самае было б дакладна, калі мы спрабавалі стварыць які ляціць самалёт, кідаючы кучу часткі шаблонаў на стол і зрабіць праект з у выніку накладання.З іншага боку, аб'ект можна лічыць павярхоўным, калі гэта не вельмі цяжка ўзнавіць іншы аб'ект, каб выконваць сваю функцыю. Напрыклад, памыйніцы можа быць створаны шырокі спектр выпадковых паслядоўнасцяў truckfulls смецця, гэта не мае вялікага значэння, у якім парадку грузавікі.
Іншыя прыклады складанасці падаюцца высокаразвітыя структуры жывых істот, такіх як крылы, вочы, мозг, і гэтак далей. Яны не маглі быць кінуты разам выпадкова, яны павінны быць вынікам адаптыўнага алгарытму, такія як алгарытм Дарвіна змены і адбору. Калі б мы страцілі генетычнага кода для хрыбетнікаў вочы ў масавае выміранне, гэта заняло б прырода велізарнай колькасці жывёл жыцці паўторна развіваць іх. Складаныя структуры мае высокі кошт замены.
Беннетт званкі вылічальных аднаўленчага кошту аб'екта лагічнага глыбіню. Грубіянска кажучы, глыбіня неабходная колькасць крокаў у прычынна-следчай сувязі шлях аб'екта з яго праўдападобным паходжанні. Фармальна, гэты час, якое патрабуецца ўніверсальная машына Цьюрынга для вылічэння аб'ект з яго сціснутага арыгінальнае апісанне.
У некаторых выпадках мае сэнс вызначыць каштоўнасць з пункту гледжання кошту замяшчэння. Калі мы бачны арганізма ці традыцыі вялікага аднаўленчага кошту мы можам на гэтай падставе адны лічаць яго каштоўным; у такіх выпадках лагічных глыбіні дае аб'ектыўнай адзнакі гэтага значэння.
Часці і цэлага
Здавальняюча сціскі вялікіх радок можа быць вылічальна немагчымым, у той час як здавальняючае сціскі адной часткі, што радок можа залежаць ад іншых частак. Што лягчэй сціскаць невялікай часткі радка, сціскаючы ўвесь радок адразу? Ці прасцей сціснуць малыя часткі адразу і выкарыстоўваць гэтыя вынікі для сціску цэлым? Колькі радкоў мы павінны глядзець на сціск малая частка гэтага радка? Калі мы сціскаем частку паслядоўнасці, можа карціну мы сціснулі яго таксама можна выкарыстоўваць для сціску іншай часткі паслядоўнасці? Гэтыя часткі з'яўляюцца / усе пытанні фармальны характар, як і неафіцыйных, але важная частка / цэлае пытанні герменеўтыкі. Пасля таго як мы вызначылі індукцыі ў плане мінімізацыі даўжыні апісання і скажэнняў, частка / Усё пытанне ў тым, мабыць, адзіны пакінуты каменем перапоны на шляхі паслядоўнай тэорыі індукцыі вольнай ад трывожнай і супярэчлівай аксіёмы індуктыўнай верагоднасці.Усяго і частковы парадак
Нашы двайковага ўяўлення радка з'яўляюцца суадносіны паміж бітамі вядомы як агульнага парадку. Больш агульнай тэорыі будзе займацца частковых парадкаў, але такая тэорыя мае яшчэ мае быць распрацаваць. Прыклад, дзе гэта мае значэнне, дзе аб'ект апісаны ўяўляе сабою серыю падзей у навакольным асяроддзі, і мы назіраем гэтыя падзеі з навуковымі назіраннямі з прыладамі. Часам парадку паступлення падзей вядома, і часам гэта не так. З агульнай мэтай мы лічым парадку спіс усіх падзей вядома.Вычіслімые метадаў апісання
Да (х) увогуле невычіслімымі, паколькі мы не можам быць упэўнены, праграма спыніцца, калі мы праводзім тэставанне на карэктнасць у фармаванні радка. Добрай навінай з'яўляецца тое, што мы можам атрымаць вычіслімых "энтрапіі", ці выразных складанасцяў, вычіслімых структур, такіх як вылічэнне паліномаў, рашэнне дрэў, і канчатковых аўтаматаў. Яны могуць быць скарыстаны ў якасці мэтавых функцый для адаптыўных ці "навучанні" алгарытмы, якія пабудаваны такія вылічальныя структуры, напрыклад, як "фітнес-функцыі" ў вобласці генетычнага праграмавання. У цэлым
H = структурнай энтрапіі + пакінутых узору энтрапіі
Напрыклад, пры ўсталёўцы K-паліном ступені з дакладнасцю працы:
H (K, D) = KD + Theta (Уваход KD) + сума (па ўсіх я бала) S * (F (X) - Yi) 2)
дзе S некаторая "маштабаванне канстанта".
Бінарнага дрэва рашэння, якое як найлепш апісвае рэляцыйную базу дадзеных:
H = # вузлоў у дрэве + # бітаў у несумяшчальным прыклады
Для гульні стратэгіі, лік станаў у канчатковы аўтамат, які апісвае стратэгію выкарыстоўваецца як мера "абмежаванай рацыянальнасці" ў тэорыі гульняў. Больш дакладная мера будзе час FSM і прасторы выдаткі, плюс гэта навучальнасць кошту, але апошні часта дамінуе і не вельмі добра характарызуецца машыннага навучання тэорыі; лік станаў волкай набліжэнні цяжкасці агента навучання стратэгіі.
Зняволенне
Алгарытмічнай тэорыі інфармацыі з'яўляецца далёка ідучыя сінтэз кампутарнай навукі і тэорыі інфармацыі. Яго рэзанансаў і прыкладанні выходзяць далёка за межы кампутараў і сродкаў сувязі ў такіх разнастайных абласцях, як матэматыка, навуковы індукцыі і герменеўтыкі.Спіс літаратуры
Gregory Chaitin, алгарытмічнай тэорыі інфармацыі
Ming Li & Paul Vitanyi, Уводзіны ў складанасць Колмогорова і яго прыкладанні