Source: http://invibe.net/LaurentPerrinet/Publications/Perrinet10shl
Animation nan fòmasyon nan RFS pandan aprann aSSC. |
- Papye sa-a explores enpòtans nan omeyostazi nan aprantisaj la unsupervised nan efikas, kòd rar. Travay sa a parèt tankou yon nesesite depi definisyon an konpetisyon an esansyèl a kòd rar, men wòl nan omeyostazi se souvan sou-gade. Nou eseye nan papye sa-a nan premye defini prensip an komen kache flò Hebbian Aprantisaj rapid ki te devlope nan moute a swiv-soti nan papye a fondateurs nan Olshausen an 1996 & 1998 ki prezante modèl la SparseNet. Nou Lè sa a, defini yon omeyostazi jenerik ki baze sou obsèvasyon sou kalkil neral pa Laughlin (1981) ki Melody konpetisyon an sa yo ki nan popilasyon an nan newòn, pwobabilite a pou chwazi nenpòt ki newòn se yon priori inifòm (al gade Figi 1). Sa a sèvi ak akor Statistik randman sou balans tan dousman nan lòd la echèl tan aprann. Sa a demontre ke yon sparsening tankou Matching Batay ka jenere rezilta kalitatif ki sanble ak SparseNet, se sa ki ak ipotèz plis ki senp (al gade Figi 2), men pi enpòtan sa li te kapab simonte pwoblèm yo ki leve pi bonè pandan w ap itilize pa gen okenn omeyostazi (al gade Figi 3). Nou Lè sa a, diskite ke estrateji sa a pwodiksyon an yon estrateji pi efikas: konpetisyon se pi bon lè li se parfètman jis (gade Figi 4). Li evidan, kalkil neral yo pi konplèks: Achitekti echèl gwo li yo se pa inifòm epi branche.Sepandan, rezilta sa yo allusion nan lefèt ke yon popilasyon de newòn ki fè yo ki gen rapò pa yon sò komen - asanble yo selil pionnier pa Hebb (1949) - yo ta dwe sou fòmil yo itilize tèm tan gen kontwòl si yo vle maksimize sou kout la tèm efikasite nan kod nan chak newòn endividyèl elèv yo.
- ki disponib @ PubMed, MIT pou laprès oswa CiteULike.
- jwenn yon Reprint (sou Hal oswa arXiv)
referans
@ Atik {Perrinet10shl,
Arxivid = {0706.3177},
Author = {Perrinet, Laurent Ameriken},
Dat li te-Added = {2007-06-25 15:49:50+0200},
Dat li te modifye-= {2010-06-25 14:30:05+0200},
Doi = {10.1162/neco.2010.05-08-795},
ISSN = {1530-888X},
Journal = {nèrveuz Kalkil},
Keywords = {kod popilasyon nèrveuz, Unsupervised aprann, Estatistik nan imaj natirèl, senp selil jaden reseptif, flò Aprantisaj Hebbian, Adaptatif Batay Matching, omeyostazi Koperatif, Konpetisyon-optimised Batay Matching},
Mwa = {jiyè},
Nimewo = {7},
Paj = {1812 - 36},
Title = {Wòl omeyostazi nan aprantisaj reprezantasyon flò},
Topic = {Perrinet06 - kod flò; Perrinet03ieee - Matching Batay, _Perrinet10shl - flò Hebbian Learning, _Perrinet10shl - klèrseme+ reprezantasyon overcomplete},
Url = {http://invibe.net/LaurentPerrinet/Publications/Perrinet10shl},
Volim = {22},
Ane = {2010},
Abstract = {neron nan kouch nan opinyon nan cortical prensipal vizyèl nan Primates devlope kwen-tankou jaden reseptif. One apwòch konprann aparisyon sa a repons se leta ki aktivite neral gen avèk efikasite reprezante done sansoryèl ki gen rapò ak estatistik yo ki nan sèn natirèl. Anplis de sa, li se kwè ke se tankou yon kod efikas reyalize lè l sèvi avèk yon konpetisyon atravè newòn konsa tankou jenere yon reprezantasyon rar, se sa ki, kote yon nimewo relativman ti a newòn yo ansanm aktif. Vreman vre, modèl diferan nan kod flò makonnen ak aprann Hebbian ak omeyostazi yo te pwopoze ke avèk siksè matche ak repons lan obsève emèrjant. Men, wòl la espesifik nan omeyostazi nan aprantisaj tankou reprezantasyon flò se toujou lajman enkoni. By kantitativman evalye efikasite nan reprezantasyon an neral pandan aprann, nou dériver yon mekanis omeyostazi koperativ ki parfètman Melody konpetisyon ki genyen ant newòn nan algorithm la flò kod. Nou aplike sa a pandan y ap aprann omeyostazi plak ti pran nan men imaj natirèl yo pou li konpare efikasite li yo ak eta-of-atizay la algoritm. Rezilta yo fè montre ke pandan y ap diferan flò kod algoritm bay menm jan kod rezilta, omeyostazi a bay yon balans optimal pou reprezantasyon an nan imaj natirèl nan popilasyon an nan newòn. Se Konpetisyon nan kod flò optimised lè li se jis: Pa kontribiye nan optimize statistik konpetisyon atravè newòn, omeyostazi enpòtan nan bay yon solisyon pi efikas nan Aparisyon nan konpozan endepandan},.
Annote = {Posted Online, 17 Mas, 2010.},
}
 |
| Figi 1:. Senp modèl neral nan kod flò ak wòl omeyostazi (agòch). Nou defini modèl la kod kòm yon kanal enfòmasyon konstitye pa yon pake nan lineyè / ki pa Peye-lineyè newòn spiking (L) Yon opinyon yo bay plak imaj kode linear lè l sèvi avèk diksyonè a filtè e transfòme nan kod flò (tankou Matching Batay) nan yon vektè rar. Chak koyefisyan transfòme nan yon koyefisyan kondwi nan (NL) kouch a lè l sèvi avèk yon pwen ki pa Peye-linear ki kondui (S) yon mekanis jenerik spiking. (D) Sou fen nan reseptè (pou egzanp nan yon newòn eferan), yon moun pouvwa Lè sa a, estimasyon konsèy ki soti bò modèl la reprezantasyon neral. Sa a Decoder se pwogresis, epi si nou sipoze ke chak Spike pote yon kantite lajan bòne nan enfòmasyon, pri reprezantasyon nan modèl sa a ogmante Prorate ak kantite newòn aktive.(adwat) Sepandan, pou yon diksyonè bay yo, distribisyon an nan Koefisyan flò yo e pakonsekan pwobabilite pou deklanchman yon newòn ki sanble a se an jeneral pa inifòm. Nou montre (Lower panel) fonksyon an distribisyon louvri sesyon-pwobabilite ak (Upper panèl) distribisyon an kimilatif laj moun ki Koefisyan rar pou yon diksyonè nan kwen-tankou filtè ak selectif menm jan (pwentiye an gaye) eksepte pou yon sèl filtre ki te randomized (kontinyèl liy). Sa a montre yon sitiyasyon tipik ki fèt pandan pouvwa aprann lè kèk eleman t 'aprann mwens pase lòt moun yo: Depi aktivite yo pral pi ba yo, yo yo gen mwens chans yo dwe aktive nan mekanis a spiking ak nan règ la Hebbian yo, yo yo gen mwens chans yo aprann. Lè chwazi yon mete flò optimal pou yon opinyon bay yo, olye pou yo konpare Koefisyan flò ak respè nan yon papòt (vètikal an tirè liy), li ta dwe kapab fè olye sou valè siyifikasyon z_i a (orizontal an tirè liy): Nan ka sa a an patikilye, mwens la selektif newòn (a_1 <a_2) se chwazi pa koperasyon nan omeostatik (z_1> z_2). Wòl nan omeyostazi pandan aprann se ke, menm si diksyonè a filtè se pa omojèn, pwen an ki pa Peye-linear nan (NL) modifier flò kod nan (L) tankou sa yo ki pwobabilite pou deklanchman yon newòn ki sanble a se inifòm atravè popilasyon an. |
|
 |
| Figi 2:. Konparezon nan diksyonè yo jwenn ak SparseNet ak aSSC Nou montre rezilta yo nan aprantisaj flò Hebbian lè l sèvi avèk de diferan flò kod algoritm nan dirèksyon (20000 aprann etap): (agòch) konjige gradyan fonksyon (CGF) metòd yo itilize nan kòm SparseNet (Olshausen, 1998) ak (adwat) Comp jan li parèt nan aSSC. Filtè ki gen yon gwosè a menm jan ak plak yo imaj yo prezante nan yon matris (ki separe pa yon fwontyè nwa). Remake byen ke pozisyon yo nan matris la se fos tankou nan il. |
|
 |
| Figi 3: Coding efikasite nan SparseNet kont aSSC. Nou evalye kalite nan tou de rapid aprann lè w konpare kod efikasite nan algoritm respektif yo kod, se sa ki CGF ak Comp, ak diksyonè a respektif li te aprann (al gade Fig 1.). (Left) Nou montre fonksyon an distribisyon pwobabilite Koefisyan flò jwenn nan tou de metòd ak diksyonè o aza (respektivman 'SN-ini' ak 'aSSC-ini') epi ak diksyonè yo jwenn li apre yo dirèksyon rapid aprann respektif (respektivman 'SN' ak 'aSSC '). Nan dirèksyon, Koefisyan flò yo gen plis fèbleman distribiye pase okòmansman, ki gen plis fonksyon kurtotic distribisyon pwobabilite pou aSSC nan tou de ka yo. (adwat) Nou trase mwayèn erè a rezidyèl (L_2 dwòl) kòm yon fonksyon ki gen nimewo ki gen rapò ak aktif (ki pa zero-) Koefisyan. Sa a bay yon mezi efikasite nan kod pou chak diksyonè sou mete nan plak imaj (ba erè yo se pwopòsyonèl nan yon sèl devyasyon estanda). Nòmal la L_0 ki egal a etap la kod nan comp.Pi bon rezilta moun sa yo ki bay yon erè ki pi ba pou yon sparsity bay (pi bon konpresyon) oswa yon klèrseme pi ba pou erè a menm (razwa Occam a). Nou obsève menm jan kod rezilta yo nan aSSC malgre ki pa Peye-paramètrik definisyon li yo. Sa a se verite tou rezilta lè w ap itilize de diksyonè yo diferan ak menm algorithm la OOMP flò kod: diksyonè yo toujou gen menm efikasite kod. |
|
 |
| Figi 4:. omeyostazi Koperatif aplike kantizasyon efikas (agòch) Lè oblije chanje nan omeyostazi an kolaborasyon pandan aprann, algorithm ki koresponn lan rar Aprantisaj Hebbian, Adaptatif Batay Matching (HCV), tan nan yon seri filtè ki gen kèk filtè mwens lokalize ak kèk segondè -frekans Gabor fonksyon ki koresponn ak plis karakteristik "tèkstural" (Perrinet, 2003).One pouvwa mande si sa yo filtè yo se rezèvwa e kaptire bri oswa si yo olye koresponn ak karakteristik endepandan nan imaj natirèl nan modèl la LGM. (Dwa, INSET) An reyalite, lè trase rezidyèl enèji kòm yon fonksyon nan L_0 klèrseme dwòl ak algoritm la MP (jan sa trase nan Fig. 3, Dwa), diksyonè a AMP bay yon rezilta yon ti kras pi mal pase aSSC. (adwat) Anplis, yon sèl ta dwe konsidere kòm efikasite reprezantasyon an jeneral kod la ak algoritm Decoder. Nou konpare efikasite la pou sa yo mèsi diksyonè metòd menm kod (SSC) epi menm Decoder metòd la (lè l sèvi avèk ran kantifye Koefisyan). Longè Reprezantasyon pou metòd sa a se Decoder pwopòsyonèl nòmal la L_0 ak LAMBDA louvri sesyon = (M) / L ~ 0,032 pou chak Bits koyefisyan ak pou chak piksèl jan sa defini nan nimerik. 1 (al gade tèks). Nou obsève ki diksyonè a te jwenn nan aSSC se pi plis efikas pase yon sèl la jwenn nan AMP pandan y ap diksyonè a jwenn ak SparseNet (SN) bay yon rezilta mèsi entèmedyè omeyostazi an jewometrik: Entwodwi koperativ omeyostazi globalman amelyore reprezantasyon neral. |
|
@ Atik {Olshausen98,
Author = {Olshausen, Bruno A. ak Field, David, J.},
Journal = {{Vizyon R}} esearch,
Paj = {3311 - 25},
Title = {{flò C} oding ak yon {O} vercomplete {B} asis {S} et:? {Yon} {S} trategy {E} mployed pa {{V 1}}},
Volim = {37},
Ane = {1998}}
@ Atik {Laughlin81,
Author = {Laughlin, Simon, B.},
Journal = {{Zeitung f \ "u r} {N}} aturforschung,
Nimewo = {36},
Paj = {910 - 2},
Title = {Yon senp pwosedi kod amelyore kapasite enfòmasyon yon newòn ki sanble a},
Volim = {9 - 10},
Ane = {1981}}
@ Liv {Hebb49,
Adrès = {New York},
Author = {Hebb, Donald O.},
Editè = {Wiley},
Title = {òganizasyon an ki nan konpòtman: {Yon}} neropsikolojik teyori,
Ane = {1949}}
Tout materyèl (c) L. Perrinet. Tanpri tcheke avi a copyright.
| Sa a te travay ki te sipòte pa pwojè Ewopeyen entegre FP6-015879, "aspè ladann". |
TagFacets TagYear10 TagPublicationsArticles TagSparse
