т и ч е с к и х с в я з е й . П о э т о м у , з а д а в о п р е д е л е н н у ю с т р у к т у р у с е -
т и , н е о б х о д и м о н а й т и о п т и м а л ь н ы е з н а ч е н и я в с е х п е р е м е н -
н ы х в е с о в ы х к о э ф ф и ц и е н т о в , т а к и х к а к с и н а п т и ч е с к и е с в я з и ,
п а р а м е т р ы а к т и в а ц и о н н о й ф у н к ц и и и н е к о т о р ы е д р у г и е .
Э т о т э т а п н а з ы в а е т с я
обучением н е й р о н н о й с е т и .
Н е б у д е м р а с с м а т р и в а т ь м а т е м а т и ч е с к у ю п о с т а н о в к у и
р е ш е н и е з а д а ч и о б у ч е н и я И Н С . З а м е т и м т о л ь к о , ч т о ч а щ е
в с е г о э т о с в я з а н о с р е ш е н и е м д и ф ф е р е н ц и а л ь н ы х у р а в н е -
н и й п е р в о й с т е п е н и и п о и с к о м м и н и м у м а ф у н к ц и и о ш и б к и ,
к о т о р а я к а к б ы о п и с ы в а е т з а к о н и з м е н е н и я о ш
и б о к , в ы д а -
в а е м ы х с е т ь ю , и з а в и с и т о т с в о й с т в с е т и и т е х э л е м е н т о в , и з
к о т о р ы х о н а с о б р а н а . В л и т е р а т у р е о п и с а н ы н а и б о л е е р а с -
п р о с т р а н е н н ы е
а л г о р и т м ы
о б у ч е н и я
н е й р о н н ы х с е т е й ,
а
в
[ 6 ] д а ж е п р и в е д е н л и с т и н г р е а л и з о в а н н о й п р о г р а м м ы .
Д а в а й т е с н а ч а л а р а с с м о т р и м м е т о д ы р е ш е н и я з а д а ч и о б у -
ч е н и я И Н С .
П р и э т о м н е о б х о д и м о у ч е с т ь , ч т о о б у ч е н и е И Н С с о с т о и т
в
п о и с к е т а к о й ф у н к ц и и , о п и с ы в а ю щ е й
И Н С , д л я
к о т о р о й
ф у н к ц и я о ш и б к и о п т и м а л ь н а ( п р и н и м а е т н а и м е н ь ш е е з н а ч е -
н и е ) . Р е ш е н и е э т о й з а д а ч и т р е б у е т д л и т е л ь н ы х в ы ч и с л е н и й и
п р е д с т а в л я е т с о б о й и т е р а ц и о н н у ю п р о ц е д у р у . Ч и с л о и т е р а -
ц и й м о ж е т с о с т а в л я т ь о т
1 0 3 д о
1 0 8 . Н а к а ж д о й и т е р а ц и и
д о л ж н о п р о и с х о д и т ь у м е н ь ш е н и е ф у н к ц и и о ш и б к и .
Ф у н к ц и я о ш и б к и м о ж е т и м е т ь п р о и з в о л ь н ы й в и д . Е с л и в ы -
б р а н о м н о ж е с т в о о б у ч а ю щ и х п р и м е р о в и с п о с о б в ы ч и с л е -
н и я ф у н к ц и и о ш и б к и , о б у ч е н и е н е й р о н н о й с е т и п р е в р а щ
а -
е т с я в з а д а ч у м н о г о м е р н о й о п т и м и з а ц и и , д л я р е ш е н и я к о т о -
р о й м о г у т б ы т ь и с п о л ь з о в а н ы с л е д у ю щ и е м е т о д ы :
*4 л о к а л ь н о й о п т и м и з а ц и и с в ы ч и с л е н и е м ч а с т н ы х п р о и з -
в о д н ы х п е р в о г о п о р я д к а ;
л о к а л ь н о й о п т и м и з а ц и и с в ы ч и с л е н и е м ч а с т н ы х п р о и з -
в о д н ы х п е р в о г о и в т о р о г о п о р я д к а ;
^ с т о х а с т и ч е с к о й о п т и м и з а ц и и ;
^ г л о б а л ь н о й о п т и м и з а ц и и .
К п е р в о й г р у п п е о т н о с я т с я :
г р а д и е н т н ы й м е т о д ( н а и с к о -
р е й ш е г о с п у с к а ) ; м е т о д ы с о д н о м е р н о й и д в у м е р н о й о п т и -
м и з а ц и е й
ц е л е в о й
ф у н к ц и и
в
н а п р а в л е н и и а н т и г р а д и е н т а ;
м е т о д с о п р я ж е н н ы х г р а д и е н т о в ; м е т о д ы , у ч и т ы в а ю щ и е н а -
п р а в л е н и е а н т и г р а д и е н т а н а н е с к о л ь к и х ш а г а х а л г о р и т м а .
К о в т о р о й г р у п п е о т н о с я т с я : м е т о д Н ь ю т о н а , м е т о д ы о п -
т и м и з а ц и и с р а з р е ж е н н ы м и м а т р и ц а м и
Г е с с е , к в а з и н ы о т о -
н о в с к и е м е т о д ы , м е т о д Г а у с с а - Н ь ю т о н а , м е т о д Л е в е н б е р г а -
М
а р к а р д т а .
С т о х а с т и ч е с к и м и м е т о д а м и я в л я ю т с я : п о и с к в с л у ч а й н о м
н а п р а в л е н и и
и
и м и т а ц и я
о т ж и г а , м е т о д М
о н т е - К а р л о ( ч и с -
л е н н ы й м е т о д с т а т и с т и ч е с к и х и с п ы т а н и й ) , м е т о д г е н е т и ч е с к и х
а л г о р и т м о в .
В а р и а н т о м р е ш е н и я п р о б л е м ы о б у ч е н и я м о ж е т б ы т ь р а з -
р а б о т к а н а б о р о в в ы х о д н ы х с и г н а л о в , с о о т в е т с т в у ю щ и х в х о д -
н ы м , д л я к а ж д о г о с л о я н е й р о н н о й с е т и , ч т о , к о н е ч н о , я в л я -
е т с я о ч е н ь т р у д о е м к о й о п е р а ц и е й и н е в с е г д а о с у щ е с т в и м о .
В т о р о й в а р и а н т — э т о д и н а м и ч е с к а я п о д с т р о й к а в е с о в ы х
к о э ф ф и ц и е н т о в с и н а п с о в , в х о д е к о т о р о й в ы б и р а ю т с я , к а к
п р а в и л о , н а и б о л е е с л а б ы е с в я з и и и з м е н я ю т с я н а м а л у ю в е -
л и ч и н у в т у и л и и н у ю с т о р о н у , а с о х р а н я ю т с я т о л ь к о т е и з -
м е н е н и я , к о т о р ы е п о в л е к л и у м е н ь ш е н и е о ш и б к и н а в ы х о д е
в с е й с е т и . О ч е в и д н о , ч т о д а н н ы й « м е т о д т ы к а » , н е с м о т р я н а
с в о ю к а ж у щ у ю с я п р о с т о т у , т р е б у е т г р о м о з д к и х р у т и н н ы х в ы -
ч и с л е н и й .
И ,
н а к о н е ц , т р е т и й ,
н а и б о л е е
п р и е м л е м ы й
в а р и а н т , —
р а с п р о с т р а н е н и е с и г н а л о в о ш и б к и о т в ы х о д о в И Н С к е е в х о -
д а м в
н а п р а в л е н и и ,
о б р а т н о м п р я м о м у р а с п р о с т р а н е н и ю
с и г н а л о в в о б ы ч н о м р е ж и м е р а б о т ы . Т . е . с н а ч а л а п о д а е т с я
о б у ч а ю щ и й п р и м е р в с е т ь , п р о и с х о д и т п о д с ч е т в ы х о д а с е т и ,
п о с л е ч е г о в е с а в с е т и к о р р е к т и р у ю т с я т а к и м о б р а з о м , ч т о -
б ы в ы х о д с е т и с о в п а д а л с т р е б у е м ы м з н а ч е н и е м .
Э т о т а л г о р и т м о б у ч е н и я И Н С п о л у ч и л н а з в а н и е
процеду-
ры обратного распространения. Р а с с м о т р и м н а е г о о с н о в е
п о д х о д к р е ш е н и ю з а д а ч и о б у ч е н и я И Н С .
Н а
рисунке 6
п р е д с т а в л е н а с т р у к т у р а а л г о р и т м а о б р а т -
н о г о р а с п р о с т р а н е н и я о ш и б к и . Р а с с м о т р и м е е .
Н а
н а ч а л ь н о м э т а п е с ч и т а ю т с я
з а д а н н ы м и
о б у ч а ю щ
и е
п р и м е р ы и с о о т в е т с т в у ю щ и е о т к л и к и И Н С н а к а ж д ы й и з о б у -
ч а ю щ и х п р и м е р о в .
П р о ц е д у р а о т б о р а о б у ч а ю щ и х п р и м е р о в с л у ч а й н ы м о б -
р а з о м о т б и р а е т о д и н и з п р и м е р о в и п о д а е т е г о н а в х о д о б у -
ч а е м о й с е т и . Д а л е е с и г н а л ы о т в х о д а р а с п р о с т р а н я ю т с я п о
с е т и и п о п а д а ю т н а в ы х о д . П о с л е э т о г о п р о и с х о д и т с р а в н е -
н и е р е а л ь н о г о в ы х о д н о г о о т к л и к а с е т и с т р е б у е м ы м о т к л и -
к о м н а д а н н ы й о б у ч а ю щ и й п р и м е р .
Е с л и р а з н и ц а м е ж д у п о л у ч е н н ы м и т р е б у е м ы м в ы х о д н ы м
с и г н а л о м н е п р е в ы ш а е т з а р а н е е о п р е д е л е н н ы й п о р о г т о ч -
н о с т и о б у ч е н и я , т о с ч и т а е т с я , ч т о с е т ь о б у ч е н а п р а в и л ь н о ,
и б е р е т с я д р у г о й п р и м е р и з о б у ч а ю щ е й в ы б о р к и .
Е с л и ж е р а з н и ц а в е л и к а , т о г д а п р о и с х о д и т п е р е х о д к п р о -
ц е д у р е к о р р е к ц и и в е с о в И Н С .
В е с а с е т и п р и э т о м к о р р е к т и р у ю т с я т а к и м о б р а з а м , ч т о -
б ы в ы х о д н о й с и г н а л , п о л у ч а е м ы й н а в ы х о д е с е т и п о с л е п о д а -
ч и о б у ч а ю щ е г о п р и м е р а , с о в п а д а л с т р е б у е м ы м ( п р и п о г р е ш -
н о с т и н е б о л е е з а д а н н о й ) . П р и э т о м к о р р е к ц и я в е с о в с и н а п -
с о в п р о и с х о д и т п о н а п р а в л е н и ю о т в ы х о д а И Н С к е е в х о д у ,
т . е . о б р а т н о н а п р а в л е н и ю р а с п р о с т р а н е н и я с и г н а л а в с е т и .
П р о ц е д у р а о б у ч е н и я п р о в е р я е т в с е п р и м е р ы и з о б у ч а ю -
щ е й в ы б о р к и . З н а ч е н и я о ш
и б о к с е т и н а к а ж д ы й и з о б у ч а ю -
щ и х п р и м е р о в с у м м и р у ю т с я , и п о с л е э т о г о п р о в е р я е т с я , у д о в -
л е т в о р я е т с у м м а р н ы й у р о в е н ь о ш и б к и с е т и з а р а н е е з а д а н -
н о м у з н а ч е н и ю ( з а д а е т с я о б ы ч н о н а у р о в н е 0 . 0 2 и л и 0 . 0 1 )
и л и н е т . Е с л и у д о в л е т в о р я е т , т о э т о о з н а ч а е т , ч т о с е т ь о б у -
ч е н а , и м о ж н о з а в е р ш и т ь п р о ц е д у р у о б у ч е н и я . Е с л и ж е у с -
л о в и е н е в ы п о л н е н о , т о п о в т о р я ю т п р о ц е д у р у о б у ч е н и я д о
т е х п о р , п о к а л и б о с е т ь о б у ч и т с я , л и б о б у д е т п о к а з а н о , ч т о
э т о н е в о з м о ж н о .
Т е п е р ь к о с н е м с я в о п р о с а е м к о с т и И Н С , т о е с т ь ч и с л а о б -
р а з о в , п р е д ъ я в л я е м ы х н а е е в х о д ы , к о т о р ы е о н а с п о с о б н а
н а у ч и т ь с я р а с п о з н а в а т ь . Д л я с е т е й с ч и с л о м с л о е в б о л ь ш е
д в у х в о п р о с о с т а е т с я о т к р ы т ы м .
К а к п о к а з а н о в [ 1 ] , д л я И Н С с д в у м я с л о я м и , т о е с т ь в ы х о д -
н ы м и о д н и м с к р ы т ы м с л о е м , е м к о с т ь с е т и С с 1 о ц е н и в а е т с я т а к :
Ы
г « / Н у < С с 1 < Ы
» т / Н у Ч 1 о д ( Ы
ю
/ И у )
г д е N
1
* — ч и с л о п о д с т р а и в а е м ы х в е с о в , Ы у — ч и с л о н е й р о -
н о в в в ы х о д н о м с л о е .
Ьк
Окончание на стр. 43
№ 7/334 14 февраля-21 февраля 2005
предыдущая страница 38 Мой Компьютер 2005 07 читать онлайн следующая страница 40 Мой Компьютер 2005 07 читать онлайн Домой Выключить/включить текст