Արհեստական նեյրոնային ցանց

Պարզ նեյրոնային ցանցի սխեմա:Կանաչ գույնով նշանակված են մուտքային նեյրոնները , երկնագույնով` թաքնված նեյրոնները, դեղինով`  ելքային նեյրոնը

Արհեստական նեյրոնային ցանցեր (ԱՆՑ), մաթեմատիկական մոդելներ, ինչպես նաև նրանց ծրագրային կամ սարքային իրականացումներ, որոնք կառուցված են բիոլոգիական նեյրոնային ցանցերի - ցանցեր կենդանի օրգանիզմի նեյրոնային բջիջներից կազակերպական կամ ֆունկցիայավորման սկզբունքով։ Այդ հասկացությունը առաջացել է գլխուղեղ-ում առաջացող պրոցեսների ուսումնասիրման և այդ պրոցեսների մոդելավորման փորձերի արդյունքում։ Այդպիսի առաջին փորձը Մակկալոկիև Պիթսի նեյրոնային ցանցերն էին . Հետագայում, ուսուցողական ալգորիթմների մշակումից հետո , ստացված մոդելները սկսեցին կիրառել պրակտիկ նպատակներով ` կանխատեսման խնդիրներում, կերպարների չանաչման համար, կառավարման խնդիրներում և այլն :

ԱՆՑ-ն իրենից ներկայացնում է փոխկապված և փոխհամագործակցող (արհեստական նեյրոնների) պարզ պրոցեսորների համակարգ:Այդպիսի պրոցեսորները սովորաբար բավականին պարզ են , հատկապես , համեմատած անձնական համակարգիչներում կիրառվող պրոցեսորների հետ : Նմանատիպ ցանցի յուրաքանչյուր պրոցեսոր գործ ունի միայն ազդանշանների հետ, որոնք պարբերականորեն ստանում է և ազդանշանների, որոնք պարբերաբար ուղարկում է այլ պրոցեսորների : Այնուամենայնիվ, այդպիսի լոկալ պարզ պրոցեսորները միասին ընդունակ են կատարելու բավականին բարդ խնդիրներ :

Մեքենայական ուսուցման տեսանկյունից նեյրոնային ցանցը իրենից ներկայացնում է կերպարների ճանաչման , դիսկրիմինանտ վերլուծության, կլաստերիզացիայի մեթոդի և նմանատիպ այլ մեթոդների մասնավոր դեպք: մաթեմատիկական տեսանկյունից , նեյրոնային ցանցերի ուսուցումը ոչ գծային օպտիմալացման բազմապարամետրական խնդիր է: կիբերնետիկայի տեսանկյունից նեյրոնային ցանցը կիրառվում է ադապտիվ կառավարման խնդիրներում և որպես ալգորիթմներ ռոբոտատեխնիկայի համար: Հաշվողական տեխնիկայի և ծրագրավորման զարգացման տեսակյունից նեյրոնային ցանցը արդյունավետ պարալելիզմի խնդիրների լուծման միջոց է : Արհեստական ինտելեկտի տեսանկյունից ԱՆՑ-ն հանդիսանում է կոննեկտիվիզմի հոսքի փիլիսոփայական հիմքը և կառուցվածքային մոտեցման հիմնական ուղղությունը համակարգչային ալգորիթմների միջոցով (մոդելավորում) բնական ինտելեկտի կառուցման հնարավորթւյունների ուսումնասիրումը:

Նեյրոնային ցանցերը չեն ծրագրավորվում բառից բուն իմաստով , դրանք ուսուցանվում են. Ուսուցանելու հնարավորությունը նեյրոնային ցանցերի գլխավոր առանձնահատկություններից է ավանդական ալգորիթմների առջև: Տեխնիկապես ուսուցումը կայանում է նեյրոնների միջև կապերի գործակիցների առկայությամբ: Ուսուցման պրոցեսում նեյրոնային ցանցը ունակ է հայտնաբերել մուտքյին և ելքային տվյալների միջև բարդ կախվածություններ, ինչպես նաև կատարել ընդհանրացում: Դա նշանակում է , որ հաջող ուսուցման դեպքում ցանցը կարող է վերադարձնել ճիշտ արդյունք այն տվյալների հիման վրա, որոնք բացակայում էին ուսուցողական ընտրանքում , ինչպես նաև ոչ լիարժեք և/կամ «աղմկոտ», մասամբ աղավաղված տվյալների հիման վրա։

Ժամանակագրություն

• 1943 - Ու. Մակկալոկը և Ու. Պիտսը ձևավորում են նեյրոնային ցանցի հասկացությունը նյարդային ակտիվության և գաղափարների տրամաբանական հաշվարկի վերաբերյալ հիմքային հոդվածում .
• 1948 - Նորբերտ Վիները գործընկերների հետ միասին հրատարակեցին կիբերնետիկայի մասին աշխատանքը։ Հիմնական գաղափարը հանդիսանում է մաթեմատիկական մոդելների միջոցով բարդ բիոլոգիական պրոցեսների ներկայացումը։
• 1949 - Դ. Խեբբը առաջարկում է ուսուցման առաջին ալգորիթը։
• 1958 Ֆ. Ռոզենբատտը ստեղծում է միաշերտ Պերսեպտրոն։ Պերցեպտրոնը ոընի որոշակի առանձնահատկություն ` այն կիրառում է կերպարների ճանաչման , եղանակի կանխատեսման և այլ խնդիրներում : Թվում էր, թե ամբողջական արհեստական ինտելեկտի կառուցումը այլևս սարերի ետևում չէ: Մակկալոկը և նրա հետնորդները դուրս եկան «Կիբերնետիկական ակումբից»։
• 1960 թ.-ին Կաղապար:TranslationՈւիդրոուն իր ուսանող Խոֆֆոմի հետ համատեղ դելտա-կանոնի հիման վրա (Ուիդրոուի բանաձևեր) մշակեցին Ադալինը , որը անմիջապես սկսեց կիրառվել կանխատեսման և արդյունավետ կառավարման խնդիրներում։ Ադալինը կառուցվել էր նրանց (Ուիդրոու - Խոֆֆոմ) իսկ կողմից արդեն ստեղծված սկուզբունքորեն նոր էլեմենտների բազայի հիման վրա` մեմիստորի հիման վրա . Այժմ Ադալինը հանդիսանում է ազդանշանների մշակման բազմաթիվ համակարգերի ստանդարտ էլեմենտը։
• 1963 թ.-ին АН СССР Ինֆորմացիայի փոխանցման խնդիրների ինստիտուտում Ա. Պ. Պետրովի կողմից կատարվում է պերցեպտրոնի համար «բարդ» խնդիրների մանրակրկիտ ուսումնասիրություն . ԱՆՑ մոդելավորման ոլորտում այդ պիոներական աշխատանքը ԽՍՀՄ-ում ծառայեց որպես Մ. Մ. Բոնգարդի համար նոր գաղափարների կոմպլեքսի աղբյուր , որպես «պերցեպտրոնի ալգորիթմի փոքր համեմատական ձևափոխություն թերությունները ուղղելու համար  : Ա. Պետրովի և Մ. Մ. Բոնգարդի աշխատանքները նպաստեցին , որ ԽՍՀՄ-ում ԱՆՑ վերաբերյալ առաջին էյֆորիայի ալիքը հարթվի :
• 1969 թ.-ին Մ. Մինսկին հրապարակում է պերցեպտրոնի սահմանափակության փաստերը և ցույց է տալիս , որ այն ունակ չէ լուծելու մի շարք խնդիրներ ("Ազնվության" և "միայնակ բլոկում" խնդիրներ)` կապված ներկայացումների այլաձևության հետ։ Նեյրոնային ցանցերի նկատմամբ հետքրքրությունը կտրուկ ընկնում է։
• 1973 թ;-ին Վ. Վ. Խակիոմովը առաջարկում է սպլայների հիման վրա սինապսներով ոչ գծային մոդել և ներդնում է այն բժշկության, էկոլոգիայի, երկրաբանության խնդիրների լուծման համար։ Խակիմով Վ. Վ. Սպլայներով կոռելյացիոն կախվածությունների մոդելավորում երկրաբանության և էկոլոգիայի օրինակներով . — Մ.: «ՄՊՀ»: «Նևա»,2003, 144 էջ.
• 1974 — Պոլ Ջ. Վերբոսը և Ա. Ի. Գալուշկինը միաժամանակ ստեղծում են սխալների հետադարձ տարածման ալգորիթը բազմաշերտ պերցեպտրոնների ուսումնասիրման համար : Հայտնագործությունը առանձնապես ուշադրության չի արժանանում:
• 1975 — ֆուկսիման իրենից ներկայացնում է Կոգնիտրոն` ինքնաձևավորվող ցանց ` նախատեսված այլընտրանքային կերպարների ճանաչման համար , սակայն դա հասանելի է փաստացիորեն կերպարների բոլոր վիճակների հիշման պարագայում :
• 1982 — մոռացության էտապից հետո նեյրոնային ցանցերի նկատմամբ հետքրքրությունը կրկին աճում է : Ջ. Խոպֆիլդը (en:John Joseph Hopfield) ցույց տվեց , որ հետադարձ կապերով նեյրոնային ցանցը կարող է իրենից ներկայացնել համակրգ, որը նվազեցնում է էներգիան (այսպես կոչված Խոպֆիլդի ցանց) : Կոխոնենի կողմից ներկայացված են անցերի մոդելներ , որոնք ուսուցանվում են առանց ուսուցչի (Կոխոնենի նեյրոնային ցանց)և լուծում են կլաստերիզացիայի խնդիրներ,տվյալների վիզուալիզացիա (Կոխոնենի ինքնակազմակերպվող քարտ)և տվյալների վերլուծության այլ խնդիրներ :
• 1986 — Դովիդ Ի. Ռումելխարտի, Ջ. Ե. Խինտոնի և Ռոնալդ Ջ. Վիլյամսի ևիրարից անկախ ու միաժամանակ Ս. Ի. Բարցևի և Վ. Ա. Օխոնինի կողմից (Կրասնոյարսկյան խումբ) մշակվել և զարգացել է սխալների հետադարձ տարածման մեթոդը. Սկսվեց ուսուցանվող նեյրոնային ցանցերի նկատմամբ հետաքրքրությունը:

Հայտնի կիրառություններ

Կերպարների ճանաչում և դասակարգում

Որպես կերպարներ կարող են հանդես գալ տարբեր օբյեկտներ ` տեքստի սիմվոլներ , պատկերներ , երաժշտության օրինակներ և այլն : Ուսուցման ժամանակ ցանցին առաջարկվում են կերպարների տարբեր օրինակներ ` նշելով , թե որ դասին է այն պատկանում : Օրինակը, որպես կանոն, ներկայացվում է որպես արժեքների նախանշանների վեկտոր : Այդ դեպքում բոլոր նախանշանների ամբողջությունը պետք է միանշանակ որոշի դասը, որին վերաբերում է օրինակը : Եթե նախանշանները բավարար չեն, ցանցը կարող է միևնույն կերպարը վերագրել մի քանի դասերի, ինչը հավանաբար  : Ցանցերի ուսուցման ավարտին նրանց կարելի է ներկայացնել անհայտ վաղեմի կերպարներ և ստանալ որոշակի դասին պատկանելության վերաբերյալ պատասխան :

Նման ցանցի տրամաբանությունը բնութագրվում է նրանով, որ ելքային շերտում նեյրոնների քքնակը , որպես կանոն, հավասար է որոշվող դասերի քանակին : Այդ դեպքում նեյրոնային ցանցի ելքի և դասի միջև հաստատվում է համապատասխանություն, որն այն ներկայացնում է : Երբ ցանցին ներկայացվում է որոշակի կերպար, ելքերից մեկում պետք է հայտնվի այն բանի նախանշանը, որ կերպարը պատկանում է այդ դասին : Միևնույն ժամանակ այլ ելքերում պետք է լինի այն բանի նախանշանը, որ կերպարը տվյալ դասին չի պատկանում : Եթե երկու կամ ավելի ելքերում առկա է դասին պատկանելիության նախանշան, ապա համարվում է , որ ցանցը «վստահ չէ» իր պատասխանում :

Որոշումների ընդունում և կառավարում

Այս խնդիրը մոտ է դասակարգման խնդրին: Դասակարգումը ենթակա է իրավիճակին,որի բնութագրերը մուտքգրվում են նեյրոնային ցանցի մուտքում : Ցանցի ելքում պետք է այդ պարագայում հայտնվի լուծման կանխատեսումը, որը ցանցը ընդունել է : Այդ պարագայում որպես մուտքային ազդանշաներ կիրառվում են կառավարվող համակարգի վիճակը բնութագրող տարբեր չափանիշներ .

Կլաստերիզացիա

Կլաստերիզացիայի ներքո հասկացվում է բազմաթիվ մուտքային ազդանշանների բաժանումը դասերի, ընդ որում այնպես, որ ոչ քանակը և ոչ էլ դասերի նախանշանները նախապես հայտնի չեն : Ուսումնասիրումից հետո նման ցանցը կարող է որոշել , թե որ դասին է պատկանում մուտքային ազդանշանը : Ցանցը կարո է ազդանշան տալ նաև այն մասին, որ մուտքային ազանշանը չի պատկանում առանձնացված դասերից և ոչ մեկին, ինչն էլ հանդիսանում է նոր, ուսուցանվող ընտրանքում բացակայող տվյալների նախանշանը : Այդ պարագայում, նման ցանցը կարող է առաջացնել նոր, նախկինում անհայտ ազդանշանների դասեր  : Դասերի միջև դասերի և ցանցի կողմից առանձնացված, առարկայական տիրույթում գոյություն ունեցող համապատասխանությունը հաստատվւոմ է մարդու կողմից : Կլաստերիզացիան իրականացնում են օրինակ ՝ Կոխոնենի նեյրոնային ցանցը:

Նեյրոնային ցանցերը Կոխոնենի պարզ տարբերակում չեն կարող մեծ լինել, այդ իսկ պատճառով էլ դրանք բաժանում են հիպերշերտերի (հիպերսյունակների) և միջուկի (միկրոսյուների):Եթե համեմատել մարդու ուղեղի հետ, ապա զուգահեռ շերտերի իդեալական քանակը չպետք է գերազանցի 112-ը: Այդ շերտերը իրենց հերթին կազմում են հիպերշերտեր (հիպերսյունակ), որոնցում առկա է 500 -ից 2000 միկրոսյունակ (միջուկ): Այդ պարագայում յուրաքանչյուր շերտ բաժանվում է բազմաթիվ հիպերսյունակների, որոնք ներտափանցում են շերտերի մեջ : Միկրոսյունակները կոդավորվում են թվերով և միավորներով ,որոնք ելքում որպես արդյունք են ստացվում : Եթե անհրաժեշտ է , ապա ավելորդ շերտերը կամ նեյրոնները հեռացվում են կամ ավելացվում: Նեյրոնների կամ շերտերի քանակի որոշման համար իդեալական է սուպերհամակարգիչների կիրառումը : Այդպիսի համակարգը թույլ է տալիս , որ նեյրոնային ցանցերը լինեն ճկուն :

Կանխատեսում

Նեյրոնային ցանցերի կանխատեսման հնարավորությունները ողղակիորեն հետևում են նրա ելքային և մուտքային տվյալների միջև թաքնված կախվածությունների ընդհանրացման և առանձնացման հնարավորություններից : Ուսուցումից հետո ցանցը ունակ է գուշակելու որոշակի գործունեության ապագա սպասվող արժեքը ` մի քանի նախկին արժեքների հիման վրա և/կամ ներկա պարագայում գոյություն ունեցող մի քանի փաստերի հիման վրա : Պետք է նշել, որ կանխատեսումը հնարավոր է միայն այն դեպքում, երբ " նախկին փոփոխությունները ինչ-որ մակարդակում որոշում են ապագան " : Օրինակ, բաժնետոմսերի գների կանխատեսումը նախորդ շաբաթվա համեմատ կարող է հաջող հանդիսանալ ( կարող է նաև անհաջող լինել ) , այն դեպքում, երբ վաղվա խաղատոմսի արդյունքների կանխատեսումը վերջին 50 տարվա արդյունքների հիման վրա հավանաբար ոչ մի արդյունք չի տա :

Ապրոկսիմացիա

Նեյրոնային ցանցերը կարող են ապրոկսիմացնել անընդհատ ֆունկցիաներ : Ապացուցված է ընդհանրացված ապրոկսիմացիոն թեորեմը: շնորհիվ գծային օպերցիաների և կասկադային կապերի ՝ կարելի է սկզբնական ոչ գծային էլեմենտներից ստանալ սարք, որը հաշվում է ցանկացած անընդհատ ֆունկցիա սկզբնապես տրված որոշակի ճշտությամբ: Դա նշանակում է , որ նեյրոնի ոչ գծային բնութագիրը կարող է լինել կամայական ՝ սիգմոդիայինից մինչև կամայական փաթեթ կամ վեյվլետ, սինուսի կամ բազմանդամի: Ոչ գծային ֆունկցիայի ընտրությունից կարող է կախված լինել կոնկրետ ցանցի բարդությունը , սակայն ցանկացած ոչ գծայնությամբ ցանցը մնում է ունիվերսալ ապրոկսիմատոր և կառուցվածքի ճիշտ ընտրության դեպքում կարելի է հստակ ապրոկսիմացնել ցանցակացած նեյրոնային ապարատի ֆունկցիայավորումը :

Տվյալների սեղմում և ասոցիատիվ հիշողություն

Նեյրոցանցերի հնարավորությունը տարբեր պարամետրերի միջև փոխկապվածությունների հայտնաբերման հնարավորություն է տալիս մեծ չափերի տվյալները ավելի կոմպակտ ներկայացնել , եթե տվյալները սերտորեն կապված են միմյանց հետ : Հակառակ պրոցեսը ` ինֆորմացիայի մասից տվյալների մուտքային հավաքածուի վերականգնումը կոչվում է ասոցիատիվ հիշողություն : Ասոցիատիվ հիշողությունը թուլ է տալիս նաև վերկականգնելու մուտքային ազդանշան/կերպարը աղավաղված/վնասված մուտքային տվյալներից : Հետերոասոցիատիվ հիշողության լուծումը թույլ է տալի իրականացնել հիշողություն, որը հասցեավորվում է ըստ պարունակության :

Որոշումների ընդունման փուլեր

• Ուսուցման համար տվյալների հավաքագրում;
• Տվյալների նախապատրաստում և նորմալացում;
• Ցանցի տրամաբանության ընտրություն;
• Ցանցի բնութագրերի էքսպերիմենտալ ընտրություն;
• Ուսուցման պարամետրերի էքսպերիմենտալ ընտրություն;
• Ինքնուսուցում ;
• Ուսուցման արդյունավետության ստուգում;
• Պարամետրերի ուղղում,վերջնական ուսուցում;
• Ցանցի վերբալիզացիա հետագա կիրառման նպատակով :

Արժե այս էտապներից որոշները մանրամասնորեն ուսումնասիրել :

Ուսուցման համար տվյալների հավաքագրում

Տվյալների հավաքագրումը ցանցի ուսուցման և մշակման համար հանդիսանում է խնդրի լուծման ամենաբարդ փուլը :Տվյալների հավաքագրրումը պետք է բավարարի մի շարք չափանիշների .

• Ներկայացվածություն — տվյալները պետք է ցույց տան առարկայական տիրույթի իրերի և առարկաների իրական վիճակը ,
• Հակադրության բացակայություն — հակադրվող տվյալները ուսուցանվող ընտրանքում կարող են բերել ուսուցանվող ցանցի վատ որակի ,

Մուտքային տվյալները բերվում են այնպիսի տեսքի, որով դրանք կարելի է տալ ցանցի մուտքին : Տվյալների ֆայլում յուրաքանչյուր գրառում կոչվում է "ուսուցանվող զույգ" կամ "ուսուցանվող վեկտոր" : Ուսուցանվող վեկտորը պարունակում է ցանցի յուրաքանչյուր մուտքի մեկական արժեք և կախված ուսուցման տիպից (ուսուցչի հետ կամ առանց) մեկական արժեք ցանցի յուրաքանչյուր ելքի համար : Ցանցի ուսուցումը «հուքային» ընտրանքում, որպես կանոն, որակյալ արդյուքներ չի տալիս : Գոյություն ունեն ցանցի «ընկալման» բարելավման մի շարք հնարավորություններ .

• Նորմալացումը կատարվում է , երբ տարբեր մուտքերում հանդիպում են տարբեր չափողականության տվյալներ : Օրինակ, ցանցի առաջին մուտքին տրվում են 0-ից մինչև միավոր մեծության արժեքներ , իսկ երկրորդին ՝ 100-իc մինչև 1000: Երկրորդ մուտքում արժեքների նորմավորման բացակայության դեպքում ցանցի ելքի վրա մեծ ազդեցություն կունենա, քան արժեքը առաջին մուտքի դեպքում: Բոլոր մուտքային և ելքային տվյալների չափողականության նորմավորումը կատարվում է միասին,
• Քվանտավորումը կատարվում է անընդհատ մեծությունների նկատմամբ, որոնց համար առանձնացվում է դիսկրետ արժեքների հավաքածու : Օրինակ, քվանտավորումը կիրառվում է ձայնային ազդանշանների հաճախականության տրման ժամանակ ՝ բանավոր խոսքի ճանաչման համար ,
• Ֆիլտրացիան իրականացվում է «աղավաղված» տվյալների համար :

Բացի այդ, մեծ դեր է խաղում ինչպես մուտքային, այնպես էլ ելքային տվյալների ներկայացումը : Ենթադրենք ցանցը ուսուցանում է տառերի ճանաչումը նկարներով և ունի մեկ թվային ելք ՝ այբուբենում տառի համարը : Այդ դեպքում ցանցը կստանա ոչ ճշմարիտ տեղեկություն այն մասին, որ 1 և 2 համարի տառերը իրար ավելի նման են, քան 1 և 3 համարներինը , ինչը ընդհանուր առմամբ ճիշտ չէ : Այդ դեպքում, նման իրավիճակներից խուսափելու համար, կիրառում են մեծ թվով ելքերով ցանցի տրամաբանությունը , երբ յուրաքանչյուր ելք ունի իր իմաստը : Որքան ցանցի ելքերը շատ են, այնքան դասերի միջև հեռավորությունը շատ է և ավելի բարդ է զիջումը :

Ցանցի տրամաբանության ընտրություն

Ցանցի տիպը ընտրելիս պետք է ելնել խնդրի դրվածքից և առկա ուսումնասիրվող տվյալներից :Ուսուցչի միջոցով ուսուցման դեպքում անհրաժեշտ է ընտրանքի յուրաքանչյուր էլեմենտի համար «փորձագիտական» գնահատական : Երբեմն նման գնահատականի ստացումը մեծ տվյալների զանգվածների համար ուղղակիորեն անհնար է : Այդպիսի դեպքերում ճիշտ ընտրություն է հանդիսանում առանց ուսուցչի ուսուցանվող ցանցի ընտրությունը, օրինակ ՝ Կոխոնենի ինքնաձևավորվող քարտը կամ Խոպֆիլդի նեյրոնային ցանցը: Այլ խնդիրների լուծման դեպքում , ինչպիսիք են ժամանակային շարքերի կանխատեսումը , փորձագիտական գնահատականները , արդեն պարունակվում են մուտքային տվյալներում և կարող են առանձնացվել դրանց մշակման դեպքում : Այդ դեպքում կարելի է օգտագործել բազմաշերտ պերցեպտրոնը կամ Վորդի ցանցը:

Ցանցի հատկությունների փորձագիտական ընտրություն

Ընդհանուր կառուցվածքի ընտրությունից հետո կարելի է փորձագիտորեն ընտրել ցանցի պարամետրերը : Պերցեպտրոնի տիպի ցանցերի համար դա կլինի շերտերի թիվը , թաքնված շերտերում բլոկների թիվը (Վորդի ցանցի համար), շրջանցող կապերի առկայությունը կամ բացակայությունը ,նեյրոնների փոխանցելիության գործառույթները: Շերտերի և նեյրոնների քանակի ընտրության դեպքում պետք է ելնել նրանից, որ "ցանցի ընդհանուր հնարավորությունները այնքան մեծ են, որքան շատ են նեյրոնների միջև գումարային կապերը" : Մյուս կողմից , կապերի քանակը վերևից սահմանափակված է ուսուցանվող տվյալներում գրառումների քանակով :

Ուսուցման պարամետրերի փորձագիտական ընտրություն

Կոնկրետ տրամաբանության ընտրությունից հետո անհրաժեշտ է ընտրել ուսուցանվող նեյրոնային ցանցի պարամետրերը : Այս էտապը առավելապես կարևոր է ուսուցչի օգնությամբ ուսուցանվող ցանցերի համար : Պարամետրերի ճիշտ ընտրությունից կախված է ոչ միայն այն, թե որքան արագ ցանցը ճիշտպատասխաններ կտա : Օրինակ, ցածր արագությամբ ուսուցման ընտրությունը կմեծացնի գեներացիայի ժամանակը , սակայն միևնույն ժամանակ թույլ կտա խուսափելու ցանցի անդամալուծությունից: Ուսուցման ժամանակի մեծացումը կարող է բերել ինչպես գեներացման ժամանակի մեծացմանը, այնպես էլնվազեցմանը ՝ կախված սխալների մակերեսի ձևից : Ելնելով պարամետրերի նման հակազդեցությունից , կարելի է ենթադրել, որ նրանց արժեքները պետք է փորձագիտորեն ընտրել ՝ ղեկավարվելով ուսուցման պարամետրերով (օրինակ ՝ սխալների նվազեցում կամ ուսուցման ժամանակահատվածի կրճատում) :

Ցանցի փաստացի ուսուցում

Ուսուցման պրոցեսում ցանցը որոշակի հերթականությամբ ուսումնասիրում է ուսուցանվող ընտրանքը : Ուսումնասիրման հերթականությունը կարող է լինել հետևողական , պատահական և այլն : Առանց ուսուցչի ուսուցանվող որոշ ցանցեր ,օրինակ, Խոպֆիլդի ցանցերը դիտարկում են ընտրանքը մեկ անգամ : Այլոք, օրինակ՝ Կոխոնենի ցանցը,ինչպես նաև ցանցեր,որոնք ուսուցանվում են ուսուցչի միջոցով, ընտրանքը դիտարկում են բազմաթիվ անգամներ , և այդ դեպքում ընտրանքով մեկ ամբողջական անցումը կոչվում է "ուսուցման դարաշրջան" : Ուսուցչի օգնությամբ ուսուցման ժամանակ մուտքայինտվյալների հավաքածուն բաժանվումէ երկու մասի ՝ փաստացի ուսուցանվող ընտրանք և թեսթային տվյալներ , իսկ բաժանման սկզբունքը կարող է լինել կամայական : Ուսուցանվող տվյալները տրվում են ցանցին ուսուցման համար , իսկ ստուգողները օգտագործվում են ցանցի սխալների հաշվարկման համար (ստուգող տվյալները երբեք ցանցի ուսուցման համար չեն կիրառվում) : Այդ պարագայում, եթե ստուգող տվյալների միջոցով սխալները նվազեցվում են, ապա իսկապես կատարվում է ընդհանրացում : Եթե սխալը ուսուցանվող տվյալներում շարունակում է նվազել, իսկ թեսթային տվյալներում ավելանալ, դա նշանակում է , որ ցանցը դադարել է ընդհանրացում կատարել և ուղղակի «հիշում է » ուսուցանվող տվյալները : Այդ հայտնությունը կոչվում է ցանցի վերաուսուցում կամ օվերֆիտտինգ : Նման դեպքերում սովորաբարուսուցումը ընդհատում են: Ուսուցման պրոցեսում կարող են ի հայտ գալ նաև այլ խնդիրներ, ինչպիսիք են անդամալուծությունը կամ ցանցի հայտնվելը լոկալ սխալների մակերևույթ : Հնարավոր չէ նախապես գուշակել այս կամ այն խնդրի առաջացումը և տալ դրանց լուծման ցուցումներ :

Ուսուցման համարժեքության ստուգում

Նույնիսկ առաջին հայացքից հաջող ուսուցման դեպքում ցանցը ոչ միշտ է ուսուցանվում հենց նրան, ինչին ստեղծողը ձգտել է հասնել : Հայտնի դեպք է , երբ ցանցւ ուսուցանվել է նկարներով տանկերի ճանաչման համար, սակայնավելի ուշ պարզվել է , որ բոլոր տանկերը նկարվել են միևնույն ֆոնի վրա : Արդյունքում ցանցը «սովորել է » ճանաչել լանդշաֆտի այդ տիպը այն բանի փոխարեն, որպեսզի «սովորի» ճանաչել տանկերը: Այդ պարագայում, ցանցը «հասկանում է » ոչ այն, ինչը նրանից պահանջվում է, այլ այն , ինչը հնարավոր է ընդհանրացնել :

Դասակարգում ըստ մուտքային ինֆորմացիայի տեսակի

• Նմանատիպ նեյրոնային ցանցեր (օգտագործում են ինֆորմացիան իրական թվերի ձևով );
• Երկակի նեյրոնային ցանցեր (մշակում են երկուական տեսքով ներկայացված ինֆորմացիան):

Դասակարգում ըստ ուսուցման բնութագրի

• Ուսուցչի հետ ուսուցում — նեյրոնային ցանցի որոշումների ելքային տիրույթը հայտնի է ;
• Ուսուցում առանց ուսուցչի — նեյրոնային ցանցը ձևավորում է որոշումների ելքային տիրույթը ՝ միայն մուտքային ազդեցությունների հիման վրա : Այդպիսի ցանցերը կոչվում են ինքնակազմակերպվող ;
• Ուսուցում կցորդով — շրջակա միջավայրի խրախուսումների և տուգանքների նշանակման համակարգ :

Դասակարգում ըստ սինապսների կարգավորումների բնութագրի

• Ֆիքսված կապերով ցանցեր (ցանցի կշռային գործակիցները ընտրվում են անմիջապես՝ ելնելով խնդրի պայմաններից , այդ դեպքում ${\boldsymbol {d}}W/dt=0$, որտեղ՝ W — ցանցի կշռային գործակիցներն են );
• դինամիկ կապերով ցանցեր (նրանց համար ուսուցման պրոցեսը կատարվում է սինապտիկական կապերի կարգավորմամբ, այսինքն ՝ ${\boldsymbol {d}}W/dt\not =0$, որտեղ՝ W — ցանցի կշռային գործակիցներն են):

Դասակարգում ըստ ազդանշանների փոխանցման ժամանակի

Նեյրոնային ցանցերի շարքում ակտիվացնող ֆունկցիան կարող է կախված լինել ոչ միայն կապերի կշռային գործակիցներից $w_{ij}$, այլ նաև կապի կանալներով իմպուլսների (ազդանշանների) փոխանցման ժամանակից $\tau _{ij}$: Այդ պատճառով ընդհանուր տեսքով կապի ակտիվացնող (փոխանցող) ֆունկցիան $c_{ij}$ էլեմենտից $u_{i}$ էլեմենտին $u_{j}$ ունի հետևյալ տեսքը . $c_{ij}^{*}=f[w_{ij}(t),u_{i}^{*}(t-\tau _{ij})]$. Այդ դեպքում սինխրոն ցանց անվանում են ցանցը, որի $\tau _{ij}$ փոխանցման ժամանակը յուրաքանչյուր կապի հավասար է կամ զրոյի , կամ ֆիքսված հաստատունի $\tau$ : Ոչ սինխրոն անվանում են ցանցը, որի $\tau _{ij}$ փոխանցման ժամանակը յուրաքանչյուր կապի համար $u_{i}$ и $u_{j}$ էլեմենտների միջև նույնպես անընդհատ է :

Դասակարգում ըստ կապերի բնութագրերի

Ուղիղ տարածման ցանցեր (Feedforward)

Բոլոր կապերը խստորեն ուղղված են մուտքային նեյրոններից ելքայիններին : Նմնանատիպ ցանցերի օրինակներ են հանդիսանում Ռոզենբլատի պերցեպտրոնը, բազմաշերտ պերցեպտրոնը, Վորդի ցանցը :

Ռեկուրենտիվ նեյրոնային ցանցեր

Ելքային նեյրոնից կամ նեյրոններից ազդանշանը թաքնված շերտից մասնակիորեն փոխանցվում է ետ նեյրոնի մուտքային շերտին (ետադարձ կապ): Ռեկուրենտիվ Խոպֆիլդի ցանցը «ֆիլտրում է» մուտքային տվյալները, վերադառնալով կայուն վիճակի, և այդ կերպ թույլ է տալիս լուծել տվյալների սեղմման և ասոցիատիվ հիշողությանկառուցման խնդիրներ : Ռեկուրենտիվ ցանցերի մասնավոր դեպք են հանդիսանում երկուղղվածության ցանցերը: Նման ցանցերում շերտերի միջև առկա են կապեր ինչպես մուտքային շերտից ելքայինին, այնպես էլ ընդհակառակը : Դասական օրինակ է հանդիսանում Կոսկոյի նեյրոնային ցանցը:

Ռադիկալ-բազիսային ֆունկցիաներ

Արհեստական նեյրոնային ցանցերը որպես ակտիվացնող ֆունկցիա կիրառում են ռադիկալ-բազիսային ֆունկցիաները (նման ցանցերը կարճ անվանվում են RBF-ցանցեր): Ռադիկալ-բազիսային ֆունկցիաների ընդհանուր տեսքը հետևյալն է .

$f(x)=\phi \left({\frac {x^{2}}{\sigma ^{2}}}\right)$, օրինակ, $f(x)=e^{-{{x^{2}} \over {\sigma ^{2}}}},$

որտեղ` $x$ — նեյրոնի մուտքային ազդանշանների վեկտոր, $\sigma$ —ֆունկցիայի պատուհանի լայնություն , $\phi (y)$ — նվազող ֆունկցիա (առավել հաճախ հավասար է զրոյի ոչ վեկտորային հատվածում ):

Ռադիկալ-բազիսային ցանցը բնութագրվում է երեք առանձնահատկություններով.

1. Միակ թաքնված շերտ

2. Միայն թաքնված շերտի նեյրոնները ունեն ոչ գծային ակտիվացնող ֆունկցիա

3. Մուտքային և տաքնված շերտի կապերի սինապտիկական կշիռները հավասար են միավորի

Ուսուցման պրոցեսը նայել գրականությունում :

Ինքնակազմակերպվող քարտեզ

Նմանատիպ ցանցերը իրենցից ներկայացնում են ուսուցչի հետ ուսուցանվող մրցակցային նեյրոնային ցանց,որը իրականացնում է վիզուալիզացիայի և կլաստերիզացիայի խնդիր : Հանդիսանում է բազմաչափ տարածության նախագծման մեթոդ ավելի փոքր չափողականություն ունեցող տարածությունում (առավել հաճախ երկչափ) , կիրառվում է նաև մոդելավորման խնդիրներում, կանխատեսման խնդիրներում և այլն : Հանդիսանում է Կոխոնենի նեյրոնային ցանցի տեսակներից մեկը : Կոխոնենի ինքնաձևավորվող քարտեզները առաջին հերթին ծառայում են վիզուալիզացիայի և սկզբնական («բանական») տվյալների վերլուծության համար :

Կոխոնենի ցանցում ազդանշանը միանգամից տարածվում է բոլոր նեյրոնների վրա , սինապսների բացակայող կշիռները ստացվում են որպես հանգույցի վիճակի կորդինատներ և ելքային ազդանշանը ձևավորվում է «հաղթողը տանում է ամեն ինչ» սկզբունքով, այսինքն՝ ոչ զրոյական ելքային ազդանշանը ունի մուտքի օբյեկտին փոխանցվողին մոտ նեյրոն (սինապսների կշիռների իմաստով ) : Ուսուցման պրոցեսում սինապսների կշիռները կարգավորվում են այնպես, որ հանգուցային վանդակները «տեղավորվում են » լոկալ տվյալների տեղերում , այսինքն ՝ նկարագրում են տվյալների ամպի կլաստերային կառուցվածքը , մյուս կողմից ՝ նեյրոնների միջև կապերը համապատասխանում են նախանշանների տարածությունում հարևան կլաստերների համապատասխան կապերի հետ :

Հարմար է դիտարկել այնպիսի քարտեզներ, ինչպիսիք են հանգույցների երկչափ ցանցը , որոնք տեղակայված են բազմաչափ տարածությունում : Սկզբնապես ինքնաձևավորվող քարտեզը իրենից ներկայացնում է հանգույցների ցանց, որոնք փոխկապված են : Կոխոնենը դիտարկել է հանգույցների միջև կապերի երկու տարբերակ ՝ ուղղանկյուն և բազմանկյուն ցանց : Տարբերությունը կայանում է նրանում, որ ուղղանկյուն ցանցում յուրաքանչյուր հանգույց կապված է 4 հարևաններով, իսկա բազմանկյունում՝ 6 մոտակա հանգույցներով : Այդպիսի երկու ցանցերի համար Կոխոնենի ցանցի կառուցման պրոցեսը տարբերվում է միայն այն տեղում, որտեղ մոտենում են այդ հանգույցի հարևանները :

Ցանցի նախնական ներդրումը տվյալների ցանցում իրականացվում է կամայականորեն : SOM_PAK հեղինակային փաթեթում առաջարկվում է տվյալների տիրույթում հանգույցների նախնական տեղակայման պատահական տարբերակներ և հանգույցների տեղակայման տարբերակը հարթությունում : Դրանից հետո հանգույցները սկսում են տեղաբաշխվել տարածությունում համաձայն հետևյալ ալգորիթմի .

1. Պատահականորեն ընտրվում են տվյալների կետերը $x$.
2. Որոշվում է $x$ մոտակա քարտեզի հանգույցը (BMU — Best Matching Unit).
3. Այդ հանգույցը տեղակայվում է տրված քայլում x -ի ուղղությամբ : Սակայն, այն միայնակ չի տեղակայվում, այլ իր հետ ներառում է որոշակի քանակության մոտակա հանգույցներ քարտեզի հարևանությամբ : Բոլոր տեղաշարժվող հանգույցներից առավել ուժեղ տեղափոխվում է կենտրոնական ՝ տվյալների կետին մոտ հանգույցը,իսկ մնացածները, որքն հեռու են BMU-ից , այնքան ավելի դանդաղ են տարհանվում : Քարտեզի կարգավորման ժամանակ առանձնացնում են 2 էտապներ ՝ կոպիտկարգավորման (fine-tuning) և ճշգրիտ կարգավորման (fine-tuning) փուլեր : Առաջին փուլում ընտրվում են շատ հարևան արժեքներ և հանգույցների տեղաշարժը կրում է կոլեկտիվ բնույթ: Արդյունքում քարտեզը « ուղղվում է » և կոպիտ կերպով արտապատկերում է տվյալների կառուցվածքը, իակ ճշգրիտ կարգավորման փուլում հարևանության շառավիղը 1-2 է և կարգավորվում են արդեն հանգույցների անհատական դիրքերը : Բացի այդ, տեղաշարժման մեծությունը ժամանակի ընթացքում համամասնորեն նվազում է , այսինքն ՝ ուսուցման առաջին փուլում ավելի մեծ է , իսկ ավարտին հասնելիս հավասարվում է զրոյի :
4. Ալգորիթմը որոշակի ժամանակահատվածի ընթացքում կրկնվում է (իհարկե, մի շարք քայլեր, կարող են տարբեր լինել՝ կախված առաջադրանքից):

Հայտնի ցանցերի տիպեր

• Ռոզենբլատի պերցեպտրոն;
• Խակիմովի սպլայն-մոդել;
• Բազմաշերտ պերցեպտրոն;
• Ջորդանի ցանց;
• Էլմանի ցանց;
• Խեմինգի ցանց;
• Վորդի ցանց;
• Խոպֆիլդի ցանց;
• Կոխոնենի ցանց;
• Նեյրոնային գազ
• Կոգնիտրոն;
• Նեոկոգնիտրոն;
• Քաոսային նեյրոնային ցանց;
• Օսցիլյատորային նեյրոնային ցանց;
• Հանդիպակաց տարածման ցանց;
• Ռադիկալ բազիսային ֆունկցիաների ցանց (RBF-ցանց);
• Ամբողջական ռեգրեսիայի ցանց;
• Հավանականային ցանց;
• Ռեշետովի հավանականային նեյրոնային ցանց
• Սիամական նեյրոնային ցանց;
• Արդյունավետ ռեզոնանսի ցանցեր.
• Փաթույթային նեյրոնային ցանց (convolutional neural network):

Տարբերությունը Ֆոն Նեյմանի ճարտարապետությամբ մեքենաներից

Հաշվողական համակարգերը, հիմնված արհեստական նեյրոնային ցանցերի վրա, օժտված են մի շարք որակներով , որոնք բացակայում են Ֆոն Նեյմանի ճարտարապետությամբ մեքենաներում (սակայն բնորոշ են մարդկային ուղեղին).

• Մասսայական զուգահեռականություն;
• Ինֆորմացիայի և հաշվարկների բաշխված ներկայացում;
• Ընդհանրացման և ուսուցման ունակություն;
• Արդյունավետություն;
• Ինֆորմացիայի բովանդակային մշակման կարողություն;
• Սխալների նկատմամբ տոլերանտություն;
• Ցածր էներգատարություն:

Հավելվածների օրինակներ

Ֆինանսական ժամանակային շարքերի կանխատեսում

Մուտքայինտվյալներ - տարվա ընթացքում աճուրդի կուրսը : Խնդիրն է որոշել վաղվա կուրսը : Կատարվում է հետևյալ վերափոխումը ՝ կառուցվում է շարք այսօրվա, երեկվա և նախորդ օրվա կուրսերով : Հաջորդ շարքում տեղակայվում են նախորդից մեկ օր առաջվա տվյալները և այդպես շարունակ : Ստացված հավաքածուում ուսումնասիրվում է ցանց 3 մուտքով և 1 ելքով ՝ վաղվա օրվա կուրսը : Մուտքերը կուրսերն են ՝ 1 օր առաջ, 2 օր առաջ և 3 օր առաջ : Ուսումնասիրվող ցանցի մուտքին տալիս ենք մուտքային տվյալների արժեքները , իսկ ելքում ստանում ենք վաղվա կուրսը : Դժվար չէ նկատել ,որ այս դեքում ցանցը ուղղակիորեն ելքագրում է մյուս երեք պարամետրերից կախված ելք : Եթե ցանկալի է հաշվի առնել նաև ինչ-որ այլ պարամետր (օրինակ ինչ-որ ինդեքս), ապա այն պետք է մուտքագրել որպես մուտքային պարամետր, ուսումնասիրել այն և ստանալ նոր արդյունք : Առավել ճշգրիտ ուսուցման համար անհրաժեշտ է կիրառել [Սխալների հետադարձ տարածման մեթոդը,որպես առավել կանխատեսելի և ոչ բարդ իրականացվելի մեթոդ :

Հոգեդիագնոստիկա

Մ. Գ. Դոռեռի և իր համահեղինակների աշխատանքները նվիրված են նեյրոնային ցանցերի փորձագիտական համակարգերի հոգեբանական ինտուիցիայի զարգացման հնարավորությունների հարցերի քննարկմանը : Ստացված արդյունքները հնարավորություն են տալիս բացահայտելու նեյրոնային ցանցերի ինտուիցիայի մեխանիզմը, որը նրանց կողմից ցուցաբերվում է հոգեվերլուծական խնդիրների լուծման ժամանակ : Համակարգչային մեթոդների կողքին ստեղծվել է ոչ ստանդարտ ՛՛ինտուիտիվ՛՛ մեթոդ :

Խեմոինֆորմատիկա

Նեյրոնային ցանցերը լայնորեն կիրառվում են քիմիական և բիոքիմիական հետազոտություններում Ներկայումս նեյրոնային ցանցերը հանդիսանում են խեմոինֆորմատիկայի ամենատարծված մեթոդներից մեկը для գույքային հարաբերությունների քանակական կապերի որոնման համար,որոնց շնորհիվ ակտիվորեն կիրառվում են որպես ֆիզիկա- քիմիական և բիոլոգիական ակտիվությունների կանխատեսման համար, ինչպես նաև նոր դեղորայքային պարագաների մշակման համար :

Նեյրոկառավարում

Նեյրոնային ցանցերը հաջող կերպով ընդունվում են կառավարման համակարգերի սինթեզի համար դինամիկ օբյեկտներով : Նեյրոցանցերը օժտված են ունիկալ հատկությունների շարքով, որոնք դրանք ավելի հզոր գործիք են դարձնում ղեկավարման համակարգերի ստեղծման համար : Դրանք են ՝ օրինակների վրա ուսուցման հնարավորությունը և տվյալների ընդհանրացում , կառավարման օբյեկտի հատկություններին և արտաքին միջավայրի փոփոխություններին հարմարվելու ունակությունը , ոչ գծային կարգավորիչների սինթեզին հարմարվելու ունակություն, վնասված տարերրի բարձր դիմադրողականությունը իսկզբանե ներդրված է երկակի նեյրոցանցային կառուցվածքում :

Հղումներ

• Neural Networks հոդվածը Curlie-ում (ըստ DMOZ-ի)

Գրականություն

• Круглов Владимир Васильевич, Борисов Вадим Владимирович, Искусственные нейронные сети. Теория и практика (1-е), М., «Горячая линия - Телеком» — 382, էջեր 382 — 382 էջ, ISBN 5-93517-031-О։
• В. А. Терехов, Д. В. Ефимов, И. Ю. Тюкин, Нейросетевые системы управления (1-е), «Высшая школа», էջ 184, ISBN 5-06-004094-1։
• Уоссермен, Ф., Нейрокомпьютерная техника: Теория и практика (Neural Computing. Theory and Practice) (Мир), М. էջ 240, ISBN 5-03-002115-9։
• Хайкин С. (Neural Networks: A Comprehensive Foundation) (2-е), М., ««Вильямс»», էջ 1104, ISBN 0-13-273350-1։
• Роберт Каллан, Основные концепции нейронных сетей (The Essence of Neural Networks First Edition) (1-е), ««Вильямс»», էջ 288, ISBN 5-8459-0210-X։
• Л.Н. Ясницкий, Введение в искусственный интеллект (1-е), «Издательский центр "Академия"», էջ 176, ISBN 5-7695-1958-4։
• Г. К. Вороновский, К. В. Махотило, С. Н. Петрашев, С. А. Сергеев, Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности (заказное), Х., «ОСНОВА», էջ 112, ISBN 5-7768-0293-8։
• Миркес Е. М., Нейрокомпьютер. Проект стандарта. - Новосибирск։ Наука, 1999. - 337 с. ISBN 5-02-031409-9 Другие копии онлайн։ [3].
• Нейроинформатика. Новосибирск: Наука, 1998.
• Беркинблит М. Б., Нейронные сети (МИРОС и ВЗМШ РАО), М. էջ 96, ISBN 5-7084-0026-9։
• Хакимов Б.В., Моделирование корреляционных зависимостей сплайнами на примерах в геологии и экологии (НЕВА), С-Пб. էջ 144, ISBN 5-211-04588-2։
• Еремин Д.М., Гарцеев И.Б., Искусственные нейронные сети в интеллектуальных системах управления (МИРЭА), М. էջ 75, ISBN 5-7339-0423-2։
• Савельев А. В.. На пути к общей теории нейросетей. К вопросу о сложности // журнал «Нейрокомпьютеры: разработка, применение»., Издательство "Радиотехника". — № 4-5.

• Сигеру Омату, Марзуки Халид, Рубия Юсоф, Нейроуправление и его приложения (Neuro-Control and its Applications) (2-е), М., «ИПРЖР», էջ 272, ISBN ISBN 5-93108-006-6։
• Станислав Осовский, Нейронные сети для обработки информации (Sieci neuronowe do przetwarzania informacji (լեհ.)) (խմբ. Перевод И. Д. Рудинского), М., «Финансы и статистика», էջ 344, ISBN 5-279-02567-4։