Արհեստական նեյրոնային ցանց

Պարզ նեյրոնային ցանցի սխեմա։Կանաչ գույնով նշանակված են մուտքային նեյրոնները , երկնագույնով` թաքնված նեյրոնները, դեղինով`  ելքային նեյրոնը

Արհեստական նեյրոնային ցանցեր (ԱՆՑ), մաթեմատիկական մոդելներ, ինչպես նաև նրանց ծրագրային կամ սարքային իրականացումներ, որոնք կառուցված են բիոլոգիական նեյրոնային ցանցերի - ցանցեր կենդանի օրգանիզմի նեյրոնային բջիջներից կազմակերպական կամ ֆունկցիայավորման սկզբունքով։ Այդ հասկացությունը առաջացել է գլխուղեղ-ում առաջացող պրոցեսների ուսումնասիրման և այդ պրոցեսների մոդելավորման փորձերի արդյունքում։ Այդպիսի առաջին փորձը Մակկալոկիև Պիթսի նեյրոնային ցանցերն էին. Հետագայում, ուսուցողական ալգորիթմների մշակումից հետո, ստացված մոդելները սկսեցին կիրառել պրակտիկ նպատակներով ` կանխատեսման խնդիրներում, կերպարների ճանաչման համար, կառավարման խնդիրներում և այլն։

ԱՆՑ-ն իրենից ներկայացնում է փոխկապված և փոխհամագործակցող (արհեստական նեյրոնների) պարզ պրոցեսորների համակարգ:Այդպիսի պրոցեսորները սովորաբար բավականին պարզ են, հատկապես, համեմատած անհատական համակարգիչներում կիրառվող պրոցեսորների հետ։ Նմանատիպ ցանցի յուրաքանչյուր պրոցեսոր գործ ունի միայն ազդանշանների հետ, որոնք պարբերականորեն ստանում է, և ազդանշանների, որոնք պարբերաբար ուղարկում է այլ պրոցեսորների։ Այնուամենայնիվ, այդպիսի լոկալ պարզ պրոցեսորները միասին ընդունակ են կատարելու բավականին բարդ խնդիրներ։

Մեքենայական ուսուցման տեսանկյունից նեյրոնային ցանցը իրենից ներկայացնում է կերպարների ճանաչման, դիսկրիմինանտ վերլուծության, կլաստերիզացիայի մեթոդի և նմանատիպ այլ մեթոդների մասնավոր դեպք։ Մաթեմատիկական տեսանկյունից , նեյրոնային ցանցերի ուսուցումը ոչ գծային օպտիմալացման բազմապարամետրական խնդիր է։ Կիբեռնետիկայի տեսանկյունից նեյրոնային ցանցը կիրառվում է ադապտիվ կառավարման խնդիրներում և որպես ալգորիթմներ ռոբոտատեխնիկայի համար։ Հաշվողական տեխնիկայի և ծրագրավորման զարգացման տեսակյունից նեյրոնային ցանցը արդյունավետ պարալելիզմի խնդիրների լուծման միջոց է։ Արհեստական ինտելեկտի տեսանկյունից ԱՆՑ-ն հանդիսանում է կոննեկտիվիզմի հոսքի փիլիսոփայական հիմքը և կառուցվածքային մոտեցման հիմնական ուղղությունը համակարգչային ալգորիթմների միջոցով (մոդելավորում) բնական ինտելեկտի կառուցման հնարավորությունների ուսումնասիրումը։

Նեյրոնային ցանցերը չեն ծրագրավորվում բառից բուն իմաստով, դրանք ուսուցանվում են. ուսուցանելու հնարավորությունը նեյրոնային ցանցերի գլխավոր առանձնահատկություններից է ավանդական ալգորիթմների առջև։ Տեխնիկապես ուսուցումը կայանում է նեյրոնների միջև կապերի գործակիցների առկայությամբ։ Ուսուցման պրոցեսում նեյրոնային ցանցը ունակ է հայտնաբերել մուտքային և ելքային տվյալների միջև բարդ կախվածություններ, ինչպես նաև կատարել ընդհանրացում: Դա նշանակում է, որ հաջող ուսուցման դեպքում ցանցը կարող է վերադարձնել ճիշտ արդյունք այն տվյալների հիման վրա, որոնք բացակայում էին ուսուցողական ընտրանքում, ինչպես նաև ոչ լիարժեք և/կամ «աղմկոտ», մասամբ աղավաղված տվյալների հիման վրա։

Ժամանակագրություն

• 1943 - Ու. Մակկալոկը և Ու. Պիտսը ձևավորում են նեյրոնային ցանցի հասկացությունը նյարդային ակտիվության և գաղափարների տրամաբանական հաշվարկի վերաբերյալ հիմքային հոդվածում.
• 1948 - Նորբերտ Վիները գործընկերների հետ միասին հրատարակեցին կիբերնետիկայի մասին աշխատանքը։ Հիմնական գաղափարը հանդիսանում է մաթեմատիկական մոդելների միջոցով բարդ բիոլոգիական պրոցեսների ներկայացումը։
• 1949 - Դ. Խեբբը առաջարկում է ուսուցման առաջին ալգորիթը։
• 1958 Ֆ. Ռոզենբատտը ստեղծում է միաշերտ Պերսեպտրոն։ Պերցեպտրոնը ոընի որոշակի առանձնահատկություն ` այն կիրառում է կերպարների ճանաչման , եղանակի կանխատեսման և այլ խնդիրներում։ Թվում էր, թե ամբողջական արհեստական ինտելեկտի կառուցումը այլևս սարերի ետևում չէ։ Մակկալոկը և նրա հետնորդները դուրս եկան «Կիբերնետիկական ակումբից»։
• 1960 թ.-ին Կաղապար:TranslationՈւիդրոուն իր ուսանող Խոֆֆոմի հետ համատեղ դելտա-կանոնի հիման վրա (Ուիդրոուի բանաձևեր) մշակեցին Ադալինը, որը անմիջապես սկսեց կիրառվել կանխատեսման և արդյունավետ կառավարման խնդիրներում։ Ադալինը կառուցվել էր նրանց (Ուիդրոու - Խոֆֆոմ) իսկ կողմից արդեն ստեղծված սկուզբունքորեն նոր էլեմենտների բազայի հիման վրա՝ մեմիստորի հիման վրա. Այժմ Ադալինը հանդիսանում է ազդանշանների մշակման բազմաթիվ համակարգերի ստանդարտ էլեմենտը։
• 1963 թ.-ին АН СССР Ինֆորմացիայի փոխանցման խնդիրների ինստիտուտում Ա. Պ. Պետրովի կողմից կատարվում է պերցեպտրոնի համար «բարդ» խնդիրների մանրակրկիտ ուսումնասիրություն. ԱՆՑ մոդելավորման ոլորտում այդ պիոներական աշխատանքը ԽՍՀՄ-ում ծառայեց որպես Մ. Մ. Բոնգարդի համար նոր գաղափարների կոմպլեքսի աղբյուր, որպես «պերցեպտրոնի ալգորիթմի փոքր համեմատական ձևափոխություն թերությունները ուղղելու համար : Ա. Պետրովի և Մ. Մ. Բոնգարդի աշխատանքները նպաստեցին , որ ԽՍՀՄ-ում ԱՆՑ վերաբերյալ առաջին էյֆորիայի ալիքը հարթվի։
• 1969 թ.-ին Մ. Մինսկին հրապարակում է պերցեպտրոնի սահմանափակության փաստերը և ցույց է տալիս , որ այն ունակ չէ լուծելու մի շարք խնդիրներ ("Ազնվության" և "միայնակ բլոկում" խնդիրներ)` կապված ներկայացումների այլաձևության հետ։ Նեյրոնային ցանցերի նկատմամբ հետքրքրությունը կտրուկ ընկնում է։
• 1973 թ;-ին Վ. Վ. Խակիոմովը առաջարկում է սպլայների հիման վրա սինապսներով ոչ գծային մոդել և ներդնում է այն բժշկության, էկոլոգիայի, երկրաբանության խնդիրների լուծման համար։ Խակիմով Վ. Վ. Սպլայներով կոռելյացիոն կախվածությունների մոդելավորում երկրաբանության և էկոլոգիայի օրինակներով . — Մ.: «ՄՊՀ»: «Նևա»,2003, 144 էջ.
• 1974 — Պոլ Ջ. Վերբոսը և Ա. Ի. Գալուշկինը միաժամանակ ստեղծում են սխալների հետադարձ տարածման ալգորիթը բազմաշերտ պերցեպտրոնների ուսումնասիրման համար։ Հայտնագործությունը առանձնապես ուշադրության չի արժանանում։
• 1975 — ֆուկսիման իրենից ներկայացնում է Կոգնիտրոն` ինքնաձևավորվող ցանց ` նախատեսված այլընտրանքային կերպարների ճանաչման համար , սակայն դա հասանելի է փաստացիորեն կերպարների բոլոր վիճակների հիշման պարագայում։
• 1982 — մոռացության էտապից հետո նեյրոնային ցանցերի նկատմամբ հետքրքրությունը կրկին աճում է։ Ջ. Խոպֆիլդը (en:John Joseph Hopfield) ցույց տվեց , որ հետադարձ կապերով նեյրոնային ցանցը կարող է իրենից ներկայացնել համակրգ, որը նվազեցնում է էներգիան (այսպես կոչված Խոպֆիլդի ցանց) : Կոխոնենի կողմից ներկայացված են անցերի մոդելներ , որոնք ուսուցանվում են առանց ուսուցչի (Կոխոնենի նեյրոնային ցանց)և լուծում են կլաստերիզացիայի խնդիրներ,տվյալների վիզուալիզացիա (Կոխոնենի ինքնակազմակերպվող քարտ)և տվյալների վերլուծության այլ խնդիրներ։
• 1986 — Դովիդ Ի. Ռումելխարտի, Ջ. Ե. Խինտոնի և Ռոնալդ Ջ. Վիլյամսի ևիրարից անկախ ու միաժամանակ Ս. Ի. Բարցևի և Վ. Ա. Օխոնինի կողմից (Կրասնոյարսկյան խումբ) մշակվել և զարգացել է սխալների հետադարձ տարածման մեթոդը. Սկսվեց ուսուցանվող նեյրոնային ցանցերի նկատմամբ հետաքրքրությունը։

Հայտնի կիրառություններ

Կերպարների ճանաչում և դասակարգում

Որպես կերպարներ կարող են հանդես գալ տարբեր օբյեկտներ ` տեքստի սիմվոլներ , պատկերներ , երաժշտության օրինակներ և այլն։ Ուսուցման ժամանակ ցանցին առաջարկվում են կերպարների տարբեր օրինակներ ` նշելով , թե որ դասին է այն պատկանում։ Օրինակը, որպես կանոն, ներկայացվում է որպես արժեքների նախանշանների վեկտոր։ Այդ դեպքում բոլոր նախանշանների ամբողջությունը պետք է միանշանակ որոշի դասը, որին վերաբերում է օրինակը։ Եթե նախանշանները բավարար չեն, ցանցը կարող է միևնույն կերպարը վերագրել մի քանի դասերի, ինչը հավանաբար : Ցանցերի ուսուցման ավարտին նրանց կարելի է ներկայացնել անհայտ վաղեմի կերպարներ և ստանալ որոշակի դասին պատկանելության վերաբերյալ պատասխան։

Նման ցանցի տրամաբանությունը բնութագրվում է նրանով, որ ելքային շերտում նեյրոնների քանակը , որպես կանոն, հավասար է որոշվող դասերի քանակին։ Այդ դեպքում նեյրոնային ցանցի ելքի և դասի միջև հաստատվում է համապատասխանություն, որն այն ներկայացնում է։ Երբ ցանցին ներկայացվում է որոշակի կերպար, ելքերից մեկում պետք է հայտնվի այն բանի նախանշանը, որ կերպարը պատկանում է այդ դասին։ Միևնույն ժամանակ այլ ելքերում պետք է լինի այն բանի նախանշանը, որ կերպարը տվյալ դասին չի պատկանում: Եթե երկու կամ ավելի ելքերում առկա է դասին պատկանելիության նախանշան, ապա համարվում է , որ ցանցը «վստահ չէ» իր պատասխանում։

Որոշումների ընդունում և կառավարում

Այս խնդիրը մոտ է դասակարգման խնդրին։ Դասակարգումը ենթակա է իրավիճակին,որի բնութագրերը մուտքգրվում են նեյրոնային ցանցի մուտքում։ Ցանցի ելքում պետք է այդ պարագայում հայտնվի լուծման կանխատեսումը, որը ցանցը ընդունել է։ Այդ պարագայում որպես մուտքային ազդանշաներ կիրառվում են կառավարվող համակարգի վիճակը բնութագրող տարբեր չափանիշներ.

Կլաստերիզացիա

Կլաստերիզացիայի ներքո հասկացվում է բազմաթիվ մուտքային ազդանշանների բաժանումը դասերի, ընդ որում այնպես, որ ոչ քանակը և ոչ էլ դասերի նախանշանները նախապես հայտնի չեն։ Ուսումնասիրումից հետո նման ցանցը կարող է որոշել, թե որ դասին է պատկանում մուտքային ազդանշանը։ Ցանցը կարող է ազդանշան տալ նաև այն մասին, որ մուտքային ազանշանը չի պատկանում առանձնացված դասերից և ոչ մեկին, ինչն էլ հանդիսանում է նոր, ուսուցանվող ընտրանքում բացակայող տվյալների նախանշանը։ Այդ պարագայում, նման ցանցը կարող է առաջացնել նոր, նախկինում անհայտ ազդանշանների դասեր : Դասերի միջև դասերի և ցանցի կողմից առանձնացված, առարկայական տիրույթում գոյություն ունեցող համապատասխանությունը հաստատվւոմ է մարդու կողմից։ Կլաստերիզացիան իրականացնում են օրինակ ՝ Կոխոնենի նեյրոնային ցանցը։

Նեյրոնային ցանցերը Կոխոնենի պարզ տարբերակում չեն կարող մեծ լինել, այդ իսկ պատճառով էլ դրանք բաժանում են հիպերշերտերի (հիպերսյունակների) և միջուկի (միկրոսյուների):Եթե համեմատել մարդու ուղեղի հետ, ապա զուգահեռ շերտերի իդեալական քանակը չպետք է գերազանցի 112-ը։ Այդ շերտերը իրենց հերթին կազմում են հիպերշերտեր (հիպերսյունակ), որոնցում առկա է 500 -ից 2000 միկրոսյունակ (միջուկ): Այդ պարագայում յուրաքանչյուր շերտ բաժանվում է բազմաթիվ հիպերսյունակների, որոնք ներտափանցում են շերտերի մեջ։ Միկրոսյունակները կոդավորվում են թվերով և միավորներով ,որոնք ելքում որպես արդյունք են ստացվում։ Եթե անհրաժեշտ է , ապա ավելորդ շերտերը կամ նեյրոնները հեռացվում են կամ ավելացվում։ Նեյրոնների կամ շերտերի քանակի որոշման համար իդեալական է սուպերհամակարգիչների կիրառումը։ Այդպիսի համակարգը թույլ է տալիս , որ նեյրոնային ցանցերը լինեն ճկուն։

Կանխատեսում

Նեյրոնային ցանցերի կանխատեսման հնարավորությունները ուղղակիորեն հետևում են նրա ելքային և մուտքային տվյալների միջև թաքնված կախվածությունների ընդհանրացման և առանձնացման հնարավորություններից։ Ուսուցումից հետո ցանցը ունակ է գուշակելու որոշակի գործունեության ապագա սպասվող արժեքը` մի քանի նախկին արժեքների հիման վրա և/կամ ներկա պարագայում գոյություն ունեցող մի քանի փաստերի հիման վրա։ Պետք է նշել, որ կանխատեսումը հնարավոր է միայն այն դեպքում, երբ " նախկին փոփոխությունները ինչ-որ մակարդակում որոշում են ապագան ": Օրինակ, բաժնետոմսերի գների կանխատեսումը նախորդ շաբաթվա համեմատ կարող է հաջող հանդիսանալ (կարող է նաև անհաջող լինել), այն դեպքում, երբ վաղվա խաղատոմսի արդյունքների կանխատեսումը վերջին 50 տարվա արդյունքների հիման վրա հավանաբար ոչ մի արդյունք չի տա։

Ապրոքսիմացիա

Նեյրոնային ցանցերը կարող են ապրոկսիմացնել անընդհատ ֆունկցիաներ։ Ապացուցված է ընդհանրացված ապրոկսիմացիոն թեորեմը: շնորհիվ գծային օպերցիաների և կասկադային կապերի ՝ կարելի է սկզբնական ոչ գծային էլեմենտներից ստանալ սարք, որը հաշվում է ցանկացած անընդհատ ֆունկցիա սկզբնապես տրված որոշակի ճշտությամբ: Դա նշանակում է , որ նեյրոնի ոչ գծային բնութագիրը կարող է լինել կամայական ՝ սիգմոդիայինից մինչև կամայական փաթեթ կամ վեյվլետ, սինուսի կամ բազմանդամի: Ոչ գծային ֆունկցիայի ընտրությունից կարող է կախված լինել կոնկրետ ցանցի բարդությունը , սակայն ցանկացած ոչ գծայնությամբ ցանցը մնում է ունիվերսալ ապրոկսիմատոր և կառուցվածքի ճիշտ ընտրության դեպքում կարելի է հստակ ապրոկսիմացնել ցանցակացած նեյրոնային ապարատի ֆունկցիայավորումը։

Տվյալների սեղմում և ասոցիատիվ հիշողություն

Նեյրոցանցերի հնարավորությունը տարբեր պարամետրերի միջև փոխկապվածությունների հայտնաբերման հնարավորություն է տալիս մեծ չափերի տվյալները ավելի կոմպակտ ներկայացնել , եթե տվյալները սերտորեն կապված են միմյանց հետ։ Հակառակ պրոցեսը ` ինֆորմացիայի մասից տվյալների մուտքային հավաքածուի վերականգնումը կոչվում է ասոցիատիվ հիշողություն։ Ասոցիատիվ հիշողությունը թուլ է տալիս նաև վերկականգնելու մուտքային ազդանշան/կերպարը աղավաղված/վնասված մուտքային տվյալներից։ Հետերոասոցիատիվ հիշողության լուծումը թույլ է տալի իրականացնել հիշողություն, որը հասցեավորվում է ըստ պարունակության:

Որոշումների ընդունման փուլեր

• Ուսուցման համար տվյալների հավաքագրում;
• Տվյալների նախապատրաստում և նորմալացում;
• Ցանցի տրամաբանության ընտրություն;
• Ցանցի բնութագրերի էքսպերիմենտալ ընտրություն;
• Ուսուցման պարամետրերի էքսպերիմենտալ ընտրություն;
• Ինքնուսուցում ;
• Ուսուցման արդյունավետության ստուգում;
• Պարամետրերի ուղղում,վերջնական ուսուցում;
• Ցանցի վերբալիզացիա հետագա կիրառման նպատակով։

Արժե այս էտապներից որոշները մանրամասնորեն ուսումնասիրել։

Ուսուցման համար տվյալների հավաքագրում

Տվյալների հավաքագրումը ցանցի ուսուցման և մշակման համար հանդիսանում է խնդրի լուծման ամենաբարդ փուլը։Տվյալների հավաքագրրումը պետք է բավարարի մի շարք չափանիշների .

• Ներկայացվածություն — տվյալները պետք է ցույց տան առարկայական տիրույթի իրերի և առարկաների իրական վիճակը ,
• Հակադրության բացակայություն — հակադրվող տվյալները ուսուցանվող ընտրանքում կարող են բերել ուսուցանվող ցանցի վատ որակի ,

Մուտքային տվյալները բերվում են այնպիսի տեսքի, որով դրանք կարելի է տալ ցանցի մուտքին։ Տվյալների ֆայլում յուրաքանչյուր գրառում կոչվում է "ուսուցանվող զույգ" կամ "ուսուցանվող վեկտոր" : Ուսուցանվող վեկտորը պարունակում է ցանցի յուրաքանչյուր մուտքի մեկական արժեք և կախված ուսուցման տիպից (ուսուցչի հետ կամ առանց) մեկական արժեք ցանցի յուրաքանչյուր ելքի համար։ Ցանցի ուսուցումը «հուքային» ընտրանքում, որպես կանոն, որակյալ արդյուքներ չի տալիս։ Գոյություն ունեն ցանցի «ընկալման» բարելավման մի շարք հնարավորություններ .

• Նորմալացումը կատարվում է , երբ տարբեր մուտքերում հանդիպում են տարբեր չափողականության տվյալներ։ Օրինակ, ցանցի առաջին մուտքին տրվում են 0-ից մինչև միավոր մեծության արժեքներ , իսկ երկրորդին ՝ 100-իc մինչև 1000: Երկրորդ մուտքում արժեքների նորմավորման բացակայության դեպքում ցանցի ելքի վրա մեծ ազդեցություն կունենա, քան արժեքը առաջին մուտքի դեպքում։ Բոլոր մուտքային և ելքային տվյալների չափողականության նորմավորումը կատարվում է միասին,
• Քվանտավորումը կատարվում է անընդհատ մեծությունների նկատմամբ, որոնց համար առանձնացվում է դիսկրետ արժեքների հավաքածու։ Օրինակ, քվանտավորումը կիրառվում է ձայնային ազդանշանների հաճախականության տրման ժամանակ ՝ բանավոր խոսքի ճանաչման համար ,
• Ֆիլտրացիան իրականացվում է «աղավաղված» տվյալների համար։

Բացի այդ, մեծ դեր է խաղում ինչպես մուտքային, այնպես էլ ելքային տվյալների ներկայացումը։ Ենթադրենք ցանցը ուսուցանում է տառերի ճանաչումը նկարներով և ունի մեկ թվային ելք ՝ այբուբենում տառի համարը։ Այդ դեպքում ցանցը կստանա ոչ ճշմարիտ տեղեկություն այն մասին, որ 1 և 2 համարի տառերը իրար ավելի նման են, քան 1 և 3 համարներինը , ինչը ընդհանուր առմամբ ճիշտ չէ։ Այդ դեպքում, նման իրավիճակներից խուսափելու համար, կիրառում են մեծ թվով ելքերով ցանցի տրամաբանությունը , երբ յուրաքանչյուր ելք ունի իր իմաստը։ Որքան ցանցի ելքերը շատ են, այնքան դասերի միջև հեռավորությունը շատ է և ավելի բարդ է զիջումը։

Ցանցի տրամաբանության ընտրություն

Ցանցի տիպը ընտրելիս պետք է ելնել խնդրի դրվածքից և առկա ուսումնասիրվող տվյալներից։Ուսուցչի միջոցով ուսուցման դեպքում անհրաժեշտ է ընտրանքի յուրաքանչյուր էլեմենտի համար «փորձագիտական» գնահատական։ Երբեմն նման գնահատականի ստացումը մեծ տվյալների զանգվածների համար ուղղակիորեն անհնար է։ Այդպիսի դեպքերում ճիշտ ընտրություն է հանդիսանում առանց ուսուցչի ուսուցանվող ցանցի ընտրությունը, օրինակ ՝ Կոխոնենի ինքնաձևավորվող քարտը կամ Խոպֆիլդի նեյրոնային ցանցը: Այլ խնդիրների լուծման դեպքում , ինչպիսիք են ժամանակային շարքերի կանխատեսումը , փորձագիտական գնահատականները , արդեն պարունակվում են մուտքային տվյալներում և կարող են առանձնացվել դրանց մշակման դեպքում։ Այդ դեպքում կարելի է օգտագործել բազմաշերտ պերցեպտրոնը կամ Վորդի ցանցը:

Ցանցի հատկությունների փորձագիտական ընտրություն

Ընդհանուր կառուցվածքի ընտրությունից հետո կարելի է փորձագիտորեն ընտրել ցանցի պարամետրերը։ Պերցեպտրոնի տիպի ցանցերի համար դա կլինի շերտերի թիվը , թաքնված շերտերում բլոկների թիվը (Վորդի ցանցի համար), շրջանցող կապերի առկայությունը կամ բացակայությունը ,նեյրոնների փոխանցելիության գործառույթները։ Շերտերի և նեյրոնների քանակի ընտրության դեպքում պետք է ելնել նրանից, որ "ցանցի ընդհանուր հնարավորությունները այնքան մեծ են, որքան շատ են նեյրոնների միջև գումարային կապերը" : Մյուս կողմից , կապերի քանակը վերևից սահմանափակված է ուսուցանվող տվյալներում գրառումների քանակով։

Ուսուցման պարամետրերի փորձագիտական ընտրություն

Կոնկրետ տրամաբանության ընտրությունից հետո անհրաժեշտ է ընտրել ուսուցանվող նեյրոնային ցանցի պարամետրերը։ Այս էտապը առավելապես կարևոր է ուսուցչի օգնությամբ ուսուցանվող ցանցերի համար։ Պարամետրերի ճիշտ ընտրությունից կախված է ոչ միայն այն, թե որքան արագ ցանցը ճիշտպատասխաններ կտա։ Օրինակ, ցածր արագությամբ ուսուցման ընտրությունը կմեծացնի գեներացիայի ժամանակը , սակայն միևնույն ժամանակ թույլ կտա խուսափելու ցանցի անդամալուծությունից: Ուսուցման ժամանակի մեծացումը կարող է բերել ինչպես գեներացման ժամանակի մեծացմանը, այնպես էլնվազեցմանը ՝ կախված սխալների մակերեսի ձևից։ Ելնելով պարամետրերի նման հակազդեցությունից , կարելի է ենթադրել, որ նրանց արժեքները պետք է փորձագիտորեն ընտրել ՝ ղեկավարվելով ուսուցման պարամետրերով (օրինակ ՝ սխալների նվազեցում կամ ուսուցման ժամանակահատվածի կրճատում) :

Ցանցի փաստացի ուսուցում

Ուսուցման պրոցեսում ցանցը որոշակի հերթականությամբ ուսումնասիրում է ուսուցանվող ընտրանքը։ Ուսումնասիրման հերթականությունը կարող է լինել հետևողական , պատահական և այլն։ Առանց ուսուցչի ուսուցանվող որոշ ցանցեր ,օրինակ, Խոպֆիլդի ցանցերը դիտարկում են ընտրանքը մեկ անգամ։ Այլք, օրինակ՝ Կոխոնենի ցանցը,ինչպես նաև ցանցեր,որոնք ուսուցանվում են ուսուցչի միջոցով, ընտրանքը դիտարկում են բազմաթիվ անգամներ , և այդ դեպքում ընտրանքով մեկ ամբողջական անցումը կոչվում է "ուսուցման դարաշրջան" : Ուսուցչի օգնությամբ ուսուցման ժամանակ մուտքայինտվյալների հավաքածուն բաժանվումէ երկու մասի ՝ փաստացի ուսուցանվող ընտրանք և թեսթային տվյալներ , իսկ բաժանման սկզբունքը կարող է լինել կամայական։ Ուսուցանվող տվյալները տրվում են ցանցին ուսուցման համար , իսկ ստուգողները օգտագործվում են ցանցի սխալների հաշվարկման համար (ստուգող տվյալները երբեք ցանցի ուսուցման համար չեն կիրառվում) : Այդ պարագայում, եթե ստուգող տվյալների միջոցով սխալները նվազեցվում են, ապա իսկապես կատարվում է ընդհանրացում։ Եթե սխալը ուսուցանվող տվյալներում շարունակում է նվազել, իսկ թեսթային տվյալներում ավելանալ, դա նշանակում է , որ ցանցը դադարել է ընդհանրացում կատարել և ուղղակի «հիշում է » ուսուցանվող տվյալները։ Այդ հայտնությունը կոչվում է ցանցի վերաուսուցում կամ օվերֆիտտինգ : Նման դեպքերում սովորաբարուսուցումը ընդհատում են։ Ուսուցման պրոցեսում կարող են ի հայտ գալ նաև այլ խնդիրներ, ինչպիսիք են անդամալուծությունը կամ ցանցի հայտնվելը լոկալ սխալների մակերևույթ։ Հնարավոր չէ նախապես գուշակել այս կամ այն խնդրի առաջացումը և տալ դրանց լուծման ցուցումներ։

Ուսուցման համարժեքության ստուգում

Նույնիսկ առաջին հայացքից հաջող ուսուցման դեպքում ցանցը ոչ միշտ է ուսուցանվում հենց նրան, ինչին ստեղծողը ձգտել է հասնել։ Հայտնի դեպք է , երբ ցանցւ ուսուցանվել է նկարներով տանկերի ճանաչման համար, սակայնավելի ուշ պարզվել է , որ բոլոր տանկերը նկարվել են միևնույն ֆոնի վրա։ Արդյունքում ցանցը «սովորել է » ճանաչել լանդշաֆտի այդ տիպը այն բանի փոխարեն, որպեսզի «սովորի» ճանաչել տանկերը: Այդ պարագայում, ցանցը «հասկանում է » ոչ այն, ինչը նրանից պահանջվում է, այլ այն , ինչը հնարավոր է ընդհանրացնել։

Դասակարգում ըստ մուտքային ինֆորմացիայի տեսակի

• Նմանատիպ նեյրոնային ցանցեր (օգտագործում են ինֆորմացիան իրական թվերի ձևով );
• Երկակի նեյրոնային ցանցեր (մշակում են երկուական տեսքով ներկայացված ինֆորմացիան):

Դասակարգում ըստ ուսուցման բնութագրի

• Ուսուցչի հետ ուսուցում — նեյրոնային ցանցի որոշումների ելքային տիրույթը հայտնի է ;
• Ուսուցում առանց ուսուցչի — նեյրոնային ցանցը ձևավորում է որոշումների ելքային տիրույթը ՝ միայն մուտքային ազդեցությունների հիման վրա։ Այդպիսի ցանցերը կոչվում են ինքնակազմակերպվող ;
• Ուսուցում կցորդով — շրջակա միջավայրի խրախուսումների և տուգանքների նշանակման համակարգ։

Դասակարգում ըստ սինապսների կարգավորումների բնութագրի

• Ֆիքսված կապերով ցանցեր (ցանցի կշռային գործակիցները ընտրվում են անմիջապես՝ ելնելով խնդրի պայմաններից , այդ դեպքում ${\boldsymbol {d}}W/dt=0$, որտեղ՝ W — ցանցի կշռային գործակիցներն են );
• դինամիկ կապերով ցանցեր (նրանց համար ուսուցման պրոցեսը կատարվում է սինապտիկական կապերի կարգավորմամբ, այսինքն ՝ ${\boldsymbol {d}}W/dt\not =0$, որտեղ՝ W — ցանցի կշռային գործակիցներն են):

Դասակարգում ըստ ազդանշանների փոխանցման ժամանակի

Նեյրոնային ցանցերի շարքում ակտիվացնող ֆունկցիան կարող է կախված լինել ոչ միայն կապերի կշռային գործակիցներից $w_{ij}$, այլ նաև կապի կանալներով իմպուլսների (ազդանշանների) փոխանցման ժամանակից $\tau _{ij}$: Այդ պատճառով ընդհանուր տեսքով կապի ակտիվացնող (փոխանցող) ֆունկցիան $c_{ij}$ էլեմենտից $u_{i}$ էլեմենտին $u_{j}$ ունի հետևյալ տեսքը . $c_{ij}^{*}=f[w_{ij}(t),u_{i}^{*}(t-\tau _{ij})]$. Այդ դեպքում սինխրոն ցանց անվանում են ցանցը, որի $\tau _{ij}$ փոխանցման ժամանակը յուրաքանչյուր կապի հավասար է կամ զրոյի , կամ ֆիքսված հաստատունի $\tau$ : Ոչ սինխրոն անվանում են ցանցը, որի $\tau _{ij}$ փոխանցման ժամանակը յուրաքանչյուր կապի համար $u_{i}$ и $u_{j}$ էլեմենտների միջև նույնպես անընդհատ է։

Դասակարգում ըստ կապերի բնութագրերի

Ուղիղ տարածման ցանցեր (Feedforward)

Բոլոր կապերը խստորեն ուղղված են մուտքային նեյրոններից ելքայիններին։ Նմնանատիպ ցանցերի օրինակներ են հանդիսանում Ռոզենբլատի պերցեպտրոնը, բազմաշերտ պերցեպտրոնը, Վորդի ցանցը :

Ռեկուրենտիվ նեյրոնային ցանցեր

Ելքային նեյրոնից կամ նեյրոններից ազդանշանը թաքնված շերտից մասնակիորեն փոխանցվում է ետ նեյրոնի մուտքային շերտին (ետադարձ կապ): Ռեկուրենտիվ Խոպֆիլդի ցանցը «ֆիլտրում է» մուտքային տվյալները, վերադառնալով կայուն վիճակի, և այդ կերպ թույլ է տալիս լուծել տվյալների սեղմման և ասոցիատիվ հիշողությանկառուցման խնդիրներ: Ռեկուրենտիվ ցանցերի մասնավոր դեպք են հանդիսանում երկուղղվածության ցանցերը։ Նման ցանցերում շերտերի միջև առկա են կապեր ինչպես մուտքային շերտից ելքայինին, այնպես էլ ընդհակառակը։ Դասական օրինակ է հանդիսանում Կոսկոյի նեյրոնային ցանցը:

Ռադիկալ-բազիսային ֆունկցիաներ

Արհեստական նեյրոնային ցանցերը որպես ակտիվացնող ֆունկցիա կիրառում են ռադիկալ-բազիսային ֆունկցիաները (նման ցանցերը կարճ անվանվում են RBF-ցանցեր): Ռադիկալ-բազիսային ֆունկցիաների ընդհանուր տեսքը հետևյալն է .

$f(x)=\phi \left({\frac {x^{2}}{\sigma ^{2}}}\right)$, օրինակ, $f(x)=e^{-{{x^{2}} \over {\sigma ^{2}}}},$

որտեղ` $x$ — նեյրոնի մուտքային ազդանշանների վեկտոր, $\sigma$ —ֆունկցիայի պատուհանի լայնություն , $\phi (y)$ — նվազող ֆունկցիա (առավել հաճախ հավասար է զրոյի ոչ վեկտորային հատվածում ):

Ռադիկալ-բազիսային ցանցը բնութագրվում է երեք առանձնահատկություններով.

1. Միակ թաքնված շերտ

2. Միայն թաքնված շերտի նեյրոնները ունեն ոչ գծային ակտիվացնող ֆունկցիա

3. Մուտքային և տաքնված շերտի կապերի սինապտիկական կշիռները հավասար են միավորի

Ուսուցման պրոցեսը նայել գրականությունում։

Ինքնակազմակերպվող քարտեզ

Նմանատիպ ցանցերը իրենցից ներկայացնում են ուսուցչի հետ ուսուցանվող մրցակցային նեյրոնային ցանց,որը իրականացնում է վիզուալիզացիայի և կլաստերիզացիայի խնդիր։ Հանդիսանում է բազմաչափ տարածության նախագծման մեթոդ ավելի փոքր չափողականություն ունեցող տարածությունում (առավել հաճախ երկչափ) , կիրառվում է նաև մոդելավորման խնդիրներում, կանխատեսման խնդիրներում և այլն։ Հանդիսանում է Կոխոնենի նեյրոնային ցանցի տեսակներից մեկը։ Կոխոնենի ինքնաձևավորվող քարտեզները առաջին հերթին ծառայում են վիզուալիզացիայի և սկզբնական («բանական») տվյալների վերլուծության համար։

Կոխոնենի ցանցում ազդանշանը միանգամից տարածվում է բոլոր նեյրոնների վրա , սինապսների բացակայող կշիռները ստացվում են որպես հանգույցի վիճակի կորդինատներ և ելքային ազդանշանը ձևավորվում է «հաղթողը տանում է ամեն ինչ» սկզբունքով, այսինքն՝ ոչ զրոյական ելքային ազդանշանը ունի մուտքի օբյեկտին փոխանցվողին մոտ նեյրոն (սինապսների կշիռների իմաստով ) : Ուսուցման պրոցեսում սինապսների կշիռները կարգավորվում են այնպես, որ հանգուցային վանդակները «տեղավորվում են » լոկալ տվյալների տեղերում , այսինքն ՝ նկարագրում են տվյալների ամպի կլաստերային կառուցվածքը , մյուս կողմից ՝ նեյրոնների միջև կապերը համապատասխանում են նախանշանների տարածությունում հարևան կլաստերների համապատասխան կապերի հետ։

Հարմար է դիտարկել այնպիսի քարտեզներ, ինչպիսիք են հանգույցների երկչափ ցանցը , որոնք տեղակայված են բազմաչափ տարածությունում։ Սկզբնապես ինքնաձևավորվող քարտեզը իրենից ներկայացնում է հանգույցների ցանց, որոնք փոխկապված են։ Կոխոնենը դիտարկել է հանգույցների միջև կապերի երկու տարբերակ ՝ ուղղանկյուն և բազմանկյուն ցանց։ Տարբերությունը կայանում է նրանում, որ ուղղանկյուն ցանցում յուրաքանչյուր հանգույց կապված է 4 հարևաններով, իսկա բազմանկյունում՝ 6 մոտակա հանգույցներով։ Այդպիսի երկու ցանցերի համար Կոխոնենի ցանցի կառուցման պրոցեսը տարբերվում է միայն այն տեղում, որտեղ մոտենում են այդ հանգույցի հարևանները։

Ցանցի նախնական ներդրումը տվյալների ցանցում իրականացվում է կամայականորեն։ SOM_PAK հեղինակային փաթեթում առաջարկվում է տվյալների տիրույթում հանգույցների նախնական տեղակայման պատահական տարբերակներ և հանգույցների տեղակայման տարբերակը հարթությունում։ Դրանից հետո հանգույցները սկսում են տեղաբաշխվել տարածությունում համաձայն հետևյալ ալգորիթմի .

1. Պատահականորեն ընտրվում են տվյալների կետերը $x$.
2. Որոշվում է $x$ մոտակա քարտեզի հանգույցը (BMU — Best Matching Unit).
3. Այդ հանգույցը տեղակայվում է տրված քայլում x -ի ուղղությամբ։ Սակայն, այն միայնակ չի տեղակայվում, այլ իր հետ ներառում է որոշակի քանակության մոտակա հանգույցներ քարտեզի հարևանությամբ։ Բոլոր տեղաշարժվող հանգույցներից առավել ուժեղ տեղափոխվում է կենտրոնական ՝ տվյալների կետին մոտ հանգույցը,իսկ մնացածները, որքն հեռու են BMU-ից , այնքան ավելի դանդաղ են տարհանվում։ Քարտեզի կարգավորման ժամանակ առանձնացնում են 2 էտապներ ՝ կոպիտկարգավորման (fine-tuning) և ճշգրիտ կարգավորման (fine-tuning) փուլեր։ Առաջին փուլում ընտրվում են շատ հարևան արժեքներ և հանգույցների տեղաշարժը կրում է կոլեկտիվ բնույթ։ Արդյունքում քարտեզը « ուղղվում է » և կոպիտ կերպով արտապատկերում է տվյալների կառուցվածքը, իակ ճշգրիտ կարգավորման փուլում հարևանության շառավիղը 1-2 է և կարգավորվում են արդեն հանգույցների անհատական դիրքերը։ Բացի այդ, տեղաշարժման մեծությունը ժամանակի ընթացքում համամասնորեն նվազում է , այսինքն ՝ ուսուցման առաջին փուլում ավելի մեծ է , իսկ ավարտին հասնելիս հավասարվում է զրոյի։
4. Ալգորիթմը որոշակի ժամանակահատվածի ընթացքում կրկնվում է (իհարկե, մի շարք քայլեր, կարող են տարբեր լինել՝ կախված առաջադրանքից):

Հայտնի ցանցերի տիպեր

• Ռոզենբլատի պերցեպտրոն;
• Խակիմովի սպլայն-մոդել;
• Բազմաշերտ պերցեպտրոն;
• Ջորդանի ցանց;
• Էլմանի ցանց;
• Հեմինգի ցանց;
• Վորդի ցանց;
• Խոպֆիլդի ցանց;
• Կոխոնենի ցանց;
• Նեյրոնային գազ
• Կոգնիտրոն;
• Նեոկոգնիտրոն;
• Քաոսային նեյրոնային ցանց;
• Օսցիլյատորային նեյրոնային ցանց;
• Հանդիպակաց տարածման ցանց;
• Ռադիկալ բազիսային ֆունկցիաների ցանց (RBF-ցանց);
• Ամբողջական ռեգրեսիայի ցանց;
• Հավանականային ցանց;
• Ռեշետովի հավանականային նեյրոնային ցանց
• Սիամական նեյրոնային ցանց;
• Արդյունավետ ռեզոնանսի ցանցեր.
• Փաթույթային նեյրոնային ցանց (convolutional neural network):

Տարբերությունը Ֆոն Նեյմանի ճարտարապետությամբ մեքենաներից

Հաշվողական համակարգերը, հիմնված արհեստական նեյրոնային ցանցերի վրա, օժտված են մի շարք որակներով , որոնք բացակայում են Ֆոն Նեյմանի ճարտարապետությամբ մեքենաներում (սակայն բնորոշ են մարդկային ուղեղին).

• Մասսայական զուգահեռականություն;
• Ինֆորմացիայի և հաշվարկների բաշխված ներկայացում;
• Ընդհանրացման և ուսուցման ունակություն;
• Արդյունավետություն;
• Ինֆորմացիայի բովանդակային մշակման կարողություն;
• Սխալների նկատմամբ տոլերանտություն;
• Ցածր էներգատարություն։

Հավելվածների օրինակներ

Ֆինանսական ժամանակային շարքերի կանխատեսում

Մուտքայինտվյալներ - տարվա ընթացքում աճուրդի կուրսը։ Խնդիրն է որոշել վաղվա կուրսը։ Կատարվում է հետևյալ վերափոխումը ՝ կառուցվում է շարք այսօրվա, երեկվա և նախորդ օրվա կուրսերով։ Հաջորդ շարքում տեղակայվում են նախորդից մեկ օր առաջվա տվյալները և այդպես շարունակ։ Ստացված հավաքածուում ուսումնասիրվում է ցանց 3 մուտքով և 1 ելքով ՝ վաղվա օրվա կուրսը։ Մուտքերը կուրսերն են ՝ 1 օր առաջ, 2 օր առաջ և 3 օր առաջ։ Ուսումնասիրվող ցանցի մուտքին տալիս ենք մուտքային տվյալների արժեքները , իսկ ելքում ստանում ենք վաղվա կուրսը։ Դժվար չէ նկատել ,որ այս դեքում ցանցը ուղղակիորեն ելքագրում է մյուս երեք պարամետրերից կախված ելք։ Եթե ցանկալի է հաշվի առնել նաև ինչ-որ այլ պարամետր (օրինակ ինչ-որ ինդեքս), ապա այն պետք է մուտքագրել որպես մուտքային պարամետր, ուսումնասիրել այն և ստանալ նոր արդյունք։ Առավել ճշգրիտ ուսուցման համար անհրաժեշտ է կիրառել [Սխալների հետադարձ տարածման մեթոդը,որպես առավել կանխատեսելի և ոչ բարդ իրականացվելի մեթոդ։

Հոգեդիագնոստիկա

Մ. Գ. Դոռեռի և իր համահեղինակների աշխատանքները նվիրված են նեյրոնային ցանցերի փորձագիտական համակարգերի հոգեբանական ինտուիցիայի զարգացման հնարավորությունների հարցերի քննարկմանը։ Ստացված արդյունքները հնարավորություն են տալիս բացահայտելու նեյրոնային ցանցերի ինտուիցիայի մեխանիզմը, որը նրանց կողմից ցուցաբերվում է հոգեվերլուծական խնդիրների լուծման ժամանակ։ Համակարգչային մեթոդների կողքին ստեղծվել է ոչ ստանդարտ ՛՛ինտուիտիվ՛՛ մեթոդ։

Հեմոինֆորմատիկա

Նեյրոնային ցանցերը լայնորեն կիրառվում են քիմիական և բիոքիմիական հետազոտություններում Ներկայումս նեյրոնային ցանցերը հանդիսանում են խեմոինֆորմատիկայի ամենատարծված մեթոդներից մեկը для գույքային հարաբերությունների քանակական կապերի որոնման համար,որոնց շնորհիվ ակտիվորեն կիրառվում են որպես ֆիզիկա- քիմիական և բիոլոգիական ակտիվությունների կանխատեսման համար, ինչպես նաև նոր դեղորայքային պարագաների մշակման համար։

Նեյրոկառավարում

Նեյրոնային ցանցերը հաջող կերպով ընդունվում են կառավարման համակարգերի սինթեզի համար դինամիկ օբյեկտներով: Նեյրոցանցերը օժտված են ունիկալ հատկությունների շարքով, որոնք դրանք ավելի հզոր գործիք են դարձնում ղեկավարման համակարգերի ստեղծման համար։ Դրանք են ՝ օրինակների վրա ուսուցման հնարավորությունը և տվյալների ընդհանրացում , կառավարման օբյեկտի հատկություններին և արտաքին միջավայրի փոփոխություններին հարմարվելու ունակությունը , ոչ գծային կարգավորիչների սինթեզին հարմարվելու ունակություն, վնասված տարերրի բարձր դիմադրողականությունը իսկզբանե ներդրված է երկակի նեյրոցանցային կառուցվածքում։

Հղումներ

• Neural Networks հոդվածը Curlie-ում (ըստ DMOZ-ի)

Գրականություն

• Круглов Владимир Васильевич, Борисов Вадим Владимирович, Искусственные нейронные сети. Теория и практика (1-е), М., «Горячая линия - Телеком» — 382, էջեր 382 — 382 էջ, ISBN 5-93517-031-О։
• В. А. Терехов, Д. В. Ефимов, И. Ю. Тюкин, Нейросетевые системы управления (1-е), «Высшая школа», էջ 184, ISBN 5-06-004094-1։
• Уоссермен, Ф., Нейрокомпьютерная техника: Теория и практика (Neural Computing. Theory and Practice) (Мир), М. էջ 240, ISBN 5-03-002115-9։
• Хайкин С. (Neural Networks: A Comprehensive Foundation) (2-е), М., ««Вильямс»», էջ 1104, ISBN 0-13-273350-1։
• Роберт Каллан, Основные концепции нейронных сетей (The Essence of Neural Networks First Edition) (1-е), ««Вильямс»», էջ 288, ISBN 5-8459-0210-X։
• Л.Н. Ясницкий, Введение в искусственный интеллект (1-е), «Издательский центр "Академия"», էջ 176, ISBN 5-7695-1958-4։
• Г. К. Вороновский, К. В. Махотило, С. Н. Петрашев, С. А. Сергеев, Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности (заказное), Х., «ОСНОВА», էջ 112, ISBN 5-7768-0293-8։
• Миркес Е. М., Нейрокомпьютер. Проект стандарта. - Новосибирск։ Наука, 1999. - 337 с. ISBN 5-02-031409-9 Другие копии онлайн։ [3].
• Нейроинформатика. Новосибирск: Наука, 1998.
• Беркинблит М. Б., Нейронные сети (МИРОС и ВЗМШ РАО), М. էջ 96, ISBN 5-7084-0026-9։
• Хакимов Б.В., Моделирование корреляционных зависимостей сплайнами на примерах в геологии и экологии (НЕВА), С-Пб. էջ 144։
• Еремин Д.М., Гарцеев И.Б., Искусственные нейронные сети в интеллектуальных системах управления (МИРЭА), М. էջ 75, ISBN 5-7339-0423-2։
• Савельев А. В.. На пути к общей теории нейросетей. К вопросу о сложности // журнал «Нейрокомпьютеры: разработка, применение»., Издательство "Радиотехника". — № 4-5.

• Сигеру Омату, Марзуки Халид, Рубия Юсоф, Нейроуправление и его приложения (Neuro-Control and its Applications) (2-е), М., «ИПРЖР», էջ 272, ISBN ISBN 5-93108-006-6։
• Станислав Осовский, Нейронные сети для обработки информации (Sieci neuronowe do przetwarzania informacji (լեհ.)) (խմբ. Перевод И. Д. Рудинского), М., «Финансы и статистика», էջ 344, ISBN 5-279-02567-4։