Արհեստական նեյրոնային ցանց

Վիքիպեդիայից՝ ազատ հանրագիտարանից
Պարզ նեյրոնային ցանցի սխեմա:Կանաչ գույնով նշանակված են մուտքային նեյրոնները , երկնագույնով` թաքնված նեյրոնները, դեղինով`  ելքային նեյրոնը

Արհեստական նեյրոնային ցանցեր (ԱՆՑ), մաթեմատիկական մոդելներ, ինչպես նաև նրանց ծրագրային կամ սարքային իրականացումներ, որոնք կառուցված են բիոլոգիական նեյրոնային ցանցերի - ցանցեր կենդանի օրգանիզմի նեյրոնային բջիջներից կազակերպական կամ ֆունկցիայավորման սկզբունքով։ Այդ հասկացությունը առաջացել է գլխուղեղ-ում առաջացող պրոցեսների ուսումնասիրման և այդ պրոցեսների մոդելավորման փորձերի արդյունքում։ Այդպիսի առաջին փորձը Մակկալոկիև Պիթսի նեյրոնային ցանցերն էին [1]. Հետագայում, ուսուցողական ալգորիթմների մշակումից հետո , ստացված մոդելները սկսեցին կիրառել պրակտիկ նպատակներով ` կանխատեսման խնդիրներում, կերպարների ճանաչման համար, կառավարման խնդիրներում և այլն :

ԱՆՑ-ն իրենից ներկայացնում է փոխկապված և փոխհամագործակցող (արհեստական նեյրոնների) պարզ պրոցեսորների համակարգ:Այդպիսի պրոցեսորները սովորաբար բավականին պարզ են, հատկապես, համեմատած անհատական համակարգիչներում կիրառվող պրոցեսորների հետ: Նմանատիպ ցանցի յուրաքանչյուր պրոցեսոր գործ ունի միայն ազդանշանների հետ, որոնք պարբերականորեն ստանում է, և ազդանշանների, որոնք պարբերաբար ուղարկում է այլ պրոցեսորների: Այնուամենայնիվ, այդպիսի լոկալ պարզ պրոցեսորները միասին ընդունակ են կատարելու բավականին բարդ խնդիրներ:

Մեքենայական ուսուցման տեսանկյունից նեյրոնային ցանցը իրենից ներկայացնում է կերպարների ճանաչման, դիսկրիմինանտ վերլուծության, կլաստերիզացիայի մեթոդի և նմանատիպ այլ մեթոդների մասնավոր դեպք: Մաթեմատիկական տեսանկյունից , նեյրոնային ցանցերի ուսուցումը ոչ գծային օպտիմալացման բազմապարամետրական խնդիր է: Կիբեռնետիկայի տեսանկյունից նեյրոնային ցանցը կիրառվում է ադապտիվ կառավարման խնդիրներում և որպես ալգորիթմներ ռոբոտատեխնիկայի համար: Հաշվողական տեխնիկայի և ծրագրավորման զարգացման տեսակյունից նեյրոնային ցանցը արդյունավետ պարալելիզմի խնդիրների լուծման միջոց է : Արհեստական ինտելեկտի տեսանկյունից ԱՆՑ-ն հանդիսանում է կոննեկտիվիզմի հոսքի փիլիսոփայական հիմքը և կառուցվածքային մոտեցման հիմնական ուղղությունը համակարգչային ալգորիթմների միջոցով (մոդելավորում) բնական ինտելեկտի կառուցման հնարավորությունների ուսումնասիրումը:

Նեյրոնային ցանցերը չեն ծրագրավորվում բառից բուն իմաստով, դրանք ուսուցանվում են. ուսուցանելու հնարավորությունը նեյրոնային ցանցերի գլխավոր առանձնահատկություններից է ավանդական ալգորիթմների առջև: Տեխնիկապես ուսուցումը կայանում է նեյրոնների միջև կապերի գործակիցների առկայությամբ: Ուսուցման պրոցեսում նեյրոնային ցանցը ունակ է հայտնաբերել մուտքային և ելքային տվյալների միջև բարդ կախվածություններ, ինչպես նաև կատարել ընդհանրացում: Դա նշանակում է, որ հաջող ուսուցման դեպքում ցանցը կարող է վերադարձնել ճիշտ արդյունք այն տվյալների հիման վրա, որոնք բացակայում էին ուսուցողական ընտրանքում, ինչպես նաև ոչ լիարժեք և/կամ «աղմկոտ», մասամբ աղավաղված տվյալների հիման վրա։

Բովանդակություն

Ժամանակագրություն[խմբագրել]

  • 1943 - Ու. Մակկալոկը և Ու. Պիտսը ձևավորում են նեյրոնային ցանցի հասկացությունը նյարդային ակտիվության և գաղափարների տրամաբանական հաշվարկի վերաբերյալ հիմքային հոդվածում [1].
  • 1948 - Նորբերտ Վիները գործընկերների հետ միասին հրատարակեցին կիբերնետիկայի մասին աշխատանքը։ Հիմնական գաղափարը հանդիսանում է մաթեմատիկական մոդելների միջոցով բարդ բիոլոգիական պրոցեսների ներկայացումը։
  • 1949 - Դ. Խեբբը առաջարկում է ուսուցման առաջին ալգորիթը։
  • 1958 Ֆ. Ռոզենբատտը ստեղծում է միաշերտ Պերսեպտրոն։ Պերցեպտրոնը ոընի որոշակի առանձնահատկություն ` այն կիրառում է կերպարների ճանաչման , եղանակի կանխատեսման և այլ խնդիրներում : Թվում էր, թե ամբողջական արհեստական ինտելեկտի կառուցումը այլևս սարերի ետևում չէ: Մակկալոկը և նրա հետնորդները դուրս եկան «Կիբերնետիկական ակումբից»։
  • 1960 թ.-ին Կաղապար:TranslationՈւիդրոուն իր ուսանող Խոֆֆոմի հետ համատեղ դելտա-կանոնի հիման վրա (Ուիդրոուի բանաձևեր) մշակեցին Ադալինը , որը անմիջապես սկսեց կիրառվել կանխատեսման և արդյունավետ կառավարման խնդիրներում։ Ադալինը կառուցվել էր նրանց (Ուիդրոու - Խոֆֆոմ) իսկ կողմից արդեն ստեղծված սկուզբունքորեն նոր էլեմենտների բազայի հիման վրա` մեմիստորի հիման վրա [2]. Այժմ Ադալինը հանդիսանում է ազդանշանների մշակման բազմաթիվ համակարգերի ստանդարտ էլեմենտը։[3]
  • 1963 թ.-ին АН СССР Ինֆորմացիայի փոխանցման խնդիրների ինստիտուտում Ա. Պ. Պետրովի կողմից կատարվում է պերցեպտրոնի համար «բարդ» խնդիրների մանրակրկիտ ուսումնասիրություն [4]. ԱՆՑ մոդելավորման ոլորտում այդ պիոներական աշխատանքը ԽՍՀՄ-ում ծառայեց որպես Մ. Մ. Բոնգարդի համար նոր գաղափարների կոմպլեքսի աղբյուր , որպես «պերցեպտրոնի ալգորիթմի փոքր համեմատական ձևափոխություն թերությունները ուղղելու համար [5] : Ա. Պետրովի և Մ. Մ. Բոնգարդի աշխատանքները նպաստեցին , որ ԽՍՀՄ-ում ԱՆՑ վերաբերյալ առաջին էյֆորիայի ալիքը հարթվի :
  • 1969 թ.-ին Մ. Մինսկին հրապարակում է պերցեպտրոնի սահմանափակության փաստերը և ցույց է տալիս , որ այն ունակ չէ լուծելու մի շարք խնդիրներ ("Ազնվության" և "միայնակ բլոկում" խնդիրներ)` կապված ներկայացումների այլաձևության հետ։ Նեյրոնային ցանցերի նկատմամբ հետքրքրությունը կտրուկ ընկնում է։
  • 1973 թ;-ին Վ. Վ. Խակիոմովը առաջարկում է սպլայների հիման վրա սինապսներով ոչ գծային մոդել և ներդնում է այն բժշկության, էկոլոգիայի, երկրաբանության խնդիրների լուծման համար։ Խակիմով Վ. Վ. Սպլայներով կոռելյացիոն կախվածությունների մոդելավորում երկրաբանության և էկոլոգիայի օրինակներով . — Մ.: «ՄՊՀ»: «Նևա»,2003, 144 էջ.
  • 1974 — Պոլ Ջ. Վերբոսը [6] և Ա. Ի. Գալուշկինը[7] միաժամանակ ստեղծում են սխալների հետադարձ տարածման ալգորիթը բազմաշերտ պերցեպտրոնների ուսումնասիրման համար : Հայտնագործությունը առանձնապես ուշադրության չի արժանանում:
  • 1975 — ֆուկսիման իրենից ներկայացնում է Կոգնիտրոն` ինքնաձևավորվող ցանց ` նախատեսված այլընտրանքային կերպարների ճանաչման համար , սակայն դա հասանելի է փաստացիորեն կերպարների բոլոր վիճակների հիշման պարագայում :
  • 1982 — մոռացության էտապից հետո նեյրոնային ցանցերի նկատմամբ հետքրքրությունը կրկին աճում է : Ջ. Խոպֆիլդը (en:John Joseph Hopfield) ցույց տվեց , որ հետադարձ կապերով նեյրոնային ցանցը կարող է իրենից ներկայացնել համակրգ, որը նվազեցնում է էներգիան (այսպես կոչված Խոպֆիլդի ցանց) : Կոխոնենի կողմից ներկայացված են անցերի մոդելներ , որոնք ուսուցանվում են առանց ուսուցչի (Կոխոնենի նեյրոնային ցանց)և լուծում են կլաստերիզացիայի խնդիրներ,տվյալների վիզուալիզացիա (Կոխոնենի ինքնակազմակերպվող քարտ)և տվյալների վերլուծության այլ խնդիրներ :
  • 1986Դովիդ Ի. Ռումելխարտի, Ջ. Ե. Խինտոնի և Ռոնալդ Ջ. Վիլյամսի[8] ևիրարից անկախ ու միաժամանակ Ս. Ի. Բարցևի և Վ. Ա. Օխոնինի կողմից (Կրասնոյարսկյան խումբ)[9] մշակվել և զարգացել է սխալների հետադարձ տարածման մեթոդը. Սկսվեց ուսուցանվող նեյրոնային ցանցերի նկատմամբ հետաքրքրությունը:

Հայտնի կիրառություններ[խմբագրել]

Կերպարների ճանաչում և դասակարգում[խմբագրել]

Որպես կերպարներ կարող են հանդես գալ տարբեր օբյեկտներ ` տեքստի սիմվոլներ , պատկերներ , երաժշտության օրինակներ և այլն : Ուսուցման ժամանակ ցանցին առաջարկվում են կերպարների տարբեր օրինակներ ` նշելով , թե որ դասին է այն պատկանում : Օրինակը, որպես կանոն, ներկայացվում է որպես արժեքների նախանշանների վեկտոր : Այդ դեպքում բոլոր նախանշանների ամբողջությունը պետք է միանշանակ որոշի դասը, որին վերաբերում է օրինակը : Եթե նախանշանները բավարար չեն, ցանցը կարող է միևնույն կերպարը վերագրել մի քանի դասերի, ինչը հավանաբար [10] : Ցանցերի ուսուցման ավարտին նրանց կարելի է ներկայացնել անհայտ վաղեմի կերպարներ և ստանալ որոշակի դասին պատկանելության վերաբերյալ պատասխան :

Նման ցանցի տրամաբանությունը բնութագրվում է նրանով, որ ելքային շերտում նեյրոնների քանակը , որպես կանոն, հավասար է որոշվող դասերի քանակին : Այդ դեպքում նեյրոնային ցանցի ելքի և դասի միջև հաստատվում է համապատասխանություն, որն այն ներկայացնում է : Երբ ցանցին ներկայացվում է որոշակի կերպար, ելքերից մեկում պետք է հայտնվի այն բանի նախանշանը, որ կերպարը պատկանում է այդ դասին : Միևնույն ժամանակ այլ ելքերում պետք է լինի այն բանի նախանշանը, որ կերպարը տվյալ դասին չի պատկանում [11]: Եթե երկու կամ ավելի ելքերում առկա է դասին պատկանելիության նախանշան, ապա համարվում է , որ ցանցը «վստահ չէ» իր պատասխանում :

Որոշումների ընդունում և կառավարում[խմբագրել]

Այս խնդիրը մոտ է դասակարգման խնդրին: Դասակարգումը ենթակա է իրավիճակին,որի բնութագրերը մուտքգրվում են նեյրոնային ցանցի մուտքում : Ցանցի ելքում պետք է այդ պարագայում հայտնվի լուծման կանխատեսումը, որը ցանցը ընդունել է : Այդ պարագայում որպես մուտքային ազդանշաներ կիրառվում են կառավարվող համակարգի վիճակը բնութագրող տարբեր չափանիշներ [12].

Կլաստերիզացիա[խմբագրել]

Կլաստերիզացիայի ներքո հասկացվում է բազմաթիվ մուտքային ազդանշանների բաժանումը դասերի, ընդ որում այնպես, որ ոչ քանակը և ոչ էլ դասերի նախանշանները նախապես հայտնի չեն: Ուսումնասիրումից հետո նման ցանցը կարող է որոշել, թե որ դասին է պատկանում մուտքային ազդանշանը: Ցանցը կարող է ազդանշան տալ նաև այն մասին, որ մուտքային ազանշանը չի պատկանում առանձնացված դասերից և ոչ մեկին, ինչն էլ հանդիսանում է նոր, ուսուցանվող ընտրանքում բացակայող տվյալների նախանշանը: Այդ պարագայում, նման ցանցը կարող է առաջացնել նոր, նախկինում անհայտ ազդանշանների դասեր : Դասերի միջև դասերի և ցանցի կողմից առանձնացված, առարկայական տիրույթում գոյություն ունեցող համապատասխանությունը հաստատվւոմ է մարդու կողմից: Կլաստերիզացիան իրականացնում են օրինակ ՝ Կոխոնենի նեյրոնային ցանցը:

Նեյրոնային ցանցերը Կոխոնենի պարզ տարբերակում չեն կարող մեծ լինել, այդ իսկ պատճառով էլ դրանք բաժանում են հիպերշերտերի (հիպերսյունակների) և միջուկի (միկրոսյուների):Եթե համեմատել մարդու ուղեղի հետ, ապա զուգահեռ շերտերի իդեալական քանակը չպետք է գերազանցի 112-ը: Այդ շերտերը իրենց հերթին կազմում են հիպերշերտեր (հիպերսյունակ), որոնցում առկա է 500 -ից 2000 միկրոսյունակ (միջուկ): Այդ պարագայում յուրաքանչյուր շերտ բաժանվում է բազմաթիվ հիպերսյունակների, որոնք ներտափանցում են շերտերի մեջ : Միկրոսյունակները կոդավորվում են թվերով և միավորներով ,որոնք ելքում որպես արդյունք են ստացվում : Եթե անհրաժեշտ է , ապա ավելորդ շերտերը կամ նեյրոնները հեռացվում են կամ ավելացվում: Նեյրոնների կամ շերտերի քանակի որոշման համար իդեալական է սուպերհամակարգիչների կիրառումը : Այդպիսի համակարգը թույլ է տալիս , որ նեյրոնային ցանցերը լինեն ճկուն :

Կանխատեսում[խմբագրել]

Նեյրոնային ցանցերի կանխատեսման հնարավորությունները ուղղակիորեն հետևում են նրա ելքային և մուտքային տվյալների միջև թաքնված կախվածությունների ընդհանրացման և առանձնացման հնարավորություններից: Ուսուցումից հետո ցանցը ունակ է գուշակելու որոշակի գործունեության ապագա սպասվող արժեքը` մի քանի նախկին արժեքների հիման վրա և/կամ ներկա պարագայում գոյություն ունեցող մի քանի փաստերի հիման վրա: Պետք է նշել, որ կանխատեսումը հնարավոր է միայն այն դեպքում, երբ " նախկին փոփոխությունները ինչ-որ մակարդակում որոշում են ապագան ": Օրինակ, բաժնետոմսերի գների կանխատեսումը նախորդ շաբաթվա համեմատ կարող է հաջող հանդիսանալ (կարող է նաև անհաջող լինել), այն դեպքում, երբ վաղվա խաղատոմսի արդյունքների կանխատեսումը վերջին 50 տարվա արդյունքների հիման վրա հավանաբար ոչ մի արդյունք չի տա:

Ապրոքսիմացիա[խմբագրել]

Նեյրոնային ցանցերը կարող են ապրոկսիմացնել անընդհատ ֆունկցիաներ : Ապացուցված է ընդհանրացված ապրոկսիմացիոն թեորեմը[13]: շնորհիվ գծային օպերցիաների և կասկադային կապերի ՝ կարելի է սկզբնական ոչ գծային էլեմենտներից ստանալ սարք, որը հաշվում է ցանկացած անընդհատ ֆունկցիա սկզբնապես տրված որոշակի ճշտությամբ: Դա նշանակում է , որ նեյրոնի ոչ գծային բնութագիրը կարող է լինել կամայական ՝ սիգմոդիայինից մինչև կամայական փաթեթ կամ վեյվլետ, սինուսի կամ բազմանդամի: Ոչ գծային ֆունկցիայի ընտրությունից կարող է կախված լինել կոնկրետ ցանցի բարդությունը , սակայն ցանկացած ոչ գծայնությամբ ցանցը մնում է ունիվերսալ ապրոկսիմատոր և կառուցվածքի ճիշտ ընտրության դեպքում կարելի է հստակ ապրոկսիմացնել ցանցակացած նեյրոնային ապարատի ֆունկցիայավորումը :

Տվյալների սեղմում և ասոցիատիվ հիշողություն[խմբագրել]

Նեյրոցանցերի հնարավորությունը տարբեր պարամետրերի միջև փոխկապվածությունների հայտնաբերման հնարավորություն է տալիս մեծ չափերի տվյալները ավելի կոմպակտ ներկայացնել , եթե տվյալները սերտորեն կապված են միմյանց հետ : Հակառակ պրոցեսը ` ինֆորմացիայի մասից տվյալների մուտքային հավաքածուի վերականգնումը կոչվում է ասոցիատիվ հիշողություն : Ասոցիատիվ հիշողությունը թուլ է տալիս նաև վերկականգնելու մուտքային ազդանշան/կերպարը աղավաղված/վնասված մուտքային տվյալներից : Հետերոասոցիատիվ հիշողության լուծումը թույլ է տալի իրականացնել հիշողություն, որը հասցեավորվում է ըստ պարունակության [12]:

Որոշումների ընդունման փուլեր[խմբագրել]

  • Ուսուցման համար տվյալների հավաքագրում;
  • Տվյալների նախապատրաստում և նորմալացում;
  • Ցանցի տրամաբանության ընտրություն;
  • Ցանցի բնութագրերի էքսպերիմենտալ ընտրություն;
  • Ուսուցման պարամետրերի էքսպերիմենտալ ընտրություն;
  • Ինքնուսուցում ;
  • Ուսուցման արդյունավետության ստուգում;
  • Պարամետրերի ուղղում,վերջնական ուսուցում;
  • Ցանցի վերբալիզացիա [14] հետագա կիրառման նպատակով :

Արժե այս էտապներից որոշները մանրամասնորեն ուսումնասիրել :

Ուսուցման համար տվյալների հավաքագրում[խմբագրել]

Տվյալների հավաքագրումը ցանցի ուսուցման և մշակման համար հանդիսանում է խնդրի լուծման ամենաբարդ փուլը :Տվյալների հավաքագրրումը պետք է բավարարի մի շարք չափանիշների .

  • Ներկայացվածություն — տվյալները պետք է ցույց տան առարկայական տիրույթի իրերի և առարկաների իրական վիճակը ,
  • Հակադրության բացակայություն — հակադրվող տվյալները ուսուցանվող ընտրանքում կարող են բերել ուսուցանվող ցանցի վատ որակի ,

Մուտքային տվյալները բերվում են այնպիսի տեսքի, որով դրանք կարելի է տալ ցանցի մուտքին : Տվյալների ֆայլում յուրաքանչյուր գրառում կոչվում է "ուսուցանվող զույգ" կամ "ուսուցանվող վեկտոր" : Ուսուցանվող վեկտորը պարունակում է ցանցի յուրաքանչյուր մուտքի մեկական արժեք և կախված ուսուցման տիպից (ուսուցչի հետ կամ առանց) մեկական արժեք ցանցի յուրաքանչյուր ելքի համար : Ցանցի ուսուցումը «հուքային» ընտրանքում, որպես կանոն, որակյալ արդյուքներ չի տալիս : Գոյություն ունեն ցանցի «ընկալման» բարելավման մի շարք հնարավորություններ .

  • Նորմալացումը կատարվում է , երբ տարբեր մուտքերում հանդիպում են տարբեր չափողականության տվյալներ : Օրինակ, ցանցի առաջին մուտքին տրվում են 0-ից մինչև միավոր մեծության արժեքներ , իսկ երկրորդին ՝ 100-իc մինչև 1000: Երկրորդ մուտքում արժեքների նորմավորման բացակայության դեպքում ցանցի ելքի վրա մեծ ազդեցություն կունենա, քան արժեքը առաջին մուտքի դեպքում: Բոլոր մուտքային և ելքային տվյալների չափողականության նորմավորումը կատարվում է միասին,
  • Քվանտավորումը կատարվում է անընդհատ մեծությունների նկատմամբ, որոնց համար առանձնացվում է դիսկրետ արժեքների հավաքածու : Օրինակ, քվանտավորումը կիրառվում է ձայնային ազդանշանների հաճախականության տրման ժամանակ ՝ բանավոր խոսքի ճանաչման համար ,
  • Ֆիլտրացիան իրականացվում է «աղավաղված» տվյալների համար :

Բացի այդ, մեծ դեր է խաղում ինչպես մուտքային, այնպես էլ ելքային տվյալների ներկայացումը : Ենթադրենք ցանցը ուսուցանում է տառերի ճանաչումը նկարներով և ունի մեկ թվային ելք ՝ այբուբենում տառի համարը : Այդ դեպքում ցանցը կստանա ոչ ճշմարիտ տեղեկություն այն մասին, որ 1 և 2 համարի տառերը իրար ավելի նման են, քան 1 և 3 համարներինը , ինչը ընդհանուր առմամբ ճիշտ չէ : Այդ դեպքում, նման իրավիճակներից խուսափելու համար, կիրառում են մեծ թվով ելքերով ցանցի տրամաբանությունը , երբ յուրաքանչյուր ելք ունի իր իմաստը : Որքան ցանցի ելքերը շատ են, այնքան դասերի միջև հեռավորությունը շատ է և ավելի բարդ է զիջումը :

Ցանցի տրամաբանության ընտրություն[խմբագրել]

Ցանցի տիպը ընտրելիս պետք է ելնել խնդրի դրվածքից և առկա ուսումնասիրվող տվյալներից :Ուսուցչի միջոցով ուսուցման դեպքում անհրաժեշտ է ընտրանքի յուրաքանչյուր էլեմենտի համար «փորձագիտական» գնահատական : Երբեմն նման գնահատականի ստացումը մեծ տվյալների զանգվածների համար ուղղակիորեն անհնար է : Այդպիսի դեպքերում ճիշտ ընտրություն է հանդիսանում առանց ուսուցչի ուսուցանվող ցանցի ընտրությունը, օրինակ ՝ Կոխոնենի ինքնաձևավորվող քարտը կամ Խոպֆիլդի նեյրոնային ցանցը: Այլ խնդիրների լուծման դեպքում , ինչպիսիք են ժամանակային շարքերի կանխատեսումը , փորձագիտական գնահատականները , արդեն պարունակվում են մուտքային տվյալներում և կարող են առանձնացվել դրանց մշակման դեպքում : Այդ դեպքում կարելի է օգտագործել բազմաշերտ պերցեպտրոնը կամ Վորդի ցանցը:

Ցանցի հատկությունների փորձագիտական ընտրություն[խմբագրել]

Ընդհանուր կառուցվածքի ընտրությունից հետո կարելի է փորձագիտորեն ընտրել ցանցի պարամետրերը : Պերցեպտրոնի տիպի ցանցերի համար դա կլինի շերտերի թիվը , թաքնված շերտերում բլոկների թիվը (Վորդի ցանցի համար), շրջանցող կապերի առկայությունը կամ բացակայությունը ,նեյրոնների փոխանցելիության գործառույթները: Շերտերի և նեյրոնների քանակի ընտրության դեպքում պետք է ելնել նրանից, որ "ցանցի ընդհանուր հնարավորությունները այնքան մեծ են, որքան շատ են նեյրոնների միջև գումարային կապերը" : Մյուս կողմից , կապերի քանակը վերևից սահմանափակված է ուսուցանվող տվյալներում գրառումների քանակով :

Ուսուցման պարամետրերի փորձագիտական ընտրություն[խմբագրել]

Կոնկրետ տրամաբանության ընտրությունից հետո անհրաժեշտ է ընտրել ուսուցանվող նեյրոնային ցանցի պարամետրերը : Այս էտապը առավելապես կարևոր է ուսուցչի օգնությամբ ուսուցանվող ցանցերի համար : Պարամետրերի ճիշտ ընտրությունից կախված է ոչ միայն այն, թե որքան արագ ցանցը ճիշտպատասխաններ կտա : Օրինակ, ցածր արագությամբ ուսուցման ընտրությունը կմեծացնի գեներացիայի ժամանակը , սակայն միևնույն ժամանակ թույլ կտա խուսափելու ցանցի անդամալուծությունից: Ուսուցման ժամանակի մեծացումը կարող է բերել ինչպես գեներացման ժամանակի մեծացմանը, այնպես էլնվազեցմանը ՝ կախված սխալների մակերեսի ձևից : Ելնելով պարամետրերի նման հակազդեցությունից , կարելի է ենթադրել, որ նրանց արժեքները պետք է փորձագիտորեն ընտրել ՝ ղեկավարվելով ուսուցման պարամետրերով (օրինակ ՝ սխալների նվազեցում կամ ուսուցման ժամանակահատվածի կրճատում) :

Ցանցի փաստացի ուսուցում[խմբագրել]

Ուսուցման պրոցեսում ցանցը որոշակի հերթականությամբ ուսումնասիրում է ուսուցանվող ընտրանքը : Ուսումնասիրման հերթականությունը կարող է լինել հետևողական , պատահական և այլն : Առանց ուսուցչի ուսուցանվող որոշ ցանցեր ,օրինակ, Խոպֆիլդի ցանցերը դիտարկում են ընտրանքը մեկ անգամ : Այլոք, օրինակ՝ Կոխոնենի ցանցը,ինչպես նաև ցանցեր,որոնք ուսուցանվում են ուսուցչի միջոցով, ընտրանքը դիտարկում են բազմաթիվ անգամներ , և այդ դեպքում ընտրանքով մեկ ամբողջական անցումը կոչվում է "ուսուցման դարաշրջան" : Ուսուցչի օգնությամբ ուսուցման ժամանակ մուտքայինտվյալների հավաքածուն բաժանվումէ երկու մասի ՝ փաստացի ուսուցանվող ընտրանք և թեսթային տվյալներ , իսկ բաժանման սկզբունքը կարող է լինել կամայական : Ուսուցանվող տվյալները տրվում են ցանցին ուսուցման համար , իսկ ստուգողները օգտագործվում են ցանցի սխալների հաշվարկման համար (ստուգող տվյալները երբեք ցանցի ուսուցման համար չեն կիրառվում) : Այդ պարագայում, եթե ստուգող տվյալների միջոցով սխալները նվազեցվում են, ապա իսկապես կատարվում է ընդհանրացում : Եթե սխալը ուսուցանվող տվյալներում շարունակում է նվազել, իսկ թեսթային տվյալներում ավելանալ, դա նշանակում է , որ ցանցը դադարել է ընդհանրացում կատարել և ուղղակի «հիշում է » ուսուցանվող տվյալները : Այդ հայտնությունը կոչվում է ցանցի վերաուսուցում կամ օվերֆիտտինգ : Նման դեպքերում սովորաբարուսուցումը ընդհատում են: Ուսուցման պրոցեսում կարող են ի հայտ գալ նաև այլ խնդիրներ, ինչպիսիք են անդամալուծությունը կամ ցանցի հայտնվելը լոկալ սխալների մակերևույթ : Հնարավոր չէ նախապես գուշակել այս կամ այն խնդրի առաջացումը և տալ դրանց լուծման ցուցումներ :

Ուսուցման համարժեքության ստուգում[խմբագրել]

Նույնիսկ առաջին հայացքից հաջող ուսուցման դեպքում ցանցը ոչ միշտ է ուսուցանվում հենց նրան, ինչին ստեղծողը ձգտել է հասնել : Հայտնի դեպք է , երբ ցանցւ ուսուցանվել է նկարներով տանկերի ճանաչման համար, սակայնավելի ուշ պարզվել է , որ բոլոր տանկերը նկարվել են միևնույն ֆոնի վրա : Արդյունքում ցանցը «սովորել է » ճանաչել լանդշաֆտի այդ տիպը այն բանի փոխարեն, որպեսզի «սովորի» ճանաչել տանկերը[15]: Այդ պարագայում, ցանցը «հասկանում է » ոչ այն, ինչը նրանից պահանջվում է, այլ այն , ինչը հնարավոր է ընդհանրացնել :

Դասակարգում ըստ մուտքային ինֆորմացիայի տեսակի[խմբագրել]

  • Նմանատիպ նեյրոնային ցանցեր (օգտագործում են ինֆորմացիան իրական թվերի ձևով );
  • Երկակի նեյրոնային ցանցեր (մշակում են երկուական տեսքով ներկայացված ինֆորմացիան):

Դասակարգում ըստ ուսուցման բնութագրի[խմբագրել]

  • Ուսուցչի հետ ուսուցում — նեյրոնային ցանցի որոշումների ելքային տիրույթը հայտնի է ;
  • Ուսուցում առանց ուսուցչի — նեյրոնային ցանցը ձևավորում է որոշումների ելքային տիրույթը ՝ միայն մուտքային ազդեցությունների հիման վրա : Այդպիսի ցանցերը կոչվում են ինքնակազմակերպվող ;
  • Ուսուցում կցորդով — շրջակա միջավայրի խրախուսումների և տուգանքների նշանակման համակարգ :

Դասակարգում ըստ սինապսների կարգավորումների բնութագրի[խմբագրել]

  • Ֆիքսված կապերով ցանցեր (ցանցի կշռային գործակիցները ընտրվում են անմիջապես՝ ելնելով խնդրի պայմաններից , այդ դեպքում \boldsymbol dW/dt=0, որտեղ՝ W — ցանցի կշռային գործակիցներն են );
  • դինամիկ կապերով ցանցեր (նրանց համար ուսուցման պրոցեսը կատարվում է սինապտիկական կապերի կարգավորմամբ, այսինքն ՝ \boldsymbol dW/dt\not=0, որտեղ՝ W — ցանցի կշռային գործակիցներն են):

Դասակարգում ըստ ազդանշանների փոխանցման ժամանակի[խմբագրել]

Նեյրոնային ցանցերի շարքում ակտիվացնող ֆունկցիան կարող է կախված լինել ոչ միայն կապերի կշռային գործակիցներից w_{ij}, այլ նաև կապի կանալներով իմպուլսների (ազդանշանների) փոխանցման ժամանակից \tau_{ij}: Այդ պատճառով ընդհանուր տեսքով կապի ակտիվացնող (փոխանցող) ֆունկցիան c_{ij} էլեմենտից u_i էլեմենտին u_j ունի հետևյալ տեսքը . c_{ij}^* = f [ w_{ij}(t), u_i^*(t - \tau_{ij}) ]. Այդ դեպքում սինխրոն ցանց անվանում են ցանցը, որի \tau_{ij} փոխանցման ժամանակը յուրաքանչյուր կապի հավասար է կամ զրոյի , կամ ֆիքսված հաստատունի \tau : Ոչ սինխրոն անվանում են ցանցը, որի \tau_{ij} փոխանցման ժամանակը յուրաքանչյուր կապի համար u_i и u_j էլեմենտների միջև նույնպես անընդհատ է :

Դասակարգում ըստ կապերի բնութագրերի[խմբագրել]

Ուղիղ տարածման ցանցեր (Feedforward)[խմբագրել]

Բոլոր կապերը խստորեն ուղղված են մուտքային նեյրոններից ելքայիններին : Նմնանատիպ ցանցերի օրինակներ են հանդիսանում Ռոզենբլատի պերցեպտրոնը, բազմաշերտ պերցեպտրոնը, Վորդի ցանցը :

Ռեկուրենտիվ նեյրոնային ցանցեր[խմբագրել]

Ելքային նեյրոնից կամ նեյրոններից ազդանշանը թաքնված շերտից մասնակիորեն փոխանցվում է ետ նեյրոնի մուտքային շերտին (ետադարձ կապ): Ռեկուրենտիվ Խոպֆիլդի ցանցը «ֆիլտրում է» մուտքային տվյալները, վերադառնալով կայուն վիճակի, և այդ կերպ թույլ է տալիս լուծել տվյալների սեղմման և ասոցիատիվ հիշողությանկառուցման խնդիրներ [16]: Ռեկուրենտիվ ցանցերի մասնավոր դեպք են հանդիսանում երկուղղվածության ցանցերը: Նման ցանցերում շերտերի միջև առկա են կապեր ինչպես մուտքային շերտից ելքայինին, այնպես էլ ընդհակառակը : Դասական օրինակ է հանդիսանում Կոսկոյի նեյրոնային ցանցը:

Ռադիկալ-բազիսային ֆունկցիաներ[խմբագրել]

Արհեստական նեյրոնային ցանցերը որպես ակտիվացնող ֆունկցիա կիրառում են ռադիկալ-բազիսային ֆունկցիաները (նման ցանցերը կարճ անվանվում են RBF-ցանցեր): Ռադիկալ-բազիսային ֆունկցիաների ընդհանուր տեսքը հետևյալն է .

f(x)=\phi \left(\frac{x^2}{\sigma^2}\right), օրինակ, f(x)=e^{-{{x^2}\over{\sigma^2}}},

որտեղ` x — նեյրոնի մուտքային ազդանշանների վեկտոր, \sigma —ֆունկցիայի պատուհանի լայնություն , \phi(y) — նվազող ֆունկցիա (առավել հաճախ հավասար է զրոյի ոչ վեկտորային հատվածում ):

Ռադիկալ-բազիսային ցանցը բնութագրվում է երեք առանձնահատկություններով.

1. Միակ թաքնված շերտ

2. Միայն թաքնված շերտի նեյրոնները ունեն ոչ գծային ակտիվացնող ֆունկցիա

3. Մուտքային և տաքնված շերտի կապերի սինապտիկական կշիռները հավասար են միավորի

Ուսուցման պրոցեսը նայել գրականությունում :

Ինքնակազմակերպվող քարտեզ[խմբագրել]

Նմանատիպ ցանցերը իրենցից ներկայացնում են ուսուցչի հետ ուսուցանվող մրցակցային նեյրոնային ցանց,որը իրականացնում է վիզուալիզացիայի և կլաստերիզացիայի խնդիր : Հանդիսանում է բազմաչափ տարածության նախագծման մեթոդ ավելի փոքր չափողականություն ունեցող տարածությունում (առավել հաճախ երկչափ) , կիրառվում է նաև մոդելավորման խնդիրներում, կանխատեսման խնդիրներում և այլն : Հանդիսանում է Կոխոնենի նեյրոնային ցանցի տեսակներից մեկը :[17] Կոխոնենի ինքնաձևավորվող քարտեզները առաջին հերթին ծառայում են վիզուալիզացիայի և սկզբնական («բանական») տվյալների վերլուծության համար :[18]

Կոխոնենի ցանցում ազդանշանը միանգամից տարածվում է բոլոր նեյրոնների վրա , սինապսների բացակայող կշիռները ստացվում են որպես հանգույցի վիճակի կորդինատներ և ելքային ազդանշանը ձևավորվում է «հաղթողը տանում է ամեն ինչ» սկզբունքով, այսինքն՝ ոչ զրոյական ելքային ազդանշանը ունի մուտքի օբյեկտին փոխանցվողին մոտ նեյրոն (սինապսների կշիռների իմաստով ) : Ուսուցման պրոցեսում սինապսների կշիռները կարգավորվում են այնպես, որ հանգուցային վանդակները «տեղավորվում են » լոկալ տվյալների տեղերում , այսինքն ՝ նկարագրում են տվյալների ամպի կլաստերային կառուցվածքը , մյուս կողմից ՝ նեյրոնների միջև կապերը համապատասխանում են նախանշանների տարածությունում հարևան կլաստերների համապատասխան կապերի հետ :

Հարմար է դիտարկել այնպիսի քարտեզներ, ինչպիսիք են հանգույցների երկչափ ցանցը , որոնք տեղակայված են բազմաչափ տարածությունում : Սկզբնապես ինքնաձևավորվող քարտեզը իրենից ներկայացնում է հանգույցների ցանց, որոնք փոխկապված են : Կոխոնենը դիտարկել է հանգույցների միջև կապերի երկու տարբերակ ՝ ուղղանկյուն և բազմանկյուն ցանց : Տարբերությունը կայանում է նրանում, որ ուղղանկյուն ցանցում յուրաքանչյուր հանգույց կապված է 4 հարևաններով, իսկա բազմանկյունում՝ 6 մոտակա հանգույցներով : Այդպիսի երկու ցանցերի համար Կոխոնենի ցանցի կառուցման պրոցեսը տարբերվում է միայն այն տեղում, որտեղ մոտենում են այդ հանգույցի հարևանները :

Ցանցի նախնական ներդրումը տվյալների ցանցում իրականացվում է կամայականորեն : SOM_PAK հեղինակային փաթեթում առաջարկվում է տվյալների տիրույթում հանգույցների նախնական տեղակայման պատահական տարբերակներ և հանգույցների տեղակայման տարբերակը հարթությունում : Դրանից հետո հանգույցները սկսում են տեղաբաշխվել տարածությունում համաձայն հետևյալ ալգորիթմի .

  1. Պատահականորեն ընտրվում են տվյալների կետերը x.
  2. Որոշվում է x մոտակա քարտեզի հանգույցը (BMU — Best Matching Unit).
  3. Այդ հանգույցը տեղակայվում է տրված քայլում x -ի ուղղությամբ : Սակայն, այն միայնակ չի տեղակայվում, այլ իր հետ ներառում է որոշակի քանակության մոտակա հանգույցներ քարտեզի հարևանությամբ : Բոլոր տեղաշարժվող հանգույցներից առավել ուժեղ տեղափոխվում է կենտրոնական ՝ տվյալների կետին մոտ հանգույցը,իսկ մնացածները, որքն հեռու են BMU-ից , այնքան ավելի դանդաղ են տարհանվում : Քարտեզի կարգավորման ժամանակ առանձնացնում են 2 էտապներ ՝ կոպիտկարգավորման (fine-tuning) և ճշգրիտ կարգավորման (fine-tuning) փուլեր : Առաջին փուլում ընտրվում են շատ հարևան արժեքներ և հանգույցների տեղաշարժը կրում է կոլեկտիվ բնույթ: Արդյունքում քարտեզը « ուղղվում է » և կոպիտ կերպով արտապատկերում է տվյալների կառուցվածքը, իակ ճշգրիտ կարգավորման փուլում հարևանության շառավիղը 1-2 է և կարգավորվում են արդեն հանգույցների անհատական դիրքերը : Բացի այդ, տեղաշարժման մեծությունը ժամանակի ընթացքում համամասնորեն նվազում է , այսինքն ՝ ուսուցման առաջին փուլում ավելի մեծ է , իսկ ավարտին հասնելիս հավասարվում է զրոյի :
  4. Ալգորիթմը որոշակի ժամանակահատվածի ընթացքում կրկնվում է (իհարկե, մի շարք քայլեր, կարող են տարբեր լինել՝ կախված առաջադրանքից):

Հայտնի ցանցերի տիպեր[խմբագրել]

Տարբերությունը Ֆոն Նեյմանի ճարտարապետությամբ մեքենաներից[խմբագրել]

Հաշվողական համակարգերը, հիմնված արհեստական նեյրոնային ցանցերի վրա, օժտված են մի շարք որակներով , որոնք բացակայում են Ֆոն Նեյմանի ճարտարապետությամբ մեքենաներում (սակայն բնորոշ են մարդկային ուղեղին).

  • Մասսայական զուգահեռականություն;
  • Ինֆորմացիայի և հաշվարկների բաշխված ներկայացում;
  • Ընդհանրացման և ուսուցման ունակություն;
  • Արդյունավետություն;
  • Ինֆորմացիայի բովանդակային մշակման կարողություն;
  • Սխալների նկատմամբ տոլերանտություն;
  • Ցածր էներգատարություն:

Հավելվածների օրինակներ[խմբագրել]

Ֆինանսական ժամանակային շարքերի կանխատեսում[խմբագրել]

Մուտքայինտվյալներ - տարվա ընթացքում աճուրդի կուրսը : Խնդիրն է որոշել վաղվա կուրսը : Կատարվում է հետևյալ վերափոխումը ՝ կառուցվում է շարք այսօրվա, երեկվա և նախորդ օրվա կուրսերով : Հաջորդ շարքում տեղակայվում են նախորդից մեկ օր առաջվա տվյալները և այդպես շարունակ : Ստացված հավաքածուում ուսումնասիրվում է ցանց 3 մուտքով և 1 ելքով ՝ վաղվա օրվա կուրսը : Մուտքերը կուրսերն են ՝ 1 օր առաջ, 2 օր առաջ և 3 օր առաջ : Ուսումնասիրվող ցանցի մուտքին տալիս ենք մուտքային տվյալների արժեքները , իսկ ելքում ստանում ենք վաղվա կուրսը : Դժվար չէ նկատել ,որ այս դեքում ցանցը ուղղակիորեն ելքագրում է մյուս երեք պարամետրերից կախված ելք : Եթե ցանկալի է հաշվի առնել նաև ինչ-որ այլ պարամետր (օրինակ ինչ-որ ինդեքս), ապա այն պետք է մուտքագրել որպես մուտքային պարամետր, ուսումնասիրել այն և ստանալ նոր արդյունք : Առավել ճշգրիտ ուսուցման համար անհրաժեշտ է կիրառել [Սխալների հետադարձ տարածման մեթոդը,որպես առավել կանխատեսելի և ոչ բարդ իրականացվելի մեթոդ :

Հոգեդիագնոստիկա[խմբագրել]

Մ. Գ. Դոռեռի և իր համահեղինակների աշխատանքները նվիրված են նեյրոնային ցանցերի փորձագիտական համակարգերի հոգեբանական ինտուիցիայի զարգացման հնարավորությունների հարցերի քննարկմանը :[20][21] Ստացված արդյունքները հնարավորություն են տալիս բացահայտելու նեյրոնային ցանցերի ինտուիցիայի մեխանիզմը, որը նրանց կողմից ցուցաբերվում է հոգեվերլուծական խնդիրների լուծման ժամանակ : Համակարգչային մեթոդների կողքին ստեղծվել է ոչ ստանդարտ ՛՛ինտուիտիվ՛՛ մեթոդ :

Խեմոինֆորմատիկա[խմբագրել]

Նեյրոնային ցանցերը լայնորեն կիրառվում են քիմիական և բիոքիմիական հետազոտություններում [22] Ներկայումս նեյրոնային ցանցերը հանդիսանում են խեմոինֆորմատիկայի ամենատարծված մեթոդներից մեկը для գույքային հարաբերությունների քանակական կապերի որոնման համար[23][24],որոնց շնորհիվ ակտիվորեն կիրառվում են որպես ֆիզիկա- քիմիական և բիոլոգիական ակտիվությունների կանխատեսման համար, ինչպես նաև նոր դեղորայքային պարագաների մշակման համար :

Նեյրոկառավարում[խմբագրել]

Նեյրոնային ցանցերը հաջող կերպով ընդունվում են կառավարման համակարգերի սինթեզի համար դինամիկ օբյեկտներով [25][26]: Նեյրոցանցերը օժտված են ունիկալ հատկությունների շարքով, որոնք դրանք ավելի հզոր գործիք են դարձնում ղեկավարման համակարգերի ստեղծման համար : Դրանք են ՝ օրինակների վրա ուսուցման հնարավորությունը և տվյալների ընդհանրացում , կառավարման օբյեկտի հատկություններին և արտաքին միջավայրի փոփոխություններին հարմարվելու ունակությունը , ոչ գծային կարգավորիչների սինթեզին հարմարվելու ունակություն, վնասված տարերրի բարձր դիմադրողականությունը իսկզբանե ներդրված է երկակի նեյրոցանցային կառուցվածքում :

Հղումներ[խմբագրել]

Գրականություն[խմբագրել]

Савельев А. В.. На пути к общей теории нейросетей. К вопросу о сложности // журнал «Нейрокомпьютеры: разработка, применение»., Издательство "Радиотехника". — № 4-5.

  • Сигеру Омату, Марзуки Халид, Рубия Юсоф // Нейроуправление и его приложения (Neuro-Control and its Applications) — 2-е // М.: ИПРЖР. — էջ 272. — ISBN ISBN 5-93108-006-6.
  • Станислав Осовский // Нейронные сети для обработки информации (Sieci neuronowe do przetwarzania informacji (լեհ.)) / Перевод И. Д. Рудинского // М.: Финансы и статистика. — էջ 344. — ISBN 5-279-02567-4.

Ծանոթագրություններ[խմբագրել]

  1. 1,0 1,1 Մակ-Կալլոկ Ու. Ս., Պիթս Վ.,Գաղափարների տրամաբանական հաշվարկ, որոնք վերաբերում են նյարդային ակտիվությանը // «Սարքավորումներ» ժողովածու Կ. Է. Շեննոնի և Ջ. Մակկարտիի խմբագրությամբ: Արտասահմանյան գրականության խմբագրություն , 1956. — էջ.363-384. (Անգլիական հոդվածի թարգմանություն 1943 թ.)
  2. Pattern Recognition and Adaptive Control. BERNARD WIDROW
  3. Ուիդրոու Վ., Ստիրնս Ս.,Ազդանշանների արդյունավետ կառավարում : Ռադիո և կապ, 1989. — 440 էջ
  4. Պետրով Ա.Պ. Պերցեպտրոնի հնարավորությունների մասին // АН СССР հրատարակություն, Տեխնիկական կիբերնետիկա. — № 6.
  5. Բոնգարդ Մ.Մ. // Ճանաչողության խնդիրներ // Կաղապար:Մ.: ֆիզմաթգիզ.
  6. Werbos P. J., Beyond regression: New tools for prediction and analysis in the behavioral sciences. Ph.D. thesis, Harvard University, Cambridge, MA, 1974.
  7. Գալուշկին Ա. Ի. Կերպարների ճանաչման բազմաշերտ համակարգի սինթեզ — Մ.: «Էներգիա», 1974.
  8. Rumelhart D.E., Hinton G.E., Williams R.J., Learning Internal Representations by Error Propagation. In: Parallel Distributed Processing, vol. 1, pp. 318—362. Cambridge, MA, MIT Press. 1986.
  9. Բարցև Ս. Ի., Օխոնին Վ. Ա. Ինֆորմացիայի մշակման արդյունավետ ցանցեր. Կրասնոյարսկ : АН СССР, 1986. Препринт N 59Б. — 20 с.
  10. BaseGroup Labs — Նեյրոցանցերի պրակտիկ կիրառումն է դասակարգման խնդիրներում
  11. Կոդավորման նման տեսքը հաճախ անվանում են կոդ «1-ը N-ից»
  12. 12,0 12,1 Բաց համակարգեր — նեյրոցանցերում ներդնումը
  13. Գորբան Ա.Ն., Ընդհանրացված ապրոկսիմացիոն թեորեմ և նեյրոնային ցանցերի հաշվողական հնարավորություններ, Հաշվողական մաթեմատիկայի սիբիրյան ամսագիր, 1998. Т.1, № 1. С. 12-24.
  14. Միրկես Ե. Մ.,Տրամաբանական թափանցիկ նեյրոնային ցանցեր և ակնհայտ տվյալների գիտելիքների ստեղծում , գրքում : Նեյրոինֆորմատիկա / Ա. Ն. Գորբան, Վ. Լ. Դունին-Բորկովսկի, Ա. Ն. Կիրդին և այլոք — Նովոսիբիրսկ: Գիտություն. Սիբիրյան ընկերություն РАН, 1998. — 296 с ISBN 5-02-031410-2
  15. Այդ պատմության հիշատակումը «Հանրահայտ մեխանիկա» ամսագրում
  16. INTUIT.ru — Ռեկուրենտիվ ցանցերը ինչպես ասոցիատիվ հիշող սարքեր
  17. Kohonen, T. (1989/1997/2001), Self-Organizing Maps, Berlin — New York: Springer-Verlag. First edition 1989, second edition 1997, third extended edition 2001, ISBN 0-387-51387-6, ISBN 3-540-67921-9
  18. Зиновьев А. Ю. // Визуализация многомерных данных — Изд. Красноярского государственного технического университета // Красноярск էջ 180.
  19. Martinetz, T.M., Berkovich, S.G., and Schulten K.J., Neural-gas network for vector quantization and its application to time-series prediction. IEEE Transactions on Neural Networks, 4 (1993) #4, 558—569. На сайте PCA
  20. Gorban A.N., Rossiyev D.A., Dorrer M.G., MultiNeuron — Neural Networks Simulator For Medical, Physiological, and Psychological Applications, Wcnn’95, Washington, D.C.: World Congress on Neural Networks 1995 International Neural Network Society Annual Meeting : Renaissance Hotel, Washington, D.C., USA, July 17-21, 1995.
  21. Доррер М. Г., Արհեստական նեյրոնային ցանցերի հոգեբանական ինտուիցիա, Դիսս. … 1998: Օնլայն այլ պատճեններ. [1], [2]
  22. Բասկի Ի. Ի. , Պլյուկլին Վ. Ա. , Զեֆիրով Ն. Ս., Արհեստական նեյրոնային ցանցերի կիրառումը քիմիական և բիոքիմիական հետազոտություններում, Քիմիա 1999. Т.40. № 5.
  23. Нейронные сети как метод поиска зависимостей структура – свойство органических соединений // Успехи химии. — № 7.
  24. Կաղապար:Статья
  25. Սիգերու Օմատու, արզուկի Խալիդ, Ռուբիա Յուսոֆ // Նեյրոկառավարում և նրա հավելվածները (Neuro-Control and its Applications) — 2-րդ // Կաղապար:Մ.: ՌԱՀԸ. — էջ 272. — ISBN ISBN 5-93108-006-6.
  26. Ա. Ն. Չերնոդուբ, Դ. Ա. Ձյուբա Նեյրոկառավարման մեթոդների ներկայացում // Ծրագրավորման խնդիրներ. — 2011. — No 2. — Էջ 79-94.