Դիտել Արհեստական նեյրոնային ցանց էջի աղբյուրը

{{ՎՏՔ}}[[Պատկեր:Colored neural network.svg|thumb|upright=1.15|Արհեստական նեյրոնային ցանցը հանգույցների փոխկապակցված խումբ է, որը ստեղծված է [[Մարդու գլխուղեղ|ուղեղի]] [[նեյրոն|նեյրոնների]] պարզեցման հիման վրա: Այստեղ յուրաքանչյուր շրջանաձև հանգույց պատկերում է [[արհեստական նեյրոն]], իսկ սլաքը՝ մի արհեստական նեյրոնի ելքը կապում է մյուսի մուտքին։]]
[[Մեքենայական ուսուցում|Մեքենայական ուսուցման]] մեջ, '''նեյրոնային ցանցը''' (նաև '''արհեստական նեյրոնային ցանցը''' կամ նեյրոնային ցանցը, կրճատ՝ ԱՆՑ կամ ՆՑ), կենդանիների [[Գլխուղեղ|ուղեղում]] կենսաբանական նեյրոնային ցանցերի կառուցվածքի և գործառույթի վրա հիմնված մոդել է<ref>{{Cite web |last=Hardesty |first=Larry |date=2017 թ․ ապրիլի 14 |title=Explained: Neural networks |url=https://news.mit.edu/2017/explained-neural-networks-deep-learning-0414 |access-date=2022 թ․ հունիսի 2 |publisher=MIT News Office}}</ref><ref>{{Cite book |last1=Yang |first1=Z.R. |url=https://www.sciencedirect.com/topics/neuroscience/artificial-neural-network |title=Comprehensive Biomedical Physics |last2=Yang |first2=Z. |date=2014 |publisher=Elsevier |isbn=978-0-444-53633-4 |location=Karolinska Institute, Stockholm, Sweden |page=1 |access-date=2022 թ․ հուլիսի 28 |archive-url=https://web.archive.org/web/20220728183237/https://www.sciencedirect.com/topics/neuroscience/artificial-neural-network |archive-date=2022 թ․ հուլիսի 28 |url-status=live}}</ref>։

ԱՆՑ-ն բաղկացած է կապակցված հանգույցներից, որոնք կոչվում են արհեստական նեյրոններ, որոնք ընդհանուր առմամբ մոդելավորում են ուղեղի [[Նեյրոն|նեյրոնները]]։ Դրանք միացված են կողերով, որոնք մոդելավորում են ուղեղի [[Սինապս|սինապսները]]։ Յուրաքանչյուր արհեստական նեյրոն ազդանշաններ է ստանում կապակցված նեյրոններից, այնուհետև դրանք մշակում և ազդանշան է ուղարկում իր հետ կապակցված այլ նեյրոններին։ «Ազդանշանը» [[իրական թիվ]] է, և  հաշվարկվում է նեյրոնի մուտքերի գումարի ոչ գծային ֆունկցիայի միջոցով, որը կոչվում է ակտիվացման ֆունկցիա։ Յուրաքանչյուր միացման ազդանշանի ուժը որոշվում է կշռով, որն ուսուցման ընթացքում ճշգրտվում է։

Սովորաբար, նեյրոնները համախմբված են շերտերի մեջ։ Տարբեր շերտերը իրենց մուտքերի վրա տարբեր փոխակերպումներ կարող են կատարել։ Ազդանշաններն առաջին շերտից (մուտքային շերտ) փոխանցվում են վերջին շերտ (ելքային շերտ)՝ հնարավոր է անցնելով մի քանի միջանկյալ շերտերով (թաքնված շերտեր)։ Ցանցը սովորաբար կոչվում է խորը նեյրոնային ցանց, եթե այն առնվազն 2 թաքնված շերտ ունի<ref>{{Cite book |last=Bishop |first=Christopher M. |title=Pattern Recognition and Machine Learning |url=https://archive.org/details/patternrecogniti0000bish |date=2006 թ․ օգոստոսի 17 |publisher=Springer |isbn=978-0-387-31073-2 |location=New York |language=English}}</ref>։

Արհեստական նեյրոնային ցանցերն օգտագործվում են կանխատեսող մոդելավորման, հարմարվողական կառավարման, [[Արհեստական բանականություն|արհեստական ինտելեկտի]] և այլ խնդիրներ լուծելու համար։ Նրանք կարող են սովորել փորձից և կարող են եզրակացություններ անել բարդ և թվացյալ կապ չունեցող տեղեկատվությունների բազմությունից։

== Ուսուցում ==
Նեյրոնային ցանցերը սովորաբար վերապատրաստվում են էմպիրիկ ռիսկերի նվազեցման միջոցով։ Այս մեթոդը հիմնված է ցանցի պարամետրերի օպտիմալացման գաղափարի վրա՝ կանխատեսվող արդյունքի և  տվյալ տվյալների բազայի իրական նպատակային արժեքների միջև տարբերությունը՝ էմպիրիկ ռիսկը, նվազագույնի հասցնելու վրա<ref name=":2">{{Cite book |last1=Vapnik |first1=Vladimir N. |title=The nature of statistical learning theory |last2=Vapnik |first2=Vladimir Naumovich |date=1998 |publisher=Springer |isbn=978-0-387-94559-0 |edition=Corrected 2nd print. |location=New York Berlin Heidelberg}}</ref>։ Ցանցի պարամետրերը գնահատելու համար սովորաբար օգտագործվում են գրադիենտի մեթոդներ, ինչպիսիք են սխալի հետտարածումը<ref name=":2" />։ Ուսուցման փուլում ԱՆՑ-ները սովորում են նշված ուսուցող տվյալներից՝ պարբերաբար թարմացնելով իրենց պարամետրերը՝ կորստի ֆունկցիան նվազագույնի հասցնելով համար<ref name=":4">{{Cite book |author=Ian Goodfellow and Yoshua Bengio and Aaron Courville |url=http://www.deeplearningbook.org/ |title=Deep Learning |publisher=MIT Press |year=2016 |access-date=2016 թ․ հունիսի 1 |archive-url=https://web.archive.org/web/20160416111010/http://www.deeplearningbook.org/ |archive-date=2016 թ․ ապրիլի 16 |url-status=live}}</ref>։ Այս մեթոդը ցանցին թույլ է տալիս ընդհանրացնել չերևացող տվյալները։

== Պատմություն ==
Պատմականորեն թվային համակարգիչները առաջացել են ֆոն Նեյմանի մոդելից և գործում են մի շարք պրոցեսորների կողմից հիշողության  նկատմամբ հստակ հրահանգների կատարման միջոցով։ Մյուս կողմից, նեյրոնային ցանցերը առաջացել են կենսաբանական համակարգերի կապակցվածության հաշվարկով տեղեկատվության մշակման մոդելավորման արդյունքում։ Ի տարբերություն ֆոն Նեյմանի մոդելի, կապակցական հաշվարկը հիշողությունը մշակումից չի տարանջատում։

Ուղիղ կապով նեյրոնային ցանցի (FNN) ամենապարզ տեսակը դա գծային ցանցն է, որը բաղկացած է ելքային հանգույցների մեկ շերտից. մուտքերը ուղղակիորեն տրվում են ելքերին մի շարք կշիռների միջոցով։ Յուրաքանչյուր հանգույցում հաշվարկվում է kշիռների արտադրյալների և մուտքերի գումարը։ Այս հաշվարկված արդյունքների և տրված թիրախային արժեքների միջև միջին քառակուսի սխալները նվազագույնի են հասցվում կշիռների ճշգրտման միջոցով։ Այս տեխնիկան հայտնի է ավելի քան երկու դար որպես [[նվազագույն քառակուսիների մեթոդ|նվազագույն քառակուսիների]] կամ [[գծային ռեգրեսիա|գծային ռեգրեսիայի]] մեթոդ։ [[Ադրիեն-Մարի Լեժանդր|Լեժանդրը]] (1805) և [[Կառլ Գաուս|Գաուսը]] (1795) այն օգտագործել են մի շարք կետերին լավ կոպիտ գծային համապատասխանություն գտնելու միջոց՝ մոլորակների շարժման կանխատեսման համար<ref name="legendre1805">Mansfield Merriman, "A List of Writings Relating to the Method of Least Squares"</ref><ref name="gauss1795">{{Cite journal |last=Stigler |first=Stephen M. |year=1981 |title=Gauss and the Invention of Least Squares |url=https://archive.org/details/sim_annals-of-statistics_1981-05_9_3/page/465 |journal=Ann. Stat. |volume=9 |issue=3 |pages=465–474 |doi=10.1214/aos/1176345451 |doi-access=free}}</ref><ref name=brertscher>{{Cite book |last=Bretscher |first=Otto |title=Linear Algebra With Applications |publisher=Prentice Hall |year=1995 |edition=3rd |location=Upper Saddle River, NJ}}</ref><ref name=DLhistory>{{Cite arXiv |eprint=2212.11279 |class=cs.NE |first=Juergen |last=Schmidhuber |author-link=Juergen Schmidhuber |title=Annotated History of Modern AI and Deep Learning |date=2022}}</ref><ref name=stigler>
{{Cite book |last=Stigler |first=Stephen M. |author-link=Stephen Stigler |url=https://archive.org/details/historyofstatist00stig |title=The History of Statistics: The Measurement of Uncertainty before 1900 |publisher=Harvard |year=1986 |isbn=0-674-40340-1 |location=Cambridge |url-access=registration}}</ref>։

[[Ուորեն ՄաքՔալոկ|Ուորեն ՄաքՔալոկը]] և [[Ուոլթեր Փիթս|Ուոլթեր Փիթսը]]<ref>{{Cite journal |last=McCulloch |first=Warren |author2=Walter Pitts |year=1943 |title=A Logical Calculus of Ideas Immanent in Nervous Activity |journal=Bulletin of Mathematical Biophysics |volume=5 |issue=4 |pages=115–133 |doi=10.1007/BF02478259 |pmid=<!--none-->}}</ref> (1943) նեյրոնային ցանցերի համար նույնպես դիտարկել են սովորել չպահանջող հաշվողական մոդելը<ref>{{Cite news |last=Kleene |first=S.C. |year=1956 |title=Representation of Events in Nerve Nets and Finite Automata |url=https://www.degruyter.com/view/books/9781400882618/9781400882618-002/9781400882618-002.xml |access-date=2017 թ․ հունիսի 17 |work=Annals of Mathematics Studies |publisher=Princeton University Press |pages=3–41 |issue=34}}</ref>։

1940-ականների վերջին Դոնալդ Հեբբը<ref>{{Cite book |last=Hebb |first=Donald |url={{google books |plainurl=y |id=ddB4AgAAQBAJ}} |title=The Organization of Behavior |publisher=Wiley |year=1949 |isbn=978-1-135-63190-1 |location=New York}}</ref> ստեղծեց [[Հիպոթեզ|ուսուցման վարկած]]՝ հիմնված նեյրոնային պլաստիկության մեխանիզմի վրա, որը հայտնի դարձավ որպես Հեբբի ուսուցում։ Հեբբի ուսուցումը համարվում է «տիպիկ» ինքնուսուցման կանոն, և դրա հետագա տարբերակները երկարաժամկետ հզորացման վաղ մոդելներ էին։ Այս գաղափարները սկսեցին կիրառվել հաշվողական մոդելների՝ 1948 թվականին Թյուրինգի «անկազմակերպ մեքենաների» վրա։ Ֆարլին և [[Ուեսլի Քլարկ|Ուեսլի Ա. Քլարկը]] առաջինն էին, ովքեր 1954 թվականին MIT-ում նմանակեցին Հեբբի ցանցը։ Նրանք օգտագործում էին հաշվողական մեքենաներ, որոնք այն ժամանակ կոչվում էին «հաշվիչներ»։ Նեյրոնային ցանցի այլ հաշվողական մեքենաներ ստեղծվել են Ռոչեսթերի, Հոլանդի, Հաբիթի և Դուդայի կողմից 1956 թվականին<ref>{{Cite journal |last=Farley |first=B.G. |author2=W.A. Clark |year=1954 |title=Simulation of Self-Organizing Systems by Digital Computer |journal=IRE Transactions on Information Theory |volume=4 |issue=4 |pages=76–84 |doi=10.1109/TIT.1954.1057468}}</ref><ref>{{Cite journal |last=Rochester |first=N. |author2=J.H. Holland, L.H. Habit and W.L. Duda |year=1956 |title=Tests on a cell assembly theory of the action of the brain, using a large digital computer |journal=IRE Transactions on Information Theory |volume=2 |issue=3 |pages=80–93 |doi=10.1109/TIT.1956.1056810}}</ref>։ 1958 թվականին հոգեբան [[Ֆրենկ Ռոզենբլատ|Ֆրենկ Ռոզենբլատը]] հորինել է [[Պերսեպտրոն|պերցեպտրոնը]]՝ առաջին ներդրված արհեստական նեյրոնային ցանցը<ref>Haykin (2008) Neural Networks and Learning Machines, 3rd edition</ref><ref>{{Cite journal |last=Rosenblatt |first=F. |year=1958 |title=The Perceptron: A Probabilistic Model For Information Storage And Organization in the Brain |url=https://archive.org/details/sim_psychological-review_1958-11_65_6/page/386 |journal=Psychological Review |volume=65 |issue=6 |pages=386–408 |citeseerx=10.1.1.588.3775 |doi=10.1037/h0042519 |pmid=13602029 |s2cid=12781225}}</ref><ref name="Werbos 1975">{{Cite book |last=Werbos |first=P.J. |url={{google books |plainurl=y |id=z81XmgEACAAJ}} |title=Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences |year=1975}}</ref><ref>{{Cite journal |last=Rosenblatt |first=Frank |year=1957 |title=The Perceptron—a perceiving and recognizing automaton |journal=Report 85-460-1 |publisher=Cornell Aeronautical Laboratory}}</ref>, որը ֆինանսավորվել էր Միացյալ Նահանգների ռազմածովային հետազոտությունների գրասենյակի կողմից<ref name="Olazaran">{{Cite journal |last=Olazaran |first=Mikel |year=1996 |title=A Sociological Study of the Official History of the Perceptrons Controversy |journal=Social Studies of Science |volume=26 |issue=3 |pages=611–659 |doi=10.1177/030631296026003005 |jstor=285702 |s2cid=16786738}}</ref>։

Պերցեպտրոնի գյուտը բարձրացրեց հանրային ոգևորությունը արհեստական նեյրոնային ցանցերում հետազոտությունների նկատմամբ՝ ինչը ԱՄՆ կառավարությանը ստիպեց կտրուկ ավելացնել խորը ուսուցման հետազոտության ֆինանսավորումը։ Սա հանգեցրեց «AI-ի ոսկե դարաշրջանին», ինչին օժանդակում էին համակարգչային գիտնականների  լավատեսական հայտարարությունները՝ պերցեպտրոնների՝ մարդկային ինտելեկտը ընդօրինակելու կարողության վերաբերյալ<ref name=":08">{{Cite book |author=Russel, Stuart |url=https://people.engr.tamu.edu/guni/csce421/files/AI_Russell_Norvig.pdf |title=Artificial Intelligence A Modern Approach |author2=Norvig, Peter |publisher=Pearson Education |year=2010 |isbn=978-0-13-604259-4 |edition=3rd |location=United States of America |pages=16–28 |language=English}}</ref>։ Օրինակ, 1957 թվականին Հերբերտ Սայմոնը հայտարարել է․<ref name=":08" />{{Blockquote|text=Իմ նպատակը չէ զարմացնել կամ ցնցել ձեզ, բայց ամենապարզ ձևը, որը կարող եմ ամփոփել, ասելն է, որ այժմ աշխարհում կան մեքենաներ, որոնք մտածում են, սովորում և ստեղծում։ Ավելին, դրանց այս կարողությունը արագորեն կմեծանա, և տեսանելի ապագայում իրականացվող խնդիրների շրջանակը կընդլայնվի այնքան, որքանի ընդունակ է մարդկային միտքը։|author=}}
Այնուամենայնիվ, դա այդքան էլ այդպես չէր, քանի որ [[Մարվին Լի Մինսկի|Մինսկու]] և [[Սեյմուր Փեյփերթ |Փեյպերտի]] (1969) աշխատանքից հետո Միացյալ Նահանգներում հետազոտությունները լճացել էին<ref name=":132">{{Cite book |last1=Minsky |first1=Marvin |url={{google books |plainurl=y |id=Ow1OAQAAIAAJ}} |title=Perceptrons: An Introduction to Computational Geometry |last2=Papert |first2=Seymour |publisher=MIT Press |year=1969 |isbn=978-0-262-63022-1}}</ref>, ովքեր հայտնաբերեցին, որ հիմնական պերցեպտրոններն ի վիճակի չեն մշակել բացառիկ կամ համապարփակ շրջան, և որ համակարգիչները բավարար հզորություն չունեն օգտակար նեյրոնային ցանցեր մշակելու համար։ Սա, ի թիվս այլ գործոնների, ինչպիսիք են 1973 թվականին Ջեյմս Լայթհիլի զեկույցը, որում ասվում է, որ Արհեստական ինտելեկտի հետազոտությունը «չի տվել այն ժամանակ խոստացված մեծ ազդեցությունը», բերեց ԱԻ-ի հետազոտությունների ֆինանսավորման փակմանը Մեծ Բրիտանիայում և աշխարհի բազմաթիվ խոշոր հաստատություններում, բացառությամբ երկու համալսարանի<ref name=":16">{{Cite book |last1=Russell |first1=Stuart J. |title=Artificial intelligence: a modern approach |last2=Norvig |first2=Peter |date=2021 |publisher=Pearson |others=Ming-wei Chang, Jacob Devlin, Anca Dragan, David Forsyth, Ian Goodfellow, Jitendra Malik, Vikash Mansinghka, Judea Pearl, Michael J. Wooldridge |isbn=978-0-13-461099-3 |edition=4th |series=Pearson Series in Artificial Intelligence |location=Hoboken, NJ}}</ref>։ Սա ԱԻ Ձմեռ դարաշրջանի սկիզբ դրեց՝ պայմանավորված Միացյալ Նահանգներում և այլ արևմտյան երկրներում պետական ֆինանսավորման նվազմամբ և արհեստական ինտելեկտի նկատմամբ ուշադրության անկմամբ<ref name=MTT_1>{{Cite book |author=Giacaglia, G.P. |url=https://www.holloway.com/g/making-things-think |title=Making Things Think |date=2022 թ․ նոյեմբերի 2 |publisher=Holloway |isbn=978-1-952120-41-1 |access-date=2023 թ․ դեկտեմբերի 29}}</ref><ref name=":16" />։

ԱԻ Ձմեռ շրջանում, սակայն, ԱՄՆ-ից դուրս, հատկապես Արևելյան Եվրոպայում, հետազոտությունները շարունակվեցին։ Մինսկու և Փեյփերտի «Պերցեպտրոնների մասին» գրքի հրատարակվելու պահին,  բազմաշերտ պերցեպտրոնների (ԲՇՊ) ուսուցման մեթոդները արդեն հայտնի էին։ Առաջին [[Խոր ուսուցում|խորը ուսուցման]] ԲՇՊ-ն, որպես տվյալների մշակման խմբային մեթոդ, 1965 թվականին հրատարակվել է Ալեքսեյ Գրիգորևիչ Իվախնենկոյի և Վալենտին Լապայի կողմից, որպես տվյալների մշակման խմբային մեթոդ<ref name="SCHIDHUB22">{{Cite journal |last=Schmidhuber |first=J. |year=2015 |title=Deep Learning in Neural Networks: An Overview |journal=Neural Networks |volume=61 |pages=85–117 |arxiv=1404.7828 |doi=10.1016/j.neunet.2014.09.003 |pmid=25462637 |s2cid=11715509}}</ref><ref name="ivak19652">{{Cite book |last=Ivakhnenko |first=A. G. |url={{google books |plainurl=y |id=FhwVNQAACAAJ}} |title=Cybernetic Predicting Devices |publisher=CCM Information Corporation |year=1973}}</ref><ref name="ivak19672">{{Cite book |last1=Ivakhnenko |first1=A. G. |url={{google books |plainurl=y |id=rGFgAAAAMAAJ}} |title=Cybernetics and forecasting techniques |last2=Lapa |first2=Valentin Grigorʹevich |publisher=American Elsevier Pub. Co. |year=1967}}</ref>։ Առաջին խորը ուսուցման ԲՇՊ-ն, որը ուսուցանվել է ստոխաստիկ գրադիենտ մեթոդով<ref name="robbins19512">{{Cite journal |last1=Robbins |first1=H. |author-link=Herbert Robbins |last2=Monro |first2=S. |year=1951 |title=A Stochastic Approximation Method |url=https://archive.org/details/sim_annals-of-mathematical-statistics_1951-09_22_3/page/400 |journal=The Annals of Mathematical Statistics |volume=22 |issue=3 |page=400 |doi=10.1214/aoms/1177729586 |doi-access=free}}</ref> 1967 թվականին հրատարակվել է Շունիչի Ամարիի կողմից<ref name="Amari19672">{{Cite journal |last1=Amari |first1=Shun'ichi |author-link=Shun'ichi Amari |date=1967 |title=A theory of adaptive pattern classifier |journal=IEEE Transactions |volume=EC |issue=16 |pages=279–307}}</ref><ref name="DLhistory2">{{Cite arXiv |eprint=2212.11279 |class=cs.NE |first=Juergen |last=Schmidhuber |author-link=Juergen Schmidhuber |title=Annotated History of Modern AI and Deep Learning |date=2022}}</ref>։

1982 թվականին Տևո Կոհոնենը նկարագրել է ինքնակազմակերպվող քարտեզները (ԻԿՔ)<ref name="KohonenMap">{{Cite journal |last1=Kohonen |first1=Teuvo |last2=Honkela |first2=Timo |year=2007 |title=Kohonen Network |journal=Scholarpedia |volume=2 |issue=1 |page=1568 |bibcode=2007SchpJ...2.1568K |doi=10.4249/scholarpedia.1568 |doi-access=free}}</ref><ref>{{Cite journal |last=Kohonen |first=Teuvo |year=1982 |title=Self-Organized Formation of Topologically Correct Feature Maps |journal=Biological Cybernetics |volume=43 |pages=59–69 |doi=10.1007/bf00337288 |s2cid=206775459 |number=1}}</ref>։ ԻԿՔ-ները նեյրոնային ցանցեր են, որոնք սովորում են լայնածավալ տվյալների փոքր չափերի ներկայացումներ՝ պահպանելով տվյալների [[տոպոլոգիա|տոպոլոգիական]] կառուցվածքը։ Դրանք սովորում են մրցակցային ուսուցման եղանակով<ref>{{Cite journal |last1=Von der Malsburg |first1=C |year=1973 |title=Self-organization of orientation sensitive cells in the striate cortex |journal=Kybernetik |volume=14 |issue=2 |pages=85–100 |doi=10.1007/bf00288907 |pmid=4786750 |s2cid=3351573}}</ref><ref name="KohonenMap"/>։

== Մոդելներ ==
[[Պատկեր:Neuron3.png|thumb|right|upright=1.35|[[Դենդրիտ|Դենդրիտների]] մուտքերից դեպի [[Աքսոնային ուղղորդում|աքսոնային]] տերմինալների ելքերը ազդանշանի հոսքով նեյրոն և միելինացված աքսոն]]
Արհեստական նեյրոնային ցանցերը (ԱՆՑ) սկիզբ դրվեց որպես փորձ՝  մարդկային ուղեղի ճարտարապետությունը օգտագործելու այնպիսի առաջադրանքներ կատարելու համար, որոնցում սովորական ալգորիթմներն առանձնապես մեծ հաջողություն չունեին։ Նրանք շուտով շրջվեցին դեպի էմպիրիկ արդյունքների բարելավում՝ հրաժարվելով իրենց կենսաբանական նախորդներին հավատարիմ մնալուց։ ԱՆՑ-երն ունեն ոչ գծային և բարդ հարաբերություններ սովորելու և մոդելավորելու ունակություն։ Սա ձեռք է բերվում տարբեր ձևերով միացված նեյրոնների միջոցով, ինչը թույլ է տալիս որոշ նեյրոնների ելքը դառնալ մյուսների մուտքը։ Ցանցն իրենից ներկայացնում է ուղղորդված, կշիռներով գրաֆ<ref name="Zell1994ch5.2">{{Cite book |last=Zell |first=Andreas |title=Simulation neuronaler Netze |date=2003 |publisher=Addison-Wesley |isbn=978-3-89319-554-1 |edition=1st |language=de |trans-title=Simulation of Neural Networks |chapter=chapter 5.2 |oclc=249017987}}</ref>։

Արհեստական նեյրոնային ցանցը բաղկացած է մոդելավորված նեյրոններից։ Յուրաքանչյուր նեյրոն, կենսաբանական աքսոն-սինապս-դենդրիտ կապի նման կապերի միջոցով, կապված է այլ գագաթների՝ հանգույցների հետ։ Կապերով միացած բոլոր հանգույցները վերցնում են որոշ տվյալներ և դրանք օգտագործում հատուկ գործողություններ և առաջադրանքներ կատարելու համար։ Յուրաքանչյուր կապ ունի կշիռ, որը ներկայացնում է մեկ հանգույցի ազդեցության ուժը մյուսի վրա<ref name='Winston'>{{Cite book |title=Artificial intelligence |publisher=Addison-Wesley Pub. Co |year=1992 |isbn=0-201-53377-4 |edition=3rd}}</ref>։
=== Արհեստական նեյրոններ ===
ԱՆՑ-երը կազմված են արհեստական նեյրոններից, որոնք գաղափարապես բխում են կենսաբանական նեյրոններից։ Յուրաքանչյուր [[արհեստական նեյրոն]] ունի մուտքեր և արտադրում է մեկ ելք, որը կարող է ուղարկվել բազմաթիվ այլ [[նեյրոն|նեյրոնների]]<ref name="Abbod2007">{{Cite journal |last1=Abbod |first1=Maysam F. |year=2007 |title=Application of Artificial Intelligence to the Management of Urological Cancer |journal=The Journal of Urology |volume=178 |issue=4 |pages=1150–1156 |doi=10.1016/j.juro.2007.05.122 |pmid=17698099}}</ref>։ Մուտքերը կարող են լինել արտաքին տվյալների նմուշի հատկությունների արժեքները, ինչպիսիք են պատկերները կամ փաստաթղթերը, կամ դրանք կարող են լինել այլ նեյրոնների ելքեր։ Նյարդային ցանցի վերջնական ելքային նեյրոնների ելքերը ամբողջացնում են առաջադրանքը, օրինակ՝ պատկերի մեջ օբյեկտի ճանաչումը։

Նեյրոնի ելքը գտնելու համար մենք վերցնում ենք մուտքերից դեպի նեյրոն կապերի կշիռների գումարը։ Այս գումարին ավելացնում ենք շեղումը<ref name="DAWSON1998">{{Cite journal |last1=Dawson |first1=Christian W. |year=1998 |title=An artificial neural network approach to rainfall-runoff modelling |journal=Hydrological Sciences Journal |volume=43 |issue=1 |pages=47–66 |bibcode=1998HydSJ..43...47D |doi=10.1080/02626669809492102 |doi-access=free}}</ref>։ Այս կշռված գումարը երբեմն կոչվում է ակտիվացում։ Արդյունքը ստանալու համար այս կշռված գումարն անցնում է (սովորաբար ոչ գծային) ակտիվացման ֆունկցիայի միջով։ Սկզբնական մուտքերը արտաքին տվյալներ են, ինչպիսիք են պատկերները և փաստաթղթերը։ Վերջնական արդյունքները կատարում են առաջադրանքը, օրինակ՝ պատկերի մեջ օբյեկտի ճանաչումը<ref>{{Cite web |title=The Machine Learning Dictionary |url=http://www.cse.unsw.edu.au/~billw/mldict.html#activnfn |archive-url=https://web.archive.org/web/20180826151959/http://www.cse.unsw.edu.au/~billw/mldict.html#activnfn |archive-date=2018 թ․ օգոստոսի 26 |access-date=2009 թ․ նոյեմբերի 4 |website=www.cse.unsw.edu.au}}</ref>։
=== Կառուցվածք ===
Նեյրոնային ցանցը սովորաբար կազմված է մի քանի շերտերից, հատկապես [[Խոր ուսուցում|խորը ուսուցման]] մեջ։ Մեկ շերտի նեյրոնները միանում են միայն անմիջապես նախորդող և անմիջապես հաջորդող շերտերի նեյրոններին։ Արտաքին տվյալներ ստացող շերտը մուտքային շերտն է։ Շերտը, որը վերջնական արդյունք է տալիս, ելքային շերտն է։ Նրանց կարող են լինել կամ չլինել թաքնված շերտեր։ Լինում են նաև միաշերտ և անշերտ ցանցեր։ Երկու շերտերի միջև հնարավոր են միացման մի քանի ձևեր։ Դրանք կարող են «ամբողջովին միացած» լինել՝ մի շերտի յուրաքանչյուր նեյրոն կապված լինի հաջորդ շերտի յուրաքանչյուր նեյրոնին։ Նրանք կարող են խմբավորված լինել՝ մի շերտի նեյրոնների խումբը կապված է հաջորդ շերտի մեկ նեյրոնին<ref name="flexible">{{Cite journal |last=Ciresan |first=Dan |author2=Ueli Meier |author3=Jonathan Masci |author4=Luca M. Gambardella |author5=Jurgen Schmidhuber |year=2011 |title=Flexible, High Performance Convolutional Neural Networks for Image Classification |url=https://people.idsia.ch/~juergen/ijcai2011.pdf |url-status=live |journal=Proceedings of the Twenty-Second International Joint Conference on Artificial Intelligence-Volume Volume Two |volume=2 |pages=1237–1242 |archive-url=https://web.archive.org/web/20220405190128/https://people.idsia.ch/~juergen/ijcai2011.pdf |archive-date=2022 թ․ ապրիլի 5 |access-date=2022 թ․ հուլիսի 7}}</ref>։ Միայն նման կապերով նեյրոնները կազմում են ուղղորդված ացիկլիկ գրաֆ և հայտնի են որպես ուղիղ կապերով նեյրոնային ցանցեր։.<ref name="Zell1994p73">{{Cite book |last=Zell |first=Andreas |title=Simulation Neuronaler Netze |publisher=Addison-Wesley |year=1994 |isbn=3-89319-554-8 |edition=1st |page=73 |language=de |trans-title=Simulation of Neural Networks}}</ref> Այլընտրանքային, ցանցերը, որոնք թույլ են տալիս կապեր նույն կամ նախորդ շերտերի նեյրոնների միջև, հայտնի են որպես պարբերական ցանցեր<ref>{{Cite journal |last=Miljanovic |first=Milos |date=February–March 2012 |title=Comparative analysis of Recurrent and Finite Impulse Response Neural Networks in Time Series Prediction |url=http://www.ijcse.com/docs/INDJCSE12-03-01-028.pdf |url-status=live |journal=Indian Journal of Computer and Engineering |volume=3 |issue=1 |archive-url=https://web.archive.org/web/20240519081156/http://www.ijcse.com/docs/INDJCSE12-03-01-028.pdf |archive-date=2024 թ․ մայիսի 19 |access-date=2019 թ․ օգոստոսի 21}}</ref>։
=== Հիպերպարամետր ===
{{Main|Հիպերպարամետր (մեքենայական ուսուցում)}}
Հիպերպարամետրը հաստատուն պարամետր է, որի արժեքը սահմանվում է ուսուցման գործընթացի սկսվելուց առաջ, ի տարբերություն այլ պարամետրերի, որոնց արժեքները ստացվում են ուսուցման միջոցով։ Հիպերպարամետրերի օրինակներ են սովորելու արագությունը, թաքնված շերտերի քանակը և փաթեթի չափը։ Օրինակ, որոշ շերտերի չափը կարող է կախված լինել շերտերի ընդհանուր քանակից։
=== Ուսուցում ===
{{Main| Մաթեմատիկական օպտիմիզացիա|Մեքենայական ուսուցում}}
Ուսուցումը դա նմուշային օրինակների դիտարկման միջոցով ցանցի հարմարեցումն է առաջադրանքն ավելի լավ կատարելու համար։ Ուսուցումը ներառում է ցանցի կշիռների (և ընտրովի շեմերի) սրբագրումը՝ արդյունքի ճշգրտությունը բարելավելու համար։ Դա արվում է նշմարված սխալները նվազագույնի հասցնելու միջոցով։ Ուսուցումն ավարտվում է, երբ լրացուցիչ դիտարկումների ուսումնասիրությունը չի բերում սխալների չափաբաժնի նվազմանը։ Նույնիսկ սովորելուց հետո չափաբաժինը սովորաբար չի հասնում 0-ի։ Եթե սովորելուց հետո սխալների քանակը չափազանց բարձր է, ցանցը անհրաժեշտ է վերանախագծել։ Գործնականում դա արվում է ծախսերի ֆունկցիայի որոշման միջոցով, որն ուսուցման ընթացքում պարբերաբար գնահատվում է։ Քանի դեռ դրա արժեքը շարունակում է նվազել, ուսումը շարունակվում է։ Արժեքը հաճախ դիտարկվում է որպես վիճակագրություն, որի արժեքը կարող է միայն մոտավոր լինել։ Արդյունքները իրականում թվեր են, ուստի արդյունքի՝ (գրեթե անկասկած կատու) և ճիշտ պատասխանի՝ (կատու) միջև տարբերությունը փոքր է։ Ուսուցումը փորձում է նվազեցնել դիտարկումների միջև եղած տարբերությունների ընդհանուր ցուցանիշը։ Ուսուցման մոդելների մեծ մասը կարող է դիտվել որպես [[Մաթեմատիկական օպտիմիզացիա|օպտիմիզացիոն]] տեսության և վիճակագրական գնահատման ուղղակի կիրառություն<ref name="Zell1994ch5.2" /><ref>{{Cite book |last1=Kelleher |first1=John D. |title=Fundamentals of machine learning for predictive data analytics: algorithms, worked examples, and case studies |last2=Mac Namee |first2=Brian |last3=D'Arcy |first3=Aoife |date=2020 |publisher=The MIT Press |isbn=978-0-262-36110-1 |edition=2nd |location=Cambridge, MA |chapter=7-8 |oclc=1162184998}}</ref>։

==== Ուսուցման մակարդակը ====
Յուրաքանչյուր դիտարկման ժամանակ սխալներն ուղղելու համար մոդելի ձեռնարկած քայլերի քանակը որոշում է ուսուցման արագությունը։
<ref>{{Cite arXiv |eprint=1905.00094 |class=cs.LG |first=Jiakai |last=Wei |title=Forget the Learning Rate, Decay Loss |date=2019 թ․ ապրիլի 26}}</ref> Ուսուցման բարձր արագությունը կրճատում է ուսուցման ժամանակը, բայց ավելի ցածր վերջնական ճշգրտությամբ, մինչդեռ ցածր ուսուցման արագությունը ավելի երկար է տևում, բայց ավելի մեծ ճշգրտություն է ապահովում։ Օպտիմալացումները, ինչպիսիք են [[Quickprop]]-ը հիմնականում ուղղված են արագացնելու սխալների նվազեցնելը, մինչդեռ այլ բարելավումները հիմնականում փորձում են բարձրացնել հուսալիությունը։ Ցանցի ներսում [[Տատանում|տատանումներից]] խուսափելու համար, ինչպիսիք են կապի փոփոխական կշիռները, և բարելավելու զուգամիտման արագությունը, ճշգրտումները օգտագործում են [[հարմարվողական ուսուցման արագությունը]], որը մեծանում կամ նվազում է ըստ անհրաժեշտության<ref>{{Cite book |last1=Li |first1=Y. |title=2009 International Conference on Computational Intelligence and Natural Computing |last2=Fu |first2=Y. |last3=Li |first3=H. |last4=Zhang |first4=S. W. |date=2009 թ․ հունիսի 1 |isbn=978-0-7695-3645-3 |volume=1 |pages=73–76 |chapter=The Improved Training Algorithm of Back Propagation Neural Network with Self-adaptive Learning Rate |doi=10.1109/CINC.2009.111 |s2cid=10557754}}</ref>։
=== Ուսուցման պարադիգմներ ===
Մեքենայական ուսուցումը սովորաբար բաժանվում է երեք հիմնական ուսուցման պարադիգմների՝ [[վերահսկվող ուսուցում]]<ref>{{Cite book |last1=Bernard |first1=Etienne |url=https://www.wolfram.com/language/introduction-machine-learning/machine-learning-paradigms/#p-9 |title=Introduction to machine learning |date=2021 |publisher=Wolfram Media |isbn=978-1-57955-048-6 |location=Champaign |page=9 |language=en |access-date=2023 թ․ մարտի 22 |archive-url=https://web.archive.org/web/20240519081126/https://www.wolfram.com/language/introduction-machine-learning/machine-learning-paradigms/#p-9 |archive-date=2024 թ․ մայիսի 19 |url-status=live}}</ref>, [[չվերահսկվող ուսուցում]]<ref>{{Cite book |last1=Bernard |first1=Etienne |url=https://www.wolfram.com/language/introduction-machine-learning/machine-learning-paradigms/#p-9 |title=Introduction to machine learning |date=2021 |publisher=Wolfram Media |isbn=978-1-57955-048-6 |location=Champaign |page=12 |language=en |access-date=2023 թ․ մարտի 22 |archive-url=https://web.archive.org/web/20240519081126/https://www.wolfram.com/language/introduction-machine-learning/machine-learning-paradigms/#p-9 |archive-date=2024 թ․ մայիսի 19 |url-status=live}}</ref> և [[Ամրապնդման ուսուցում|ամրապնդող ուսուցում]]<ref>{{Cite book |last1=Bernard |first1=Etienne |url=https://www.wolfram.com/language/introduction-machine-learning/ |title=Introduction to Machine Learning |publisher=Wolfram Media Inc |year=2021 |isbn=978-1-57955-048-6 |page=9 |access-date=2022 թ․ հուլիսի 28 |archive-url=https://web.archive.org/web/20240519081126/https://www.wolfram.com/language/introduction-machine-learning/ |archive-date=2024 թ․ մայիսի 19 |url-status=live}}</ref>։ Յուրաքանչյուրը համապատասխանում է որոշակի ուսումնական առաջադրանքի։
==== Վերահսկվող ուսուցում ====
[[Վերահսկվող ուսուցում|Վերահսկվող ուսուցումն]] օգտագործում է մուտքերի և ցանկալի արդյունքների զույգերի հավաքածու։ Ուսուցման խնդիրն է յուրաքանչյուր մուտքի համար ցանկալի արդյունք ստանալ։ Այս դեպքում ծախսերի ֆունկցիան կապված է սխալ արդյունքները վերացնելու հետ<ref>{{Cite journal |last1=Ojha |first1=Varun Kumar |last2=Abraham |first2=Ajith |last3=Snášel |first3=Václav |date=2017 թ․ ապրիլի 1 |title=Metaheuristic design of feedforward neural networks: A review of two decades of research |journal=Engineering Applications of Artificial Intelligence |volume=60 |pages=97–116 |arxiv=1705.05584 |bibcode=2017arXiv170505584O |doi=10.1016/j.engappai.2017.01.013 |s2cid=27910748}}</ref>։ Սովորաբար օգտագործվող արժեքը միջին քառակուսի սխալն է, որը փորձում է նվազագույնի հասցնել ցանցի ելքի և ցանկալի արդյունքի միջև միջին քառակուսի սխալը։ Վերահսկվող ուսուցման համար հարմար առաջադրանքներ են [[Պատկերների ճանաչման տեսություն|օրինաչափությունների ճանաչումը]] (հայտնի է նաև որպես դասակարգում) և [[Ռեգրեսիա|ռեգրեսիան]] (նաև հայտնի է որպես ֆունկցիայի մոտարկում)։ Վերահսկվող ուսուցումը կիրառելի է նաև հաջորդական տվյալների համար (օրինակ՝ ձեռագրի, խոսքի և [[Ժեստերի ճանաչում|ժեստերի ճանաչման]] համար)։ Սա կարելի է ընկալել որպես «ուսուցչի» հետ ուսուցում՝ ֆունկցիայի տեսքով, որն ապահովում է մինչ այժմ ստացված լուծումների որակի վերաբերյալ շարունակական հետադարձ կապ։

== Ժամանակագրություն ==
* 1943 թվականին [[Ուորեն ՄաքՔալոկ|Ու. ՄակՔալոկը]] և [[Ուոլտեր Պիտս|Ու. Պիտսը]] ձևավորում են նեյրոնային ցանցի հասկացությունը նյարդային ակտիվության և գաղափարների տրամաբանական հաշվարկի վերաբերյալ հիմքային հոդվածում<ref name="Մակ-Կալլոկ"/>.
* 1948 թվականին [[Նորբերտ Վիներ|Նորբերտ Վիները]] գործընկերների հետ միասին հրատարակեցին կիբերնետիկայի մասին աշխատանքը։ Հիմնական գաղափարը հանդիսանում է մաթեմատիկական մոդելների միջոցով բարդ բիոլոգիական պրոցեսների ներկայացումը։
* 1949 թվականին [[Դոնալդ Խեբբ|Դ. Խեբբը]] առաջարկում է ուսուցման առաջին ալգորիթը։
* 1958 թվականին [[Ֆրենկ Ռոզենբլատ|Ֆ. Ռոզենբատտը]] ստեղծում է միաշերտ [[պերսեպտրոն]] և ցույց է տալիս դասակարգման խնդիրները լուծելու նրա կարողությունը։ Պերսեպտրոնը կիրառում էին կերպարների ճանաչման, եղանակի կանխատեսման և այլ խնդիրներում։ Պերսեպտրոնի հայտնագործման պահին ավարտվել էր [[Նորբերտ Վիներ|Վինների]] «կիբերնետիկայի» հետ [[Ուորեն ՄաքՔալոկ|ՄակՔալոնի]] տարակարծությունը։ Թվում էր, թե ամբողջական [[արհեստական ինտելեկտ]]ի կառուցումը այլևս սարերի ետևում չէ։ ՄակՔալոկը և նրա հետնորդները դուրս եկան «Կիբերնետիկական ակումբի» կազմից։
* 1960 թվականին Ուիդրոուն իր ուսանող Խոֆֆոմի հետ համատեղ [[դելտա-կանոն]]ի հիման վրա (''Ուիդրոուի բանաձևեր'') մշակեցին Ադալինը, որը անմիջապես սկսեց կիրառվել կանխատեսման և արդյունավետ կառավարման խնդիրներում։ Ադալինը կառուցվել էր նրանց (Ուիդրոու - Խոֆֆոմ) իսկ կողմից արդեն ստեղծված սկուզբունքորեն նոր էլեմենտների բազայի հիման վրա՝ [[մեմիստոր]]ի հիման վրա<ref>[http://www-isl.stanford.edu/~widrow/papers/j1964patternrecognition.pdf Pattern Recognition and Adaptive Control. ''BERNARD WIDROW'']</ref>. Այժմ Ադալինը հանդիսանում է ազդանշանների մշակման բազմաթիվ համակարգերի ստանդարտ էլեմենտը<ref>''Ուիդրոու Վ., Ստիրնս Ս.'',Ազդանշանների արդյունավետ կառավարում։ Ռադիո և կապ, 1989. — 440 էջ</ref>։
* 1963 թվականին [[ԽՍՀՄ գիտությունների ակադեմիա|ԽՍՀՄ ԳԱ]] Ինֆորմացիայի փոխանցման խնդիրների ինստիտուտում Ա. Պ. Պետրովի կողմից կատարվում է պերցեպտրոնի համար «բարդ» խնդիրների մանրակրկիտ ուսումնասիրություն<ref>{{հոդված | հեղինակ = Պետրով Ա.Պ. | վերնագիր = Պերցեպտրոնի հնարավորությունների մասին| հրատարակություն = АН СССР հրատարակություն, Տեխնիկական կիբերնետիկա | թիվ = 1964 | համար = 6 }}</ref>. ԱՆՑ մոդելավորման ոլորտում այդ պիոներական աշխատանքը ԽՍՀՄ-ում ծառայեց որպես [[Միխաիլ Բոնգարդ|Մ. Մ. Բոնգարդի]] համար նոր գաղափարների կոմպլեքսի աղբյուր, որպես «պերցեպտրոնի ալգորիթմի փոքր համեմատական ձևափոխություն թերությունները ուղղելու համար<ref>{{գիրք|վերնագիր = Ճանաչողության խնդիրներ | բնօրինակ = |հեղինակ = Բոնգարդ Մ.Մ. |հղում = |isbn = |էջ = |թիվ = 1967 |հրատարակություն =|վայր = Մ. |հրատարակչություն = ֆիզմաթգիզ }}</ref> : Ա. Պետրովի և Մ. Մ. Բոնգարդի աշխատանքները նպաստեցին , որ ԽՍՀՄ-ում ԱՆՑ վերաբերյալ առաջին էյֆորիայի ալիքը հարթվի։
* 1969 թվականին [[Մարվին Լի Մինսկի|Մ. Մինսկին]] հրապարակում է պերցեպտրոնի սահմանափակության փաստերը և ցույց է տալիս , որ այն ունակ չէ լուծելու մի շարք խնդիրներ ([["Ազնվության" և "միայնակ բլոկում" խնդիրներ]])` կապված ներկայացումների այլաձևության հետ։ Նեյրոնային ցանցերի նկատմամբ հետաքրքրությունը կտրուկ ընկնում է։
* 1973 թվականին Վ. Վ. Խակիոմովը առաջարկում է սպլայների հիման վրա սինապսներով ոչ գծային մոդել և ներդնում է այն բժշկության, էկոլոգիայի, երկրաբանության խնդիրների լուծման համար։ Խակիմով Վ. Վ.'' Սպլայներով կոռելյացիոն կախվածությունների մոդելավորում երկրաբանության և էկոլոգիայի օրինակներով . — Մ.: «ՄՊՀ»։ «Նևա»,2003, 144 էջ.
* 1974 թվականին Պոլ Ջ. Վերբոսը<ref>''Werbos P. J.'', Beyond regression: New tools for prediction and analysis in the behavioral sciences. Ph.D. thesis, Harvard University, Cambridge, MA, 1974.</ref> և Ա. Ի. Գալուշկինը<ref>''Գալուշկին Ա. Ի.'' Կերպարների ճանաչման բազմաշերտ համակարգի սինթեզ — Մ.: «Էներգիա», 1974.</ref> միաժամանակ ստեղծում են [[Սխալների հետադարձ տարածման մեթոդ|սխալների հետադարձ տարածման ալգորիթը]] [[բազմաշերտ պերցեպտրոն]]ների ուսումնասիրման համար։ Հայտնագործությունը առանձնապես ուշադրության չի արժանանում։
* 1975 թվականին Կունիխիկո Ֆուկսիման ներկայացնում է [[Կոգնիտրոն|կոգնիտրոնը]]. ինքնաձևավորվող ցանց` նախատեսված այլընտրանքային [[Պատկերների ճանաչման տեսություն|պատկերների ճանաչման]] համար, սակայն դա հասանելի է փաստացիորեն պատկերների բոլոր վիճակների հիշման պարագայում։
* 1982 թվականին մոռացության էտապից հետո նեյրոնային ցանցերի նկատմամբ հետաքրքրությունը կրկին աճում է։ Ջոն Հոպֆիլդը ([[:en:John Joseph Hopfield]]) ցույց տվեց , որ հետադարձ կապերով նեյրոնային ցանցը կարող է իրենից ներկայացնել համակարգ, որը նվազեցնում է էներգիան (այսպես կոչված [[Հոպֆիլդի նեյրոնային ցանց|Հոպֆիլդի ցանց]]) ։ Կոխոնենի կողմից ներկայացված են անցերի մոդելներ , որոնք ուսուցանվում են առանց ուսուցչի ([[Կոխոնենի նեյրոնային ցանց]])և լուծում են [[Կլաստեր-անալիզ|կլաստերիզացիայի]] խնդիրներ,տվյալների վիզուալիզացիա ([[Կոխոնենի ինքնակազմակերպվող քարտ]])և տվյալների վերլուծության այլ խնդիրներ։
* 1986 թվականին Դեվիդ Ի. Ռումելխարտի, Ջեֆրի Հինթոնի և Ռոնալդ Ջ. Վիլյամսի<ref name="Rumelhart">''Rumelhart D.E., Hinton G.E., Williams R.J.'', Learning Internal Representations by Error Propagation. In: Parallel Distributed Processing, vol. 1, pp. 318—362. Cambridge, MA, MIT Press. 1986.</ref> և իրարից անկախ ու միաժամանակ Ս. Ի. Բարցևի և Վ. Ա. Օխոնինի կողմից (Կրասնոյարսկյան խումբ)<ref>''Բարցև Ս. Ի., Օխոնին Վ. Ա.'' Ինֆորմացիայի մշակման արդյունավետ ցանցեր. Կրասնոյարսկ։ АН СССР, 1986. Препринт N 59Б. — 20 с.</ref> մշակվել և զարգացել է [[սխալների հետադարձ տարածման մեթոդը]]։ Սկսվեց ուսուցանվող նեյրոնային ցանցերի նկատմամբ հետաքրքրությունը։

== Ինչ է նեյրոնային ցանցը ==
=== Նեյրոն ===
Նեյրոնը հաշվողական միավոր է, որը տեղեկատվություն է ստանում, պարզ հաշվարկներ է կատարում դրա վրա և փոխանցում։ Դրանք բաժանվում են երեք հիմնական տեսակի՝ մուտքային, թաքնված և ելքային։ Այն դեպքում, երբ նեյրոնային ցանցը բաղկացած է մեծ թվով նեյրոններից, ներմուծվում է շերտ տերմինը։ Համապատասխանաբար, կա մուտքային շերտ, որը ստանում է տեղեկատվություն, թաքնված շերտեր, որոնք մշակում են այն, և ելքային շերտ, որը ցուցադրում է արդյունքը։ Նեյրոններից յուրաքանչյուրն ունի 2 հիմնական պարամետր՝ մուտքային տվյալներ (input data) և ելքային տվյալներ (output data)։ Մուտքային նեյրոնի դեպքում՝ input=output։ Մնացած մասում մուտքագրման դաշտը պարունակում է նախորդ շերտի բոլոր նեյրոնների ընդհանուր տեղեկատվությունը, որից հետո այն նորմալացվում է՝ օգտագործելով ակտիվացման ֆունկցիան։

Նեյրոնը կատարում է պարզագույն գործողություն՝

<math>val = \sum_{i=1}^N w_i*x_i+b</math>,

Որտեղ w<sub>i</sub> – սինապսի կշիռը, x<sub>i</sub> – նեյրոնի արժեքը, b – կոնստանտ, որը նույնպես փոփոխվում է նեյրոնային ցանցի սովորելու ընթացքում<ref name=":0">{{Citation |last=Գ․ Գևորգյան, Վ․ Հովհաննիսյան |title=Նեյրոնային Ցանցեր |date=2022 թ․ մայիսի 20 |url=https://github.com/GagGev/neural_network |accessdate=2022 թ․ մայիսի 20}}</ref>։

=== Սինապս ===
Սինապսը կապ է երկու նեյրոնների միջև։ Սինապսներն ունեն 1 պարամետր՝ կշիռ (weight)։ Նրա շնորհիվ մուտքային տեղեկատվությունը փոխվում է, երբ այն փոխանցվում է մի նեյրոնից մյուսը։ Ենթադրենք կան 3 նեյրոններ, որոնք տեղեկատվություն են փոխանցում հաջորդին։ Այնուհետև մենք ունենք 3 կշիռ, որոնք համապատասխանում են սինապսներից յուրաքանչյուրին։ Ավելի մեծ քաշ ունեցող սինապսի համար այդ տեղեկատվությունը գերիշխող կլինի հաջորդ նեյրոնում։ Նեյրոնային ցանցի կշիռների հավաքածուն կամ քաշի մատրիցը ամբողջ համակարգի ուղեղն է։ Այդ կշիռների շնորհիվ է, որ մուտքային տեղեկատվությունը մշակվում և վերածվում է արդյունքի<ref name=":0" />։

=== Նեյրոնային Ցանցը՝ որպես ամբողջություն ===
Նեյրոնային ցանցը նեյրոնների հաջորդականություն է, որոնք միացված են սինապսներով։ Նեյրոնային ցանցի կառուցվածքը եկել է անմիջապես կենսաբանությունից։ Այս կառուցվածքի շնորհիվ մեքենան ձեռք է բերում տարբեր տեղեկություններ վերլուծելու ունակություն։ Նեյրոնային ցանցերը նաև ունակ են ոչ միայն վերլուծել մուտքային տեղեկատվությունը, այլև վերարտադրել այն իրենց հիշողությունից։ Այլ կերպ ասած, նեյրոնային ցանցը մարդու ուղեղի մեքենայական մեկնաբանությունն է, որը պարունակում է միլիոնավոր նեյրոններ, որոնք տեղեկատվություն են փոխանցում էլեկտրական իմպուլսների տեսքով<ref name=":0" />։

== Հայտնի կիրառություններ ==
=== Կերպարների ճանաչում և դասակարգում ===

Որպես կերպարներ կարող են հանդես գալ տարբեր օբյեկտներ ` տեքստի սիմվոլներ , պատկերներ , երաժշտության օրինակներ և այլն։ Ուսուցման ժամանակ ցանցին առաջարկվում են կերպարների տարբեր օրինակներ ` նշելով , թե որ դասին է այն պատկանում։ Օրինակը, որպես կանոն, ներկայացվում է որպես արժեքների նախանշանների վեկտոր։ Այդ դեպքում բոլոր նախանշանների ամբողջությունը պետք է ''միանշանակ որոշի դասը'', որին վերաբերում է օրինակը։ Եթե նախանշանները բավարար չեն, ցանցը կարող է միևնույն կերպարը վերագրել մի քանի դասերի, ինչը հավանաբար<ref name="BaseGroup-Class">[http://www.basegroup.ru/neural/practice.htm BaseGroup Labs — Նեյրոցանցերի պրակտիկ կիրառումն է դասակարգման խնդիրներում]</ref> : Ցանցերի ուսուցման ավարտին նրանց կարելի է ներկայացնել անհայտ վաղեմի կերպարներ և ստանալ որոշակի դասին պատկանելության վերաբերյալ պատասխան։

Նման ցանցի տրամաբանությունը բնութագրվում է նրանով, որ ելքային շերտում նեյրոնների քանակը , որպես կանոն, հավասար է որոշվող դասերի քանակին։ Այդ դեպքում նեյրոնային ցանցի ելքի և դասի միջև հաստատվում է համապատասխանություն, որն այն ներկայացնում է։ Երբ ցանցին ներկայացվում է որոշակի կերպար, ելքերից մեկում պետք է հայտնվի այն բանի նախանշանը, որ կերպարը պատկանում է այդ դասին։ Միևնույն ժամանակ այլ ելքերում պետք է լինի այն բանի նախանշանը, որ կերպարը տվյալ դասին չի պատկանում<ref>Կոդավորման նման տեսքը հաճախ անվանում են կոդ «1-ը N-ից»</ref>։ Եթե երկու կամ ավելի ելքերում առկա է դասին պատկանելիության նախանշան, ապա համարվում է , որ ցանցը «վստահ չէ» իր պատասխանում։

=== Որոշումների ընդունում և կառավարում ===
Այս խնդիրը մոտ է դասակարգման խնդրին։ Դասակարգումը ենթակա է իրավիճակին,որի բնութագրերը մուտքգրվում են նեյրոնային ցանցի մուտքում։ Ցանցի ելքում պետք է այդ պարագայում հայտնվի լուծման կանխատեսումը, որը ցանցը ընդունել է։ Այդ պարագայում որպես մուտքային ազդանշաներ կիրառվում են կառավարվող համակարգի վիճակը բնութագրող տարբեր չափանիշներ<ref name="OSPNeuro">[http://www.osp.ru/os/1997/04/16.htm Բաց համակարգեր — նեյրոցանցերում ներդնումը]</ref>.

=== Կլաստերիզացիա ===
Կլաստերիզացիայի ներքո հասկացվում է բազմաթիվ մուտքային ազդանշանների բաժանումը դասերի, ընդ որում այնպես, որ ոչ քանակը և ոչ էլ դասերի նախանշանները նախապես հայտնի չեն։ Ուսումնասիրումից հետո նման ցանցը կարող է որոշել, թե որ դասին է պատկանում մուտքային ազդանշանը։ Ցանցը կարող է ազդանշան տալ նաև այն մասին, որ մուտքային ազանշանը չի պատկանում առանձնացված դասերից և ոչ մեկին, ինչն էլ հանդիսանում է նոր, ուսուցանվող ընտրանքում բացակայող տվյալների նախանշանը։ Այդ պարագայում, նման ցանցը ''կարող է առաջացնել նոր, նախկինում անհայտ ազդանշանների դասեր ''։ Դասերի միջև դասերի և ցանցի կողմից առանձնացված, առարկայական տիրույթում գոյություն ունեցող համապատասխանությունը հաստատվւոմ է մարդու կողմից։ Կլաստերիզացիան իրականացնում են օրինակ ՝ [[Կոխոնենի նեյրոնային ցանց]]ը։

Նեյրոնային ցանցերը Կոխոնենի պարզ տարբերակում չեն կարող մեծ լինել, այդ իսկ պատճառով էլ դրանք բաժանում են հիպերշերտերի (հիպերսյունակների) և միջուկի (միկրոսյուների):Եթե համեմատել մարդու ուղեղի հետ, ապա զուգահեռ շերտերի իդեալական քանակը չպետք է գերազանցի 112-ը։ Այդ շերտերը իրենց հերթին կազմում են հիպերշերտեր (հիպերսյունակ), որոնցում առկա է 500 -ից 2000 միկրոսյունակ (միջուկ)։ Այդ պարագայում յուրաքանչյուր շերտ բաժանվում է բազմաթիվ հիպերսյունակների, որոնք ներտափանցում են շերտերի մեջ։ Միկրոսյունակները կոդավորվում են թվերով և միավորներով ,որոնք ելքում որպես արդյունք են ստացվում։ Եթե անհրաժեշտ է , ապա ավելորդ շերտերը կամ նեյրոնները հեռացվում են կամ ավելացվում։ Նեյրոնների կամ շերտերի քանակի որոշման համար իդեալական է սուպերհամակարգիչների կիրառումը։ Այդպիսի համակարգը թույլ է տալիս , որ նեյրոնային ցանցերը լինեն ճկուն։

=== Կանխատեսում ===
Նեյրոնային ցանցերի կանխատեսման հնարավորությունները ուղղակիորեն հետևում են նրա ելքային և մուտքային տվյալների միջև թաքնված կախվածությունների ընդհանրացման և առանձնացման հնարավորություններից։ Ուսուցումից հետո ցանցը ունակ է գուշակելու որոշակի գործունեության ապագա սպասվող արժեքը` մի քանի նախկին արժեքների հիման վրա և/կամ ներկա պարագայում գոյություն ունեցող մի քանի փաստերի հիման վրա։ Պետք է նշել, որ կանխատեսումը հնարավոր է միայն այն դեպքում, երբ " նախկին փոփոխությունները ինչ-որ մակարդակում որոշում են ապագան ": Օրինակ, բաժնետոմսերի գների կանխատեսումը նախորդ շաբաթվա համեմատ կարող է հաջող հանդիսանալ (կարող է նաև անհաջող լինել), այն դեպքում, երբ վաղվա խաղատոմսի արդյունքների կանխատեսումը վերջին 50 տարվա արդյունքների հիման վրա հավանաբար ոչ մի արդյունք չի տա։

=== Ապրոքսիմացիա ===
Նեյրոնային ցանցերը կարող են ապրոկսիմացնել անընդհատ ֆունկցիաներ։ Ապացուցված է ընդհանրացված [[ապրոկսիմացիա|ապրոկսիմացիոն]] [[թեորեմը]]<ref>''Գորբան Ա.Ն.'', [http://neuroschool.narod.ru/pub/sibzhvm98.pdf Ընդհանրացված ապրոկսիմացիոն թեորեմ և նեյրոնային ցանցերի հաշվողական հնարավորություններ] {{Webarchive|url=https://web.archive.org/web/20120127111259/http://neuroschool.narod.ru/pub/sibzhvm98.pdf |date=2012-01-27 }}, Հաշվողական մաթեմատիկայի սիբիրյան ամսագիր, 1998. Т.1, № 1. С. 12-24.</ref>։ շնորհիվ գծային օպերցիաների և կասկադային կապերի ՝
կարելի է սկզբնական ոչ գծային էլեմենտներից ստանալ սարք, որը հաշվում է ցանկացած [[Անընդհատ պատկեր|անընդհատ ֆունկցիա]] սկզբնապես տրված որոշակի [[ճշտությամբ]]։ Դա նշանակում է , որ նեյրոնի ոչ գծային բնութագիրը կարող է լինել կամայական ՝ [[սիգմոդիայինից]] մինչև կամայական փաթեթ կամ [[վեյվլետ]], [[սինուս (ֆունկցիա)|սինուսի]] կամ [[բազմանդամի]]։ Ոչ գծային ֆունկցիայի ընտրությունից կարող է կախված լինել կոնկրետ ցանցի [[բարդությունը]] , սակայն ցանկացած ոչ գծայնությամբ ցանցը մնում է ունիվերսալ ապրոկսիմատոր և կառուցվածքի ճիշտ ընտրության դեպքում կարելի է հստակ ապրոկսիմացնել ցանցակացած նեյրոնային ապարատի ֆունկցիայավորումը։

=== Տվյալների սեղմում և ասոցիատիվ հիշողություն ===
Նեյրոցանցերի հնարավորությունը տարբեր պարամետրերի միջև փոխկապվածությունների հայտնաբերման հնարավորություն է տալիս մեծ չափերի տվյալները ավելի կոմպակտ ներկայացնել , եթե տվյալները սերտորեն կապված են միմյանց հետ։ Հակառակ պրոցեսը ` ինֆորմացիայի մասից տվյալների մուտքային հավաքածուի վերականգնումը կոչվում է ասոցիատիվ հիշողություն։ Ասոցիատիվ հիշողությունը թուլ է տալիս նաև վերկականգնելու մուտքային ազդանշան/կերպարը աղավաղված/վնասված մուտքային տվյալներից։ Հետերոասոցիատիվ հիշողության լուծումը թույլ է տալի իրականացնել հիշողություն, որը հասցեավորվում է ըստ պարունակության<ref name="OSPNeuro" />։

== Որոշումների ընդունման փուլեր ==
* Ուսուցման համար տվյալների հավաքագրում;
* Տվյալների նախապատրաստում և նորմալացում;
* Ցանցի տրամաբանության ընտրություն;
* Ցանցի բնութագրերի էքսպերիմենտալ ընտրություն;
* Ուսուցման պարամետրերի էքսպերիմենտալ ընտրություն;
* Ինքնուսուցում ;
* Ուսուցման արդյունավետության ստուգում;
* Պարամետրերի ուղղում,վերջնական ուսուցում;
* Ցանցի [[վերբալիզացիա (ծրագրավորում)|վերբալիզացիա]]<ref>''[[Միրկես, Եվգենի Մոյիսեևիչ|Միրկես Ե. Մ.]]'',[http://www.intuit.ru/department/expert/neuroinf/9/ Տրամաբանական թափանցիկ նեյրոնային ցանցեր և ակնհայտ տվյալների գիտելիքների ստեղծում] , գրքում։ Նեյրոինֆորմատիկա / ''Ա. Ն. Գորբան, Վ. Լ. Դունին-Բորկովսկի, Ա. Ն. Կիրդին'' և այլք — Նովոսիբիրսկ։ Գիտություն. Սիբիրյան ընկերություն РАН, 1998. — 296 с ISBN 5-02-031410-2</ref> հետագա կիրառման նպատակով։

Արժե այս էտապներից որոշները մանրամասնորեն ուսումնասիրել։

=== Ուսուցման համար տվյալների հավաքագրում ===
Տվյալների հավաքագրումը ցանցի ուսուցման և մշակման համար հանդիսանում է խնդրի լուծման ամենաբարդ փուլը։Տվյալների հավաքագրրումը պետք է բավարարի մի շարք չափանիշների .
* Ներկայացվածություն — տվյալները պետք է ցույց տան առարկայական տիրույթի իրերի և առարկաների իրական վիճակը ,
* Հակադրության բացակայություն — հակադրվող տվյալները ուսուցանվող ընտրանքում կարող են բերել ուսուցանվող ցանցի վատ որակի ,

Մուտքային տվյալները բերվում են այնպիսի տեսքի, որով դրանք կարելի է տալ ցանցի մուտքին։ Տվյալների ֆայլում յուրաքանչյուր գրառում կոչվում է "ուսուցանվող զույգ" կամ "ուսուցանվող վեկտոր" : Ուսուցանվող վեկտորը պարունակում է ցանցի յուրաքանչյուր մուտքի մեկական արժեք և կախված ուսուցման տիպից (ուսուցչի հետ կամ առանց) մեկական արժեք ցանցի յուրաքանչյուր ելքի համար։ Ցանցի ուսուցումը «հուքային» ընտրանքում, որպես կանոն, որակյալ արդյուքներ չի տալիս։ Գոյություն ունեն ցանցի «ընկալման» բարելավման մի շարք հնարավորություններ .
* ''Նորմալացումը'' կատարվում է , երբ տարբեր մուտքերում հանդիպում են տարբեր չափողականության տվյալներ։ Օրինակ, ցանցի առաջին մուտքին տրվում են 0-ից մինչև միավոր մեծության արժեքներ , իսկ երկրորդին ՝ 100-իc մինչև 1000։ Երկրորդ մուտքում արժեքների նորմավորման բացակայության դեպքում ցանցի ելքի վրա մեծ ազդեցություն կունենա, քան արժեքը առաջին մուտքի դեպքում։ Բոլոր մուտքային և ելքային տվյալների չափողականության նորմավորումը կատարվում է միասին,
* ''[[Քվանտավորում(ազդանշանների մշակում)|Քվանտավորումը]]'' կատարվում է անընդհատ մեծությունների նկատմամբ, որոնց համար առանձնացվում է դիսկրետ արժեքների հավաքածու։ Օրինակ, քվանտավորումը կիրառվում է ձայնային ազդանշանների հաճախականության տրման ժամանակ ՝ բանավոր խոսքի ճանաչման համար ,
* ''[[Ֆիլտրացիան]]'' իրականացվում է «աղավաղված» տվյալների համար։

Բացի այդ, մեծ դեր է խաղում ինչպես մուտքային, այնպես էլ ելքային տվյալների ներկայացումը։ Ենթադրենք ցանցը ուսուցանում է տառերի ճանաչումը նկարներով և ունի մեկ թվային ելք ՝ այբուբենում տառի համարը։ Այդ դեպքում ցանցը կստանա ոչ ճշմարիտ տեղեկություն այն մասին, որ 1 և 2 համարի տառերը իրար ավելի նման են, քան 1 և 3 համարներինը , ինչը ընդհանուր առմամբ ճիշտ չէ։ Այդ դեպքում, նման իրավիճակներից խուսափելու համար, կիրառում են մեծ թվով ելքերով ցանցի տրամաբանությունը , երբ յուրաքանչյուր ելք ունի իր իմաստը։ Որքան ցանցի ելքերը շատ են, այնքան դասերի միջև հեռավորությունը շատ է և ավելի բարդ է զիջումը։

=== Ցանցի տրամաբանության ընտրություն ===
Ցանցի տիպը ընտրելիս պետք է ելնել խնդրի դրվածքից և առկա ուսումնասիրվող տվյալներից։Ուսուցչի միջոցով ուսուցման դեպքում անհրաժեշտ է ընտրանքի յուրաքանչյուր էլեմենտի համար «փորձագիտական» գնահատական։ Երբեմն նման գնահատականի ստացումը մեծ տվյալների զանգվածների համար ուղղակիորեն անհնար է։ Այդպիսի դեպքերում ճիշտ ընտրություն է հանդիսանում առանց ուսուցչի ուսուցանվող ցանցի ընտրությունը, օրինակ ՝ [[Կոխոնենի ինքնաձևավորվող քարտը]] կամ [[Խոպֆիլդի նեյրոնային ցանցը]]։ Այլ խնդիրների լուծման դեպքում , ինչպիսիք են ժամանակային շարքերի կանխատեսումը , փորձագիտական գնահատականները , արդեն պարունակվում են մուտքային տվյալներում և կարող են առանձնացվել դրանց մշակման դեպքում։ Այդ դեպքում կարելի է օգտագործել [[բազմաշերտ պերցեպտրոնը]] կամ [[Վորդի նեյրոնային ցանցը|Վորդի ցանցը]]։

=== Ցանցի հատկությունների փորձագիտական ընտրություն ===
Ընդհանուր կառուցվածքի ընտրությունից հետո կարելի է փորձագիտորեն ընտրել ցանցի պարամետրերը։ Պերցեպտրոնի տիպի ցանցերի համար դա կլինի շերտերի թիվը , թաքնված շերտերում բլոկների թիվը (Վորդի ցանցի համար), շրջանցող կապերի առկայությունը կամ բացակայությունը ,նեյրոնների փոխանցելիության գործառույթները։ Շերտերի և նեյրոնների քանակի ընտրության դեպքում պետք է ելնել նրանից, որ "ցանցի ընդհանուր հնարավորությունները այնքան մեծ են, որքան շատ են նեյրոնների միջև գումարային կապերը" : Մյուս կողմից , կապերի քանակը վերևից սահմանափակված է ուսուցանվող տվյալներում գրառումների քանակով։

=== Ուսուցման պարամետրերի փորձագիտական ընտրություն ===
Կոնկրետ տրամաբանության ընտրությունից հետո անհրաժեշտ է ընտրել ուսուցանվող նեյրոնային ցանցի պարամետրերը։ Այս էտապը առավելապես կարևոր է [[Ուսուցում ուսուցչի օգնությամբ|ուսուցչի օգնությամբ ուսուցանվող]] ցանցերի համար։ Պարամետրերի ճիշտ ընտրությունից կախված է ոչ միայն այն, թե որքան արագ ցանցը ճիշտպատասխաններ կտա։ Օրինակ, ցածր արագությամբ ուսուցման ընտրությունը կմեծացնի գեներացիայի ժամանակը , սակայն միևնույն ժամանակ թույլ կտա խուսափելու [[Նեյրոնային ցանցի անդամալուծություն|ցանցի անդամալուծությունից]]։ Ուսուցման ժամանակի մեծացումը կարող է բերել ինչպես գեներացման ժամանակի մեծացմանը, այնպես էլնվազեցմանը ՝ կախված [[սխալների մակերես]]ի ձևից։ Ելնելով պարամետրերի նման հակազդեցությունից , կարելի է ենթադրել, որ նրանց արժեքները պետք է փորձագիտորեն ընտրել ՝ ղեկավարվելով ուսուցման պարամետրերով (օրինակ ՝ սխալների նվազեցում կամ ուսուցման ժամանակահատվածի կրճատում) ։

=== Ցանցի փաստացի ուսուցում ===
Ուսուցման պրոցեսում ցանցը որոշակի հերթականությամբ ուսումնասիրում է ուսուցանվող ընտրանքը։ Ուսումնասիրման հերթականությունը կարող է լինել հետևողական , պատահական և այլն։ [[Առանց ուսուցչի ուսուցանվող]] որոշ ցանցեր ,օրինակ, [[Խոպֆիլդի նեյրոնային ցանց|Խոպֆիլդի ցանցերը]] դիտարկում են ընտրանքը մեկ անգամ։ Այլք, օրինակ՝ [[Կոխոնենի նեյրոնային ցանց|Կոխոնենի ցանցը]],ինչպես նաև ցանցեր,որոնք ուսուցանվում են ուսուցչի միջոցով, ընտրանքը դիտարկում են բազմաթիվ անգամներ , և այդ դեպքում ընտրանքով մեկ ամբողջական անցումը կոչվում է "ուսուցման դարաշրջան" : Ուսուցչի օգնությամբ ուսուցման ժամանակ մուտքայինտվյալների հավաքածուն բաժանվումէ երկու մասի ՝ փաստացի ուսուցանվող ընտրանք և թեսթային տվյալներ , իսկ բաժանման սկզբունքը կարող է լինել կամայական։ Ուսուցանվող տվյալները տրվում են ցանցին ուսուցման համար , իսկ ստուգողները օգտագործվում են ցանցի սխալների հաշվարկման համար (ստուգող տվյալները երբեք ցանցի ուսուցման համար չեն կիրառվում) ։ Այդ պարագայում, եթե ստուգող տվյալների միջոցով սխալները նվազեցվում են, ապա իսկապես կատարվում է ընդհանրացում։ Եթե սխալը ուսուցանվող տվյալներում շարունակում է նվազել, իսկ թեսթային տվյալներում ավելանալ, դա նշանակում է , որ ցանցը դադարել է ընդհանրացում կատարել և ուղղակի «հիշում է » ուսուցանվող տվյալները։ Այդ հայտնությունը կոչվում է ցանցի վերաուսուցում կամ [[օվերֆիտտինգ]] ։ Նման դեպքերում սովորաբարուսուցումը ընդհատում են։ Ուսուցման պրոցեսում կարող են ի հայտ գալ նաև այլ խնդիրներ, ինչպիսիք են [[նեյրոնային ցանցի անդամալուծում|անդամալուծությունը]] կամ ցանցի հայտնվելը լոկալ սխալների մակերևույթ։ Հնարավոր չէ նախապես գուշակել այս կամ այն խնդրի առաջացումը և տալ դրանց լուծման ցուցումներ։

=== Ուսուցման համարժեքության ստուգում ===
Նույնիսկ առաջին հայացքից հաջող ուսուցման դեպքում ցանցը ոչ միշտ է ուսուցանվում հենց նրան, ինչին ստեղծողը ձգտել է հասնել։ Հայտնի դեպք է , երբ ցանցւ ուսուցանվել է նկարներով տանկերի ճանաչման համար, սակայնավելի ուշ պարզվել է , որ բոլոր տանկերը նկարվել են միևնույն ֆոնի վրա։ Արդյունքում ցանցը «սովորել է » ճանաչել լանդշաֆտի այդ տիպը այն բանի փոխարեն, որպեսզի «սովորի» ճանաչել տանկերը<ref>{{Cite web |title=Այդ պատմության հիշատակումը «Հանրահայտ մեխանիկա» ամսագրում |url=http://www.popmech.ru/article/2233-po-obrazu-i-podobiyu/ |url-status=dead |archive-url=https://web.archive.org/web/20110908032706/http://www.popmech.ru/article/2233-po-obrazu-i-podobiyu/ |archive-date=2011 թ․ սեպտեմբերի 8 |access-date=2012 թ․ հունիսի 14}}</ref>։ Այդ պարագայում, ցանցը «հասկանում է » ոչ այն, ինչը նրանից պահանջվում է, այլ այն , ինչը հնարավոր է ընդհանրացնել։

== Դասակարգում ըստ մուտքային ինֆորմացիայի տեսակի ==
* Նմանատիպ նեյրոնային ցանցեր (օգտագործում են ինֆորմացիան իրական թվերի ձևով );
* Երկակի նեյրոնային ցանցեր (մշակում են երկուական տեսքով ներկայացված ինֆորմացիան)։

== Դասակարգում ըստ ուսուցման բնութագրի ==
* [[Ուսուցչի հետ ուսուցում]] — նեյրոնային ցանցի որոշումների ելքային տիրույթը հայտնի է ;
* [[Ուսուցում առանց ուսուցչի]] — նեյրոնային ցանցը ձևավորում է որոշումների ելքային տիրույթը ՝ միայն մուտքային ազդեցությունների հիման վրա։ Այդպիսի ցանցերը կոչվում են ինքնակազմակերպվող ;
* [[Ուսուցում կցորդով]] — շրջակա միջավայրի խրախուսումների և տուգանքների նշանակման համակարգ։

== Դասակարգում ըստ սինապսների կարգավորումների բնութագրի ==
* Ֆիքսված կապերով ցանցեր (ցանցի կշռային գործակիցները ընտրվում են անմիջապես՝ ելնելով խնդրի պայմաններից , այդ դեպքում <math>\boldsymbol dW/dt=0</math>, որտեղ՝ W — ցանցի կշռային գործակիցներն են );
* դինամիկ կապերով ցանցեր (նրանց համար ուսուցման պրոցեսը կատարվում է սինապտիկական կապերի կարգավորմամբ, այսինքն ՝ <math>\boldsymbol dW/dt\not=0</math>, որտեղ՝ W — ցանցի կշռային գործակիցներն են)։

== Դասակարգում ըստ ազդանշանների փոխանցման ժամանակի ==
Նեյրոնային ցանցերի շարքում ակտիվացնող ֆունկցիան կարող է կախված լինել ոչ միայն կապերի կշռային գործակիցներից <math>w_{ij}</math>, այլ նաև կապի կանալներով իմպուլսների (ազդանշանների) փոխանցման ժամանակից <math>\tau_{ij}</math>: Այդ պատճառով ընդհանուր տեսքով կապի ակտիվացնող (փոխանցող) ֆունկցիան <math>c_{ij}</math> էլեմենտից <math>u_i</math> էլեմենտին <math>u_j</math> ունի հետևյալ տեսքը .
<math>c_{ij}^* = f [ w_{ij}(t), u_i^*(t - \tau_{ij}) ]</math>.
Այդ դեպքում ''սինխրոն ցանց'' անվանում են ցանցը, որի <math>\tau_{ij}</math> փոխանցման ժամանակը յուրաքանչյուր կապի հավասար է կամ զրոյի , կամ ֆիքսված հաստատունի <math>\tau</math> : ''Ոչ սինխրոն'' անվանում են ցանցը, որի <math>\tau_{ij}</math> փոխանցման ժամանակը յուրաքանչյուր կապի համար <math>u_i</math> и <math>u_j</math> էլեմենտների միջև նույնպես անընդհատ է։

== Դասակարգում ըստ կապերի բնութագրերի ==
=== Ուղիղ տարածման ցանցեր (Feedforward) ===
Բոլոր կապերը խստորեն ուղղված են մուտքային նեյրոններից ելքայիններին։ Նմնանատիպ ցանցերի օրինակներ են հանդիսանում [[Պերցեպտրոն|Ռոզենբլատի պերցեպտրոնը]], [[բազմաշերտ պերցեպտրոնը]], [[Վորդի նեյրոնային ցանց|Վորդի ցանցը]] ։

=== Ռեկուրենտիվ նեյրոնային ցանցեր ===
Ելքային նեյրոնից կամ նեյրոններից ազդանշանը թաքնված շերտից մասնակիորեն փոխանցվում է ետ նեյրոնի մուտքային շերտին ([[ետադարձ կապ]])։ Ռեկուրենտիվ [[Խոպֆիլդի նեյրոնային ցանց|Խոպֆիլդի ցանցը]] «ֆիլտրում է» մուտքային տվյալները, վերադառնալով կայուն վիճակի, և այդ կերպ թույլ է տալիս լուծել [[Տվյալների նեյրոցանցային սեղմում|տվյալների սեղմման]] և [[Ասոցիատիվ հիշողություն|ասոցիատիվ հիշողությանկառուցման]] խնդիրներ<ref>[http://www.intuit.ru/department/expert/neuro/10/ INTUIT.ru — Ռեկուրենտիվ ցանցերը ինչպես ասոցիատիվ հիշող սարքեր]</ref>։ Ռեկուրենտիվ ցանցերի մասնավոր դեպք են հանդիսանում երկուղղվածության ցանցերը։ Նման ցանցերում շերտերի միջև առկա են կապեր ինչպես մուտքային շերտից ելքայինին, այնպես էլ ընդհակառակը։ Դասական օրինակ է հանդիսանում [[Կոսկոյի նեյրոնային ցանցը]]։

=== Ռադիկալ-բազիսային ֆունկցիաներ ===
Արհեստական նեյրոնային ցանցերը որպես ակտիվացնող ֆունկցիա կիրառում են ռադիկալ-բազիսային ֆունկցիաները (նման ցանցերը կարճ անվանվում են RBF-ցանցեր)։ Ռադիկալ-բազիսային ֆունկցիաների ընդհանուր տեսքը հետևյալն է .

<math>f(x)=\phi \left(\frac{x^2}{\sigma^2}\right)</math>, օրինակ,
<math>f(x)=e^{-{{x^2}\over{\sigma^2}}},</math>

որտեղ` <math>x</math> — նեյրոնի մուտքային ազդանշանների վեկտոր, <math>\sigma</math> —ֆունկցիայի պատուհանի լայնություն , <math>\phi(y)</math> — նվազող ֆունկցիա (առավել հաճախ հավասար է զրոյի ոչ վեկտորային հատվածում )։

Ռադիկալ-բազիսային ցանցը բնութագրվում է երեք առանձնահատկություններով.

1. Միակ թաքնված շերտ

2. Միայն թաքնված շերտի նեյրոնները ունեն ոչ գծային ակտիվացնող ֆունկցիա

3. Մուտքային և տաքնված շերտի կապերի սինապտիկական կշիռները հավասար են միավորի

Ուսուցման պրոցեսը նայել գրականությունում։

=== Ինքնակազմակերպվող քարտեզ ===
Նմանատիպ ցանցերը իրենցից ներկայացնում են [[ուսուցչի հետ ուսուցում|ուսուցչի հետ ուսուցանվող]] մրցակցային նեյրոնային ցանց,որը իրականացնում է վիզուալիզացիայի և [[կլաստերիզացիա]]յի խնդիր։ Հանդիսանում է բազմաչափ տարածության նախագծման մեթոդ ավելի փոքր չափողականություն ունեցող տարածությունում (առավել հաճախ երկչափ) , կիրառվում է նաև մոդելավորման խնդիրներում, կանխատեսման խնդիրներում և այլն։ Հանդիսանում է [[Կոխոնենի նեյրոնային ցանց]]ի տեսակներից մեկը<ref>Kohonen, T. (1989/1997/2001), Self-Organizing Maps, Berlin — New York: Springer-Verlag. First edition 1989, second edition 1997, third extended edition 2001, ISBN 0-387-51387-6, ISBN 3-540-67921-9</ref>։ Կոխոնենի ինքնաձևավորվող քարտեզները առաջին հերթին ծառայում են վիզուալիզացիայի և սկզբնական («բանական») [[Տվյալների ինտելեկտուալ վերլուծություն|տվյալների վերլուծության]] համար<ref name="Зиновьев">{{գիրք
|հեղինակ = Зиновьев А. Ю. 
|վերնագիր = Визуализация многомерных данных
|հղում = http://pca.narod.ru/ZINANN.htm
|վայր = Красноярск
|հրատարակություն = Изд. Красноярского государственного технического университета
|տարեթիվ = 2000
|էջ = 180
}}</ref>։

Կոխոնենի ցանցում ազդանշանը միանգամից տարածվում է բոլոր նեյրոնների վրա , սինապսների բացակայող կշիռները ստացվում են որպես հանգույցի վիճակի կոորդինատներ և ելքային ազդանշանը ձևավորվում է «հաղթողը տանում է ամեն ինչ» սկզբունքով, այսինքն՝ ոչ զրոյական ելքային ազդանշանը ունի մուտքի օբյեկտին փոխանցվողին մոտ նեյրոն (սինապսների կշիռների իմաստով ) ։ Ուսուցման պրոցեսում սինապսների կշիռները կարգավորվում են այնպես, որ հանգուցային վանդակները «տեղավորվում են » լոկալ տվյալների տեղերում , այսինքն ՝ նկարագրում են տվյալների ամպի կլաստերային կառուցվածքը , մյուս կողմից ՝ նեյրոնների միջև կապերը համապատասխանում են նախանշանների տարածությունում հարևան կլաստերների համապատասխան կապերի հետ։

Հարմար է դիտարկել այնպիսի քարտեզներ, ինչպիսիք են հանգույցների երկչափ ցանցը , որոնք տեղակայված են բազմաչափ տարածությունում։ Սկզբնապես ինքնաձևավորվող քարտեզը իրենից ներկայացնում է հանգույցների ցանց, որոնք փոխկապված են։ Կոխոնենը դիտարկել է հանգույցների միջև կապերի երկու տարբերակ ՝ ուղղանկյուն և բազմանկյուն ցանց։ Տարբերությունը կայանում է նրանում, որ ուղղանկյուն ցանցում յուրաքանչյուր հանգույց կապված է 4 հարևաններով, իսկա բազմանկյունում՝ 6 մոտակա հանգույցներով։ Այդպիսի երկու ցանցերի համար Կոխոնենի ցանցի կառուցման պրոցեսը տարբերվում է միայն այն տեղում, որտեղ մոտենում են այդ հանգույցի հարևանները։

Ցանցի նախնական ներդրումը տվյալների ցանցում իրականացվում է կամայականորեն։ SOM_PAK հեղինակային փաթեթում առաջարկվում է տվյալների տիրույթում հանգույցների նախնական տեղակայման պատահական տարբերակներ և հանգույցների տեղակայման տարբերակը հարթությունում։ Դրանից հետո հանգույցները սկսում են տեղաբաշխվել տարածությունում համաձայն հետևյալ ալգորիթմի .
# Պատահականորեն ընտրվում են տվյալների կետերը <math>x</math>.
# Որոշվում է <math>x</math> մոտակա քարտեզի հանգույցը (BMU — Best Matching Unit).
# Այդ հանգույցը տեղակայվում է տրված քայլում x -ի ուղղությամբ։ Սակայն, այն միայնակ չի տեղակայվում, այլ իր հետ ներառում է որոշակի քանակության մոտակա հանգույցներ քարտեզի հարևանությամբ։ Բոլոր տեղաշարժվող հանգույցներից առավել ուժեղ տեղափոխվում է կենտրոնական ՝ տվյալների կետին մոտ հանգույցը,իսկ մնացածները, որքն հեռու են BMU-ից , այնքան ավելի դանդաղ են տարհանվում։ Քարտեզի կարգավորման ժամանակ առանձնացնում են 2 էտապներ ՝ կոպիտկարգավորման (fine-tuning) և ճշգրիտ կարգավորման (fine-tuning) փուլեր։ Առաջին փուլում ընտրվում են շատ հարևան արժեքներ և հանգույցների տեղաշարժը կրում է կոլեկտիվ բնույթ։ Արդյունքում քարտեզը « ուղղվում է » և կոպիտ կերպով արտապատկերում է տվյալների կառուցվածքը, իակ ճշգրիտ կարգավորման փուլում հարևանության շառավիղը 1-2 է և կարգավորվում են արդեն հանգույցների անհատական դիրքերը։ Բացի այդ, տեղաշարժման մեծությունը ժամանակի ընթացքում համամասնորեն նվազում է , այսինքն ՝ ուսուցման առաջին փուլում ավելի մեծ է , իսկ ավարտին հասնելիս հավասարվում է զրոյի։
# Ալգորիթմը որոշակի ժամանակահատվածի ընթացքում կրկնվում է (իհարկե, մի շարք քայլեր, կարող են տարբեր լինել՝ կախված առաջադրանքից)։

== Հայտնի ցանցերի տիպեր ==
* [[Պերսեպտրոն|Ռոզենբլատի պերցեպտրոն]]
* [[Խակիմովի սպլայն-մոդել]]
* [[Բազմաշերտ պերցեպտրոն]]
* [[Ջորդանի նեյրոնային ցանց|Ջորդանի ցանց]]
* [[Էլմանի նեյրոնային ցանց|Էլմանի ցանց]]
* [[Հեմինգի նեյրոնային ցանց|Հեմինգի ցանց]]
* [[Վորդի նեյրոնային ցանց|Վորդի ցանց]]
* [[Խոպֆիլդի նեյրոնային ցանց|Խոպֆիլդի ցանց]]
* [[Կոխոնենի նեյրոնային ցանց|Կոխոնենի ցանց]]
* [[Նեյրոնային գազ]]<ref>''Martinetz, T.M., Berkovich, S.G., and Schulten K.J.'', [http://pca.narod.ru/MartinesShultenNeuralGas1993.pdf Neural-gas network for vector quantization and its application to time-series prediction.] IEEE Transactions on Neural Networks, 4 (1993) #4, 558—569. На сайте [http://pca.narod.ru/ PCA]</ref>
* [[Կոգնիտրոն]]
* [[Նեոկոգնիտրոն]]
* [[Քաոսային նեյրոնային ցանց]]
* [[Օսցիլյատորային նեյրոնային ցանց]]
* [[Հանդիպակաց տարածման ցանց]]
* [[Ռադիկալ բազիսային ֆունկցիաների ցանց (RBF-ցանց)]]
* [[Ամբողջական ռեգրեսիայի ցանց]]
* [[Հավանականային ցանց]]
* [[Ռեշետովի հավանականային նեյրոնային ցանց]]
* [[Սիամական նեյրոնային ցանցեր|Սիամական նեյրոնային ցանց]]
* [[Արդյունավետ ռեզոնանսի ցանցեր]]
* [[Փաթույթային նեյրոնային ցանց|Փաթույթային նեյրոնային ցանց (convolutional neural network)]]:

== Տարբերությունը Ֆոն Նեյմանի ճարտարապետությամբ մեքենաներից ==
Հաշվողական համակարգերը, հիմնված արհեստական նեյրոնային ցանցերի վրա, օժտված են մի շարք որակներով , որոնք բացակայում են Ֆոն Նեյմանի ճարտարապետությամբ մեքենաներում (սակայն բնորոշ են մարդկային ուղեղին).
* Մասսայական զուգահեռականություն;
* Ինֆորմացիայի և հաշվարկների բաշխված ներկայացում;
* Ընդհանրացման և ուսուցման ունակություն;
* Արդյունավետություն;
* Ինֆորմացիայի բովանդակային մշակման կարողություն;
* Սխալների նկատմամբ տոլերանտություն;
* Ցածր էներգատարություն։

== Հավելվածների օրինակներ ==
=== Ֆինանսական ժամանակային շարքերի կանխատեսում ===

Մուտքայինտվյալներ - տարվա ընթացքում աճուրդի կուրսը։ Խնդիրն է որոշել վաղվա կուրսը։ Կատարվում է հետևյալ վերափոխումը ՝ կառուցվում է շարք այսօրվա, երեկվա և նախորդ օրվա կուրսերով։ Հաջորդ շարքում տեղակայվում են նախորդից մեկ օր առաջվա տվյալները և այդպես շարունակ։ Ստացված հավաքածուում ուսումնասիրվում է ցանց 3 մուտքով և 1 ելքով ՝ վաղվա օրվա կուրսը։ Մուտքերը կուրսերն են ՝ 1 օր առաջ, 2 օր առաջ և 3 օր առաջ։ Ուսումնասիրվող ցանցի մուտքին տալիս ենք մուտքային տվյալների արժեքները , իսկ ելքում ստանում ենք վաղվա կուրսը։ Դժվար չէ նկատել ,որ այս դեպքում ցանցը ուղղակիորեն ելքագրում է մյուս երեք պարամետրերից կախված ելք։ Եթե ցանկալի է հաշվի առնել նաև ինչ-որ այլ պարամետր (օրինակ ինչ-որ ինդեքս), ապա այն պետք է մուտքագրել որպես մուտքային պարամետր, ուսումնասիրել այն և ստանալ նոր արդյունք։
Առավել ճշգրիտ ուսուցման համար անհրաժեշտ է կիրառել [[Սխալների հետադարձ տարածման մեթոդ|[Սխալների հետադարձ տարածման մեթոդը]],որպես առավել կանխատեսելի և ոչ բարդ իրականացվելի մեթոդ։

=== Հոգեդիագնոստիկա ===
Մ. Գ. Դոռեռի և իր համահեղինակների աշխատանքները նվիրված են նեյրոնային ցանցերի [[փորձագիտական համակարգ]]երի հոգեբանական [[ինտուիցիա]]յի զարգացման հնարավորությունների հարցերի քննարկմանը<ref>''Gorban A.N., Rossiyev D.A., Dorrer M.G.'', [http://arxiv.org/ftp/q-bio/papers/0411/0411034.pdf MultiNeuron — Neural Networks Simulator For Medical, Physiological, and Psychological Applications], Wcnn’95, Washington, D.C.: World Congress on Neural Networks 1995 International Neural Network Society Annual Meeting : Renaissance Hotel, Washington, D.C., USA, July 17-21, 1995.</ref><ref>''Доррер М. Г.'', [http://psyfactor.org/lib/dorrer-0.htm Արհեստական նեյրոնային ցանցերի հոգեբանական ինտուիցիա], Դիսս. … 1998: Օնլայն այլ պատճեններ. [http://www.tnu.in.ua/study/books.php?do=file&id=1501] {{Webarchive|url=https://web.archive.org/web/20090428072610/http://www.tnu.in.ua/study/books.php?do=file&id=1501 |date=2009-04-28 }}, [http://lib.sibnet.ru/referat/6923]</ref>։ Ստացված արդյունքները հնարավորություն են տալիս բացահայտելու նեյրոնային ցանցերի ինտուիցիայի մեխանիզմը, որը նրանց կողմից ցուցաբերվում է հոգեվերլուծական խնդիրների լուծման ժամանակ։ Համակարգչային մեթոդների կողքին ստեղծվել է ոչ ստանդարտ ՛՛ինտուիտիվ՛՛ մեթոդ։

=== Հեմոինֆորմատիկա ===
Նեյրոնային ցանցերը լայնորեն կիրառվում են քիմիական և բիոքիմիական հետազոտություններում<ref>''Բասկի Ի. Ի. , Պլյուկլին Վ. Ա. , Զեֆիրով Ն. Ս.,'' [http://www.chem.msu.su/rus/vmgu/995/323.pdf Արհեստական նեյրոնային ցանցերի կիրառումը քիմիական և բիոքիմիական հետազոտություններում,] Քիմիա 1999. Т.40. № 5.</ref> Ներկայումս նեյրոնային ցանցերը հանդիսանում են [[խեմոինֆորմատիկա]]յի ամենատարծված մեթոդներից մեկը [[Գույքային հարաբերությունների քանակական կապերի որոնում|գույքային հարաբերությունների քանակական կապերի որոնման]] համար<ref>{{հոդված | հողինակ = Гальберштам Н. М., Баскин И. И., Палюлин В. А., [[Зефиров, Николай Серафимович|Зефиров Н. С.]] | վերնագիր = Нейронные сети как метод поиска зависимостей структура – свойство органических соединений | հրատարակություն = Успехи химии | տարեթիվ = 2003 | ծավալ = 72 | համար = 7 | էջ = 706-727}}</ref><ref>{{Ռուսերեն հոդված |автор=Баскин И. И., Палюлин В. А., Зефиров Н. С. |заглавие=Многослойные персептроны в исследовании зависимостей սահամանափակ կապերի «գույքային հարաբերություններ» |էջ=86-96 |ծավալ=50 |հրատարակություն=Российский химический журнал (Журнал Российского химического общества им. Д.И.Менделеева) |տարեթիվ=2006}}</ref>,որոնց շնորհիվ ակտիվորեն կիրառվում են որպես ֆիզիկա- քիմիական և բիոլոգիական ակտիվությունների կանխատեսման համար, ինչպես նաև նոր դեղորայքային պարագաների մշակման համար։

=== Նեյրոկառավարում ===
Նեյրոնային ցանցերը հաջող կերպով ընդունվում են [[Կարգավորիչ (կառավարման տեսություն)|կառավարման համակարգերի]] սինթեզի համար դինամիկ օբյեկտներով<ref>{{գիրք |վերնագիր = Նեյրոկառավարում և նրա հավելվածները|բնօրինակ = Neuro-Control and its Applications |հեղինակ = Սիգերու Օմատու, արզուկի Խալիդ, Ռուբիա Յուսոֆ |հղում = |isbn = ISBN 5-93108-006-6 |էջ = 272 |տարեթիվ = 2000 |հրատարակություն = 2-րդ |վայր = Մ. |հրատարակչություն = [["Ռադիոտեխնիկա" ամսագրի հրատարակչական ընկերություն)|ՌԱՀԸ]]}}</ref><ref>''Ա. Ն. Չերնոդուբ, Դ. Ա. Ձյուբա'' [https://web.archive.org/web/20120113002620/http://ailen.org/wp-content/uploads/2011/08/2011_NeuroControl_Survey.pdf Նեյրոկառավարման մեթոդների ներկայացում] // Ծրագրավորման խնդիրներ. — 2011. — No 2. — Էջ 79-94.</ref>։ Նեյրոցանցերը օժտված են ունիկալ հատկությունների շարքով, որոնք դրանք ավելի հզոր գործիք են դարձնում ղեկավարման համակարգերի ստեղծման համար։ Դրանք են ՝ օրինակների վրա ուսուցման հնարավորությունը և տվյալների ընդհանրացում , կառավարման օբյեկտի հատկություններին և արտաքին միջավայրի փոփոխություններին հարմարվելու ունակությունը , ոչ գծային կարգավորիչների սինթեզին հարմարվելու ունակություն, վնասված տարերրի բարձր դիմադրողականությունը ի սկզբանե ներդրված է երկակի նեյրոցանցային կառուցվածքում։

== Արտաքին հղումներ ==
* {{dmoz|Computers/Artificial_Intelligence/Neural_Networks/|Neural Networks}}

== Գրականություն ==
* {{Cite journal |author=Bhadeshia H. K. D. H. |year=1999 |title=Neural Networks in Materials Science |url=http://www.msm.cam.ac.uk/phase-trans/abstracts/neural.review.pdf |journal=ISIJ International |volume=39 |issue=10 |pages=966–979 |doi=10.2355/isijinternational.39.966}}
* {{Cite book |last=Bishop |first=Christopher M. |url=https://archive.org/details/neuralnetworksfo0000bish |title=Neural networks for pattern recognition |date=1995 |publisher=Clarendon Press |isbn=978-0-19-853849-3 |oclc=33101074}}
* {{Cite book |last=Borgelt |first=Christian |title=Neuro-Fuzzy-Systeme : von den Grundlagen künstlicher Neuronaler Netze zur Kopplung mit Fuzzy-Systemen |publisher=Vieweg |year=2003 |isbn=978-3-528-25265-6 |oclc=76538146}}
* {{Cite book |last=Cybenko |first=G.V. |author1-link=George Cybenko |title=Mathematics of Control, Signals, and Systems |title-link=Mathematics of Control, Signals, and Systems |publisher=Springer International |year=2006 |editor-last=van Schuppen |editor-first=Jan H. |pages=303–314 |chapter=Approximation by Superpositions of a Sigmoidal function |chapter-url={{google books |plainurl=y |id=4RtVAAAAMAAJ|page=303}}}} [https://web.archive.org/web/20110719183058/http://actcomm.dartmouth.edu/gvc/papers/approx_by_superposition.pdf PDF]
* {{Cite book |last=Dewdney |first=A. K. |title=Yes, we have no neutrons : an eye-opening tour through the twists and turns of bad science |publisher=Wiley |year=1997 |isbn=978-0-471-10806-1 |location=New York |oclc=35558945}}
* {{Cite book |last1=Duda |first1=Richard O. |title=Pattern classification |last2=Hart |first2=Peter Elliot |last3=Stork |first3=David G. |publisher=Wiley |year=2001 |isbn=978-0-471-05669-0 |edition=2 |oclc=41347061}}
* {{Cite journal |last1=Egmont-Petersen |first1=M. |last2=de Ridder |first2=D. |last3=Handels |first3=H. |year=2002 |title=Image processing with neural networks – a review |journal=Pattern Recognition |volume=35 |issue=10 |pages=2279–2301 |citeseerx=10.1.1.21.5444 |doi=10.1016/S0031-3203(01)00178-9}}
* {{Cite web |last1=Fahlman |first1=S. |last2=Lebiere |first2=C |year=1991 |title=The Cascade-Correlation Learning Architecture |url=http://www.cs.iastate.edu/~honavar/fahlman.pdf |url-status=dead |archive-url=https://web.archive.org/web/20130503184045/http://www.cs.iastate.edu/~honavar/fahlman.pdf |archive-date=2013 թ․ մայիսի 3 |access-date=2006 թ․ օգոստոսի 28}}
**created for [[National Science Foundation]], Contract Number EET-8716324, and [[Defense Advanced Research Projects Agency]] (DOD), ARPA Order No. 4976 under Contract F33615-87-C-1499. 
* {{Cite book |last=Gurney |first=Kevin |url=https://archive.org/details/introductiontone0000gurn |title=An introduction to neural networks |publisher=UCL Press |year=1997 |isbn=978-1-85728-673-1 |oclc=37875698}}
* {{Cite book |last=Haykin |first=Simon S. |url=https://archive.org/details/neuralnetworksco0000hayk_2ed |title=Neural networks : a comprehensive foundation |publisher=Prentice Hall |year=1999 |isbn=978-0-13-273350-2 |oclc=38908586}}
* {{Cite book |last1=Hertz |first1=J. |title=Introduction to the theory of neural computation |last2=Palmer |first2=Richard G. |last3=Krogh |first3=Anders S. |publisher=Addison-Wesley |year=1991 |isbn=978-0-201-51560-2 |oclc=21522159}}
* {{Cite book |url=https://archive.org/details/informationtheor0000mack |title=Information theory, inference, and learning algorithms |date=2003 թ․ սեպտեմբերի 25 |publisher=Cambridge University Press |isbn=978-0-521-64298-9 |bibcode=2003itil.book.....M |oclc=52377690}}
* {{Cite book |last1=Kruse |first1=Rudolf |title=Computational intelligence : a methodological introduction |last2=Borgelt |first2=Christian |last3=Klawonn |first3=F. |last4=Moewes |first4=Christian |last5=Steinbrecher |first5=Matthias |last6=Held |first6=Pascal |publisher=Springer |year=2013 |isbn=978-1-4471-5012-1 |oclc=837524179}}
* {{Cite book |last=Lawrence |first=Jeanette |url=https://archive.org/details/introductiontone0000lawr |title=Introduction to neural networks : design, theory and applications |publisher=California Scientific Software |year=1994 |isbn=978-1-883157-00-5 |oclc=32179420}}
* {{Cite book |last=MacKay |first=David, J.C. |author-link=David J.C. MacKay |url=http://www.inference.phy.cam.ac.uk/itprnn/book.pdf |title=Information Theory, Inference, and Learning Algorithms |publisher=[[Cambridge University Press]] |year=2003 |isbn=978-0-521-64298-9}}
* {{Cite book |last=Masters |first=Timothy |url=https://archive.org/details/signalimageproce0000mast |title=Signal and image processing with neural networks : a C++ sourcebook |publisher=J. Wiley |year=1994 |isbn=978-0-471-04963-0 |oclc=29877717}}
* {{Cite book |last=Maurer |first=Harald |title=Cognitive science : integrative synchronization mechanisms in cognitive neuroarchitectures of the modern connectionism |publisher=CRC Press |year=2021 |isbn=978-1-351-04352-6 |doi=10.1201/9781351043526 |s2cid=242963768}}
* {{Cite book |last=Ripley |first=Brian D. |author-link=Brian D. Ripley |url={{google books |plainurl=y |id=m12UR8QmLqoC}} |title=Pattern Recognition and Neural Networks |publisher=Cambridge University Press |year=2007 |isbn=978-0-521-71770-0}}
* {{Cite journal |last1=Siegelmann |first1=H.T. |last2=Sontag |first2=Eduardo D. |year=1994 |title=Analog computation via neural networks |journal=Theoretical Computer Science |volume=131 |issue=2 |pages=331–360 |doi=10.1016/0304-3975(94)90178-3 |s2cid=2456483}} 
* {{Cite book |last1=Smith |first1=Murray |url=https://archive.org/details/neuralnetworksfo0000smit |title=Neural networks for statistical modeling |date=1993 |publisher=Van Nostrand Reinhold |isbn=978-0-442-01310-3 |oclc=27145760}}
* {{Cite book |last=Wasserman |first=Philip D. |url=https://archive.org/details/advancedmethodsi0000wass |title=Advanced methods in neural computing |publisher=Van Nostrand Reinhold |year=1993 |isbn=978-0-442-00461-3 |oclc=27429729}}
* {{Cite book |last1=Wilson |first1=Halsey |title=Artificial intelligence |date=2018 |publisher=Grey House Publishing |isbn=978-1-68217-867-6}}

== Ծանոթագրություններ ==
{{ծանցանկ}}

[[Կատեգորիա:Արհեստական նեյրոնային ցանցեր|*]]
[[Կատեգորիա:Տեղեկատվական տեխնոլոգիաներ]]