انواع شبکه های عصبی و کاربرد آنها PDF

 ‫انواع شبکه های عصبی و کاربرد آنها‬ ‫شاهین بیرانوند‬ ‫‪D‬‬ ‫دانشجوی دکتری‪ ،‬دانشکده مهندسی‪ ،‬دانشگاه آزاد اسالمی‪ ،‬واحد...

 ‫انواع شبکه های عصبی و کاربرد آنها‬ ‫شاهین بیرانوند‬ ‫‪D‬‬ ‫دانشجوی دکتری‪ ،‬دانشکده مهندسی‪ ،‬دانشگاه آزاد اسالمی‪ ،‬واحد نجف آباد‪ ،‬نجف آباد‪ ،‬ایران‬ ‫‪I‬‬ ‫‪[email protected]‬‬ ‫‪S‬‬ ‫کیانا صحرائیان‬ ‫دانشجوی دکتری‪ ،‬دانشکده مهندسی‪ ،‬دانشگاه آزاد اسالمی‪ ،‬واحد نجف آباد‪ ،‬نجف آباد‪ ،‬ایران‬ ‫‪f‬‬ ‫‪[email protected]‬‬ ‫‪1‬‬ ‫‪e‬‬ ‫‪o‬‬ ‫چکیده‬ ‫‪i‬‬ ‫‪v‬‬ ‫شبکههای عصبی مصنوعی که امروزه در کاربردهای فراوانی ارزش باالی خود را نشان دادهاند‪ ،‬بر اساس مدل‬ ‫بيولوژیکی مغز جانوران بوجود آمدهاند‪.‬این شبکهها به واقع یك سيستم داده پردازی اطالعات است که دارای‬ ‫‪h‬‬ ‫خصوصيات اجرائی خاصی همانند شبکههای عصبی جانوری میباشد که از تعميم یافتن مدلهای ریاضی آن‬ ‫ها به وجود آمدهاند‪.‬شبکه های عصبی مصنوعی ‪ ،‬شاخه ای از هوش مصنوعی است که یك روش مناسب‬ ‫‪r‬‬ ‫‪c‬‬ ‫برای تشخيص الگوهای ناشناخته در داده می باشد که یکی از کاربردهای آن پيش بينی است‪.‬برای پيش‬ ‫بينی با استفاده از شبکه عصبی مصنوعی ‪ ،‬دو برنامه وجود دارد یکی مرحله آموزش می باشد و دیگری پيش‬ ‫بينی بر اساس داده آموزش داده شده است ‪.‬همچنين از الگوریتم پس انتشار برای آموزش و از شبکه عصبی‬ ‫‪A‬‬ ‫مصنوعی ‪ feedforward‬برای پيش بينی تقاضا استفاده می شود‪.‬در این پژوهش در نظر است مروری بر‬ ‫شبکه های عصبی مصنوعی‪ ،‬کارکرد و روش اجرای آن داشته باشيم‪.‬‬ ‫واژگان کلیدی‪ :‬شبکه عصبی‪ ،‬پيش بينی‪ ،‬الگوریتم پس انتشار‬ ‫‪www.SID.ir‬‬  ‫مقدمه‬ ‫شبکههای عصبی مصنوعی سيستمهای دیناميکی هوشمند مدل‪-‬آزاد مبتنی بر دادههای تجربی هستند که نياز به برقراری هيچ‬ ‫پذیرهای ندارند و با پردازش روی دادههای تجربی‪ ،‬دانش یا قانون نهفته در ورای دادهها را به ساختار شبکه منتقل میکنند‪.‬‬ ‫شبکههای عصبی مصنوعی بر اساس محاسبات روی دادههای عددی یا مثالها قوانين کلی را فرا میگيرند و در مدلسازی ساختار‬ ‫نرو‪-‬سيناپتيکی مغز بشر میکوشند (کوین ‪.) 1999 ،‬‬ ‫در واقع در محاسبات نرونی تالش میشود تا از روش کار مغز تقليد شود که یکی از چندین روش آموزش ماشينی است‪.‬‬ ‫شبکههای عصبی پتانسيل ایجاد ویژگیهایی دارند که انسان برای حل مسائل سخت مانند شبيهسازی منطقی‪ ،‬تکنيكهای‬ ‫‪I‬‬ ‫‪D‬‬ ‫آناليتيکال سيستمهای خبره و تکنولوژیهای نرم افزاری بکار میبرد‪.‬در واقع سيستم شبکه عصبی مصنوعی الهام گرفته شده از‬ ‫مغز و سيستم شبکه عصبی انسان میباشد و مانند مغز انسان از تعداد زیادی نورون تشکيل شده است‪.‬این شبکهها مانند مغز‬ ‫‪S‬‬ ‫انسان دارای قابليت یادگيری‪ ،‬حفظ کردن و ایجاد ارتباط مابين دادهها را میباشند‪.‬پيادهسازی ویژگیهای شگفتانگيز مغز در یك‬ ‫سيستم مصنوعی (سيستم دیناميکی ساخته دست بشر) هميشه وسوسهانگيز و مطلوب بوده است‪.‬محققينی که طی سالها در این‬ ‫‪f‬‬ ‫زمينه فعاليت کردهاند بسيارند؛ ليکن نتيجه این تالشها‪ ،‬صرف نظر از یافتههای ارزشمند‪ ،‬باور هر چه بيشتر این اصل بوده است‬ ‫‪2‬‬ ‫‪o‬‬ ‫که مغز بشر دست نيافتنی است‪.‬این شبکهها در علوم بسياری از جمله فيزیك‪ ،‬مهندسی برق‪ ،‬مهندسی محيط زیست‪ ،‬مهندسی‬ ‫شيمی‪ ،‬علوم کامپيوتر‪ ،‬رباتيك و ‪...‬کاربرد دارند (استوارت و همکاران‪.)2003 ،‬‬ ‫‪e‬‬ ‫‪v‬‬ ‫‪ -1‬تشابهات و انتظارات‬ ‫‪h‬‬ ‫‪i‬‬ ‫با تمام اغراقها در مورد شبکههای عصبی مصنوعی‪ ،‬این شبکهها اصال سعی در حفظ پيچيدگی مغز ندارند‪.‬اکنون موضوع یاد شده‬ ‫را تحت دو عنوان تشابهات و انتظارات مورد بررسی قرار میدهيم‪.‬‬ ‫‪r‬‬ ‫‪c‬‬ ‫‪ -2‬جداول‪ ،‬شکل ها و نمودارها‬ ‫‪ )1‬بلوکهای ساختاری در هر دو شبکة مصنوعی و بيولوژیکی‪ ،‬دستگاههای محاسباتی خيلی سادهای هستند و عالوه بر این‪،‬‬ ‫‪ -2-1‬تشابهات‬ ‫‪A‬‬ ‫نرونهای مصنوعی از سادگی بيشتری برخوردار میباشند‪.‬‬ ‫‪ )2‬ارتباط های بين نرون ها‪ ،‬عملکرد شبکه را تعيين می کند‪.‬‬ ‫اگر چه نرونهای بيولوژیکی از نرونهای مصنوعی که توسط مدارهای الکتریکی ساخته میشوند‪ ،‬بسيار کندتر هستند (یك ميليون‬ ‫بار)‪ ،‬اما عملکرد مغز‪ ،‬خيلی سریعتر از عملکرد یك کامپيوتر معمولی است‪.‬علت این پدیده‪ ،‬بيشتر بخاطر ساختار کامال موازی‬ ‫نرونها میباشد و این یعنی این که «همه نرونها معموال بطور همزمان کار میکنند و پاسخ میدهند»‪.‬شبکههای عصبی مصنوعی‬ ‫هم دارای ساختار موازی هستند‪.‬اگر چه بيشتر شبکه های عصبی مصنوعی هم اکنون توسط کامپيوترهای سری پياده سازی‬ ‫میشوند‪ ،‬اما ساختار موازی شبکههای عصبی‪ ،‬این امکان را فراهم می آورد که بطور سخت افزاری‪ ،‬توسط پردازشگرهای موازی‪،‬‬ ‫سيستمهای نوری و تکنولوژی‪ VLSI1‬پياده سازی شوند (محمودی و همکاران‪.)2010 ،‬‬ ‫‪1‬‬ ‫‪Very Large Scaled Integration‬‬ ‫‪www.SID.ir‬‬  ‫‪ -2-2‬انتظارات‬ ‫شبکه های عصبی مصنوعی با وجود این که با سيستم عصبی طبيعی قابل مقایسه نيستند ویژگیهایی دارند که آنها را در بعضی از‬ ‫کاربردها مانند تفکيك الگو‪ ،‬رباتيك‪ ،‬کنترل‪ ،‬و به طور کلی در هر جا که نياز به یادگيری یك نگاشت خطی و یا غير خطی باشد‪،‬‬ ‫ممتاز مینمایند‪.‬این ویژگیها به شرح زیر هستند‪:‬‬ ‫‪ -2-2-1‬قابلیت یادگیری‬ ‫استخراج نتایج تحليلی از یك نگاشت غير خطی که با چند مثال مشخص شده‪ ،‬کار سادهای نيست‪.‬زیرا نرون‪ ،‬یك دستگاه غير‬ ‫خطی است و در نتيجه یك شبکه عصبی که از اجتماع این نرونها تشکيل میشود نيز یك سيستم کامال پيچيده و غير خطی‬ ‫‪I‬‬ ‫‪D‬‬ ‫خواهد بود‪.‬به عالوه‪ ،‬خاصيت غير خطی عناصر پردازش‪ ،‬در کل شبکه توزیع میگردد‪.‬پياده سازی این نتایج با یك الگوریتم‬ ‫معمولی و بدون قابليت یادگيری‪ ،‬نياز به دقت و مراقبت زیادی دارد‪.‬در چنين حالتی سيستمی که بتواند خود این رابطه را‬ ‫‪S‬‬ ‫استخراج کند بسيار سودمند به نظر میرسد‪.‬خصوصا افزودن مثال های احتمالی در آینده به یك سيستم با قابليت یادگيری‪ ،‬به‬ ‫مراتب آسانتر از انجام آن در یك سيستم بدون چنين قابليتی است‪ ،‬چرا که در سيستم اخير‪ ،‬افزودن یك مثال جدید به منزله‬ ‫‪3‬‬ ‫‪o‬‬ ‫‪f‬‬ ‫تعویض کليه کارهای انجام شده قبلی است (اویلينو‪.)2003 2،‬‬ ‫قابليت یادگيری یعنی توانایی تنظيم پارامترهای شبکه (وزن های سيناپتيکی) در مسير زمان که محيط شبکه تغيير میکند و‬ ‫شبکه شرایط جدید را تجربه می کند‪ ،‬با این هدف که اگر شبکه برای یك وضعيت خاص آموزش دید و تغيير کوچکی در شرایط‬ ‫‪e‬‬ ‫محيطی آن (وض عيت خاص) رخ داد‪ ،‬شبکه بتواند با آموزش مختصر برای شرایط جدید نيز کارآمد باشد‪.‬دیگر این که اطالعات در‬ ‫‪iv‬‬ ‫شبکههای عصبی در سيناپسها ذخيره می گردد و هر نرون در شبکه‪ ،‬به صورت بالقوه از کل فعاليت سایر نرونها متأثر میشود‪.‬در‬ ‫نتيجه‪ ،‬اطالعات از نوع مجزا از هم نبوده بلکه متأثر از کل شبکه میباشد (ژانگ‪.)2002 3،‬‬ ‫‪ -2-2-2‬پراکندگی اطالعات "پردازش اطالعات به صورت متن"‬ ‫‪c‬‬ ‫‪h‬‬ ‫آنچه که شبکه فرا میگيرد (اطالعات یا دانش)‪ 4،‬در وزنهای سيناپسی مستتر میباشد‪.‬رابطه یك به یك بين ورودیها و وزنهای‬ ‫سيناپتيکی وجود ندارد‪.‬میتوان گفت که هر وزن سيناپسی مربوط به همه ورودیهاست ولی به هيچ یك از آنها بطور منفرد و‬ ‫‪A‬‬ ‫‪r‬‬ ‫مجزا مربوط نيست‪.‬به عبارت دیگر هر نرون در شبکه‪ ،‬از کل فعاليت سایر نرونها متاثر میباشد‪.‬در نتيجه‪ ،‬اطالعات به صورت‬ ‫متن‪5‬توسط شبکههای عصبی پردازش میشوند‪.‬بر این اساس چنانچه بخشی از سلولهای شبکه حذف شوند و یا عملکرد غلط‬ ‫داشته باشند باز هم احتمال رسيدن به پاسخ صحيح وجود دارد‪.‬اگر چه این احتمال برای تمام ورودیها کاهش یافته برای هيچ‬ ‫یك از بين نرفته است(پرامانيك‪.)2004 6،‬‬ ‫‪7‬‬ ‫‪ -3-2-2‬قابلیت تعمیم‬ ‫پس از آنکه مثالهای اوليه به شبکه آموزش داده شد‪ ،‬شبکه می تواند در مقابل یك ورودی آموزش داده نشده قرار گيرد و یك‬ ‫خروجی مناسب ارائه نماید‪.‬این خروجی بر اساس مکانيسم تعميم‪ ،‬که همانا چيزی جز فرآیند درونیابی‪8‬نيست به دست میآید‪.‬‬ ‫به عبارت روشنتر‪ ،‬شبکه‪ ،‬تابع را یاد میگيرد‪ ،‬الگوریتم را میآموزد و یا رابطه تحليلی مناسبی را برای تعدادی نقاط در فضا به‬ ‫دست میآورد (پرامانيك‪.)2004 ،‬‬ ‫‪2‬‬ ‫‪. Avelino‬‬ ‫‪3‬‬ ‫‪. Zhang‬‬ ‫‪4. Knowledge‬‬ ‫‪5. Context‬‬ ‫‪6. Pramanik‬‬ ‫‪7 Generalization‬‬ ‫‪8. Interpolation‬‬ ‫‪www.SID.ir‬‬  ‫‪ -4-2-2‬پردازش موازی‬ ‫هنگامی که شبکه عصبی در قالب سخت افزار پياده میشود سلولهایی که در یك تراز قرار میگيرند میتوانند بطور همزمان به‬ ‫ورودی های آن تراز پاسخ دهند‪.‬این ویژگی باعث افزایش سرعت پردازش میشود‪.‬در واقع در چنين سيستمی‪ ،‬وظيفه کلی‬ ‫پردازش بين پردازندههای کوچکتر مستقل از یکدیگر توزیع میگردد(استوارت و همکاران‪.)2003 ،‬‬ ‫‪9‬‬ ‫‪ -5-2-2‬مقاوم بودن‬ ‫در یك شبکه عصبی هر سلول بطور مستقل عمل می کند و رفتار کلی شبکه‪ ،‬برآیند رفتارهای محلی سلولهای متعدد است‪.‬این‬ ‫ویژگی باعث میشود تا خطاهای محلی از چشم خروجی نهایی دور بمانند‪.‬به عبارت دیگر‪ ،‬سلولها در یك روند همکاری‪ ،‬خطاهای‬ ‫‪I‬‬ ‫‪D‬‬ ‫محلی یکدیگر را تصحيح می کنند‪.‬این خصوصيت باعث افزایش قابليت مقاوم بودن (تحمل پذیری خطاها) در سيستم میگردد‬ ‫(استوارت و همکاران‪.)2003 ،‬‬ ‫‪S‬‬ ‫‪ -2-3‬مدل نورون‬ ‫جان‪10،‬‬ ‫نورون کوچکترین واحد پردازشگر اطالعات است‪ ،‬که اساس عملکرد شبکههای عصبی را تشکيل میدهد (دیميتری و‬ ‫‪4‬‬ ‫‪o‬‬ ‫‪f‬‬ ‫‪.)2013‬‬ ‫‪ -2-3-1‬مدل تک ورودی‬ ‫شکل (‪ )1‬ساختار یك نورون تك ورودی را نشان میدهد‪.‬اسکالرهای ‪ a , p‬به ترتيب ورودی و خروجی میباشند‪.‬‬ ‫‪v‬‬ ‫‪e‬‬ ‫‪h‬‬ ‫‪i‬‬ ‫شکل (‪ :)1‬مدل نورون تک ورودی‬ ‫‪r‬‬ ‫‪c‬‬ ‫ميزان تأثير ‪ p‬روی ‪ a‬به وسيله مقدار اسکالر ‪ w‬تعيين میشود‪.‬ورودی دیگر که مقدار ثابت است‪ ،‬در جمله بایاس ‪ b‬ضرب شده و‬ ‫سپس با ‪ wp‬جمع میشود‪ ،‬این حاصل جمع‪ ،‬ورودی خالص‪ n11‬برای تابع محرک (یا تابع تبدیل) ‪ f‬خواهد بود‪.‬بدین ترتيب‬ ‫‪a  f wp  b‬‬ ‫‪A‬‬ ‫‪ 12‬همکاران‪.) 2005 ،‬‬ ‫خروجی نرون با معادله زیر تعریف میشود (الکامل و‬ ‫فرمول ‪1‬‬ ‫در مقایسه این مدل تك ورودی با یك نورون بيولوژیکی‪ w ،‬معادل شدت سيناپس‪ ،‬مجموعه جمع کننده و تابع محرک‪ ،‬معادل‬ ‫هسته سلول و ‪ a‬معادل سيگنال گذرنده از اکسون خواهد بود‪.‬نکته ای که باید به آن توجه شود اهميت و تاثير جمله بایاس ‪b‬‬ ‫است‪.‬این جمله را میتوان مانند وزنه ‪ w‬در نظر گرفت‪ ،‬با این تصور که ميزان تاثير ورودی ثابت را روی نرون منعکس میسازد‪.‬‬ ‫اهميت جمله ‪ b‬به مرور توضيح داده خواهد شد (الکامل و همکاران‪.)2005 ،‬‬ ‫‪9‬‬‫‪. Robustness‬‬ ‫‪1‬‬ ‫‪0‬‬ ‫‪. Dimitri and John‬‬ ‫‪1. Net Input‬‬ ‫‪1‬‬ ‫‪1. Elkamel‬‬ ‫‪2‬‬ ‫‪www.SID.ir‬‬  ‫باید توجه داشت که پارامترهای ‪ w ،b‬قابل تنظيم هستند و تابع محرک ‪ f‬نيز توسط طراح انتخاب میشود‪.‬بر اساس انتخاب ‪ f‬و‬ ‫نوع الگوریتم یادگيری‪ ،‬پارامترهای ‪ w،b‬ورودی و خروجی نرون با هدف خاصی مطابقت نماید(الکامل و همکاران‪.)2005 ،‬‬ ‫‪ -2-3-2‬توابع محرک‬ ‫تابع محرک ‪ f‬می تواند خطی یا غير خ طی باشد‪.‬یك تابع محرک براساس نياز خاص حل یك مسئله – مسئلهای که قرار است به‬ ‫وسيله شبکه عصبی حل شود‪ -‬انتخاب می شود‪.‬در عمل تعداد محدودی از توابع محرک مورد استفاده قرار میگيرند‪ ،‬که در این جا‬ ‫‪ 13‬همکاران‪.)2017 ،‬‬ ‫چند مورد از مهمترین آن ها اشاره میکنيم (لی و‬ ‫‪ -2-3-2-1‬تابع محرک خطی‪ :‬خروجی این تابع برابر ورودی آن است‪.‬‬ ‫‪a  f1 (n)  n‬‬ ‫‪I‬‬ ‫‪D‬‬ ‫فرمول ‪2‬‬ ‫‪S‬‬ ‫تابع خطی در شکل (‪ )2‬نمایش داده شده است‪.‬از نرونهایی با تابع تبدیل فوق‪ ،‬در شبکههای خاصی مانند آداالین استفاده شده‬ ‫است‪.‬اهميت جمله بایاس ‪ b‬را در شکل (‪ )2‬میبينيم‪.‬اگر پاسخ نرون‪ ،a ،‬بر حسب ورودی ‪ p‬رسم شده باشد‪ ،‬جمله بایاس ‪b‬‬ ‫‪f‬‬ ‫موجب جابه جایی منحنی در فضای ورودی میگردد و به عبارتی موجب می گردد که نرون زیر فضایی از فضای ورودی بایاس‬ ‫‪o‬‬ ‫گردد‪ ،‬که خود انتخاب کلمه بایاس را برای ترم ‪ b‬توجيه میکند (پرامانيك‪.)200414،‬‬ ‫‪5‬‬ ‫‪v‬‬ ‫‪e‬‬ ‫‪h‬‬ ‫‪i‬‬ ‫‪r‬‬ ‫‪c‬‬ ‫‪A‬‬ ‫شکل (‪ )2‬تابع محرک خطی‬ ‫‪2-3-2-2‬تابع محرک آستانه ای دو مقداره حدی‬ ‫این تابع در شکل (‪ )3‬نشان داده شده است‪.‬همان گونه که مشاهده میشود‪ ،‬مقدار خروجی صفر یا است‪.‬اگر آرگومان ‪ n‬کوچکتر‬ ‫‪b‬‬ ‫از صفر باشد و یا به عبارتی ورودی ‪ p‬کوچکتر از ‪ w‬باشد‪ ،‬مقدار تابع ‪ ،‬صفر است و در غير این صورت خروجی نرون برابر خواهد‬ ‫شد‪.‬عموما تابع محرک‪ ،‬دامنه خروجی نرون را محدود میسازد و به همين علت آن را تابع محدود ساز‪15‬نيز مینامند‪.‬خروجی‬ ‫نرون معموال برای اینگونه توابع‪ ،‬در بازه متناهی [‪ ]0 , 1‬یا [‪ ]-1 ,1‬قرار دارد‪ ،‬که در حالت اخير تابع را تابع محرک آستانهای دو‬ ‫مقداره حدی گویند(پرامانيك‪.) 2004 ،‬‬ ‫‪1‬‬ ‫‪3‬‬ ‫‪.Li‬‬ ‫‪1‬‬ ‫‪4‬‬ ‫‪.Pramanik‬‬ ‫‪1‬‬ ‫‪5‬‬ ‫‪Hard Limitter or Squash‬‬ ‫‪www.SID.ir‬‬  ‫شکل (‪ )3‬تابع محرک آستانهای دو مقداره حدی‬ ‫‪I‬‬ ‫‪D‬‬ ‫‪f‬‬ ‫‪S‬‬ ‫‪2-3-2-3‬تابع محرک سیگموئید‬ ‫این تابع با فرمول کلی زیر بيان میشود‪:‬‬ ‫‪6‬‬ ‫‪a  f s ( n) ‬‬ ‫‪1‬‬ ‫‪1  e cn‬‬ ‫‪,‬‬ ‫‪c0‬‬ ‫‪e‬‬ ‫‪o‬‬ ‫(فرمول ‪)3‬‬ ‫‪v‬‬ ‫شکل این تابع به ازاء ‪ C=1‬در تصویر (‪ )-‬رسم شده است‪.‬مقدار ‪ C‬وسعت ناحيه خطی بودن تابع را تعيين می کند‪.‬مثال اگر ‪C‬‬ ‫‪i‬‬ ‫خيلی بزرگ باشد‪ ،‬شکل منحنی به تابع محرک آستانهای دو مقداره حدی نزدیکتر میشود‪.‬این تابع در شکلهای عصبی مورد‬ ‫استفاده زیادی دارد که به عنوان مثال‪ ،‬میتوان به شبکههای عصبی چند الیه با قانون یادگيری پس انتشار خطا‪ ،‬اشاره کرد‪.‬‬ ‫‪h‬‬ ‫‪r‬‬ ‫‪c‬‬ ‫‪A‬‬ ‫شکل (‪ :)4‬تابع محرک سیگموئید‬ ‫‪ -2-3-3‬مدل چند ورودی‬ ‫عموما یك نرون بيش از یك ورودی دارد‪.‬شکل (‪ )5‬یك مدل نرون با ‪ R‬ورودی را ارائه میدهد‪.‬بردار ورودی با ‪ P‬نمایش داده‬ ‫‪pi i  1,2,...R ‬‬ ‫عناصر بردار ‪ P‬هستند‪.‬مجموعه سيناپسهای ‪ ،w1,i‬عناصر ماتریس وزن ‪ W‬را تشکيل می‬ ‫میشود‪.‬اسکالرهای‬ ‫‪w1,i , j  1,...R‬‬ ‫است‪.‬هر عنصر از بردار ورودی ‪ P‬در عنصر متناظر از ‪W‬‬ ‫دهند‪.‬در این حالت ‪ W‬یك بردار سطری با عناصر‬ ‫‪www.SID.ir‬‬  ‫ضرب میشود‪.‬نرون‪ ،‬یك جمله بایاس ‪ b‬دارد که با حاصل ضرب ماتریس وزن ‪ W‬با بردار ورودی ‪ P‬جمع میشود(اسيجو‪16‬و‬ ‫همکاران‪.)2009 ،‬‬ ‫شکل (‪ :)5‬مدل چند ورودی یک نرون‬ ‫‪I‬‬ ‫‪D‬‬ ‫‪S‬‬ ‫ورودی خالص ‪ ،n‬مطابق فرمول زیر محاسبه می شود‪:‬‬ ‫‪R‬‬ ‫‪n   pi w1,i  b  Wp  b‬‬ ‫‪f‬‬ ‫(فرمول ‪)4‬‬ ‫‪i 1‬‬ ‫‪o‬‬ ‫که در آن‪:‬‬ ‫‪p   p1 , p2 ,..., pR  ,W  w1,1 ,..., w1, R ‬‬ ‫‪T‬‬ ‫‪7‬‬ ‫(فرمول ‪)5‬‬ ‫‪v‬‬ ‫‪e‬‬ ‫شبکههای عصبی را میتوان عموما به شکل ماتریسی مدل نمود‪.‬در انتخاب اندیسها قرارداد خاصی به کار رفته است‪ ،‬که باید‬ ‫بيشتر درباره آن توضيح دهيم‪.‬دومين اندیس در نمایش ماتریسها‪ ،‬مبدأ سيگنال ورودی نرون را نشان میدهد و اندیس اول به‬ ‫‪h‬‬ ‫‪i‬‬ ‫شماره خود نرون اشاره خواهد داشت‪.‬در این حالت چون فقط یك نرون داریم‪ ،‬ماتریس وزن ‪ ،W‬به یك بردار سطری تبدیل‬ ‫میشود‪.‬مثال عنصر ‪ ، W1,2‬شدت سيناپس دومين عنصر ورودی به نرون اول را نمایندگی میکند‪.‬در حالت کلی هر سطر ماتریس‬ ‫‪ W‬متناظر با یك نرون است‪.‬‬ ‫‪r‬‬ ‫‪c‬‬ ‫یك مدل خالصه شده نرون چند ورودی را میتوان به شکل ‪ 6‬نشان داد‪:‬‬ ‫‪A‬‬ ‫شکل (‪ :)6‬فرم ساده شده نرون با ‪ R‬ورودی‬ ‫همان گونه که در شکل فوق مشاهده میشود‪ ،‬بردار ورودی‪ P ،‬با یك ستون عمودی در سمت چپ نمایش داده میشود ابعاد ‪ P‬در‬ ‫زیر متغير ‪ P‬با ‪ R × 1‬مشخص شده است‪.‬این نماد نشان دهنده آن است که بردار ورودی ‪ P‬دارای ‪ R‬عنصر است‪.‬بردار ‪ P‬در یك‬ ‫ماتریس ‪ W‬با ‪ R‬ستون‪ ،‬ضرب می شود‪.‬مقدار ثابت ‪ 1‬به عنوان یك ورودی به نرون اعمال شده و در جمله اسکالر بایاس ‪ b‬ضرب‬ ‫‪1‬‬ ‫‪6‬‬ ‫‪. Assidjo‬‬ ‫‪www.SID.ir‬‬  ‫می شود‪.‬ورودی خالص ‪ ،n‬به تابع تبدیل ‪ f‬اعمال شده و خروجی مربوطه به وجود میآید‪ a.‬عمال نشان دهندة خروجی شبکه تك‬ ‫نرونی است و در این حالت یك اسکار با ابعاد ‪ 1×1‬است که در شکل مشخص شده است (اولينو‪.)200317،‬‬ ‫‪ -2-4‬ساختار شبکه های عصبی‬ ‫باید توجه داشت که معموال نرونی با ورودیهای زیاد نيز‪ ،‬به تنهایی برای حل مسائل فنیمهندسی کفایت نمیکند‪.‬مثال برای‬ ‫مدلسازی نگاشتهایی که دارای دو خروجی هستند احتياج به دو نرون داریم‪ ،‬که بطور موازی عمل کنند‪.‬در این حالت یك الیه‬ ‫خواهيم داشت که از اجتماع چند نرون تشکيل شده است‪.‬‬ ‫‪ -2-4-1‬شبکه تک الیه‬ ‫‪I‬‬ ‫‪D‬‬ ‫یك شبکه تك الیه با ‪ S‬نرون در شکل نشان داده شده است‪.‬شکل مذکور را میتوان به فرم فشرده تصویر(‪ )7‬هم نمایش داد‪.‬‬ ‫ورودی شبکه با بردار ‪ P‬و خروجی آن با بردار ‪ a‬ن شان داده شده است‪.‬باید توجه داشت که هر یك از ورودیها به همه نرونها‬ ‫‪S‬‬ ‫متصل شده است‪.‬ماتریس ‪ W‬نيز در این حالت دارای ‪ S‬سطر و ‪ R‬ستون میباشد‪.‬همان گونه که در شکل مشاهده میشود‪ ،‬الیهها‬ ‫شامل ماتریس وزن‪ ،‬جمع کنندهها‪ ،‬بردار بایاس ‪( b‬دارای ‪ S‬عنصر) و تابع تبدیل ‪ f‬هستند(ژانگ‪.)2002 ،‬‬ ‫‪8‬‬ ‫‪o‬‬ ‫‪f‬‬ ‫‪v‬‬ ‫‪e‬‬ ‫‪h‬‬ ‫‪i‬‬ ‫‪r‬‬ ‫‪c‬‬ ‫‪A‬‬ ‫شکل (‪ :)7‬شبکه تک الیه با ‪ S‬نرون‬ ‫‪ -2-4-2‬شبکه های چند الیه‬ ‫به بردار‬ ‫‪‬‬ ‫‪a  f W pb‬‬ ‫در شبکههای تك الیه‪ ،‬بردار ورودی (‪ )p‬توسط نرونهای الیه (عناصر محاسباتی)‪ ،‬طبق رابطه ‪‬‬ ‫خروجی مرتبط میشود‪.‬این شبکه شکل سادهای از شبکههای پيشخور‪18‬میباشد‪.‬‬ ‫در این بخش‪ ،‬ایده شبکههای پيشخور را به شبکههای چند الیه تعميم میدهيم‪.‬هر الیه ماتریس وزن ‪ ،W‬بردار بایاس ‪ ، b‬بردار‬ ‫ورودی خالص ‪ n‬و بردار خروجی مختص خود را دارد‪.‬جهت تمایز متغيرهای فوق و این که کدام متغير به کدام الیه تعلق دارد‪،‬‬ ‫نياز داریم که عالمت دیگری را هم به متغيرهای فوق تخصيص دهيم‪.‬از این رو از باالنویس برای مشخص نمودن الیه استفاده‬ ‫می کنيم‪ ،‬بنابراین ماتریس وزن را برای الیه اول با ‪ W1‬مشخص می نمایيم‪.‬با به خاطر سپردن این نماد‪ ،‬یك شبکه پيشخور دو الیه‬ ‫‪1‬‬ ‫‪7‬‬ ‫‪. Avelino‬‬ ‫‪1‬‬ ‫‪8‬‬ ‫‪. Feedforward‬‬ ‫‪www.SID.ir‬‬  ‫را می توان به شکل (‪ )8‬ترسيم نمود‪.‬همان گونه که از شکل پيداست‪ ،‬تعداد ‪ R‬ورودی و تعداد ‪ S1‬نرون در الیه اول و تعداد ‪S2‬‬ ‫نرون در الیه دوم در شبکه چند الیه پيشخور موجود است (ژانگ‪.)2002 ،‬‬ ‫شکل (‪ :)8‬شبکه پیشخور دو الیه‬ ‫‪I‬‬ ‫‪D‬‬ ‫‪S‬‬ ‫‪ -2-4-3‬الیه خروجی‬ ‫الیهای که خروجی آن‪ ،‬نهایی شبکه باشد‪ ،‬به الیه خروجی موسوم است‪.‬الیههای دیگر به الیههای ميانی موسومند‪.‬شبکه موجود‬ ‫‪9‬‬ ‫‪o‬‬ ‫‪f‬‬ ‫در شکل (‪ )-‬فرم ساده شده یك شبکه عصبی پيشخور را با دو الیه ميانی نمایش میدهد‪.‬در این جا الیه خروجی با ماتریس وزن‬ ‫‪ ، W3‬بردار بایاس ‪ b3‬و تابع محرک ‪ f3‬مشخص می شود‪.‬الیه ميانی اول با ماتریس وزن ‪ ،W1‬بردار بایاس ‪ b2‬و تابع محرک ‪ f1‬و الیه‬ ‫ميانی دوم با ماتریس وزن ‪ ،W2‬بردار بایاس ‪ b2‬و تابع محرک ‪ f2‬مشخص میشوند (ژانگ‪.)2002 ،‬‬ ‫شبکههای عصبی چند الیه نسبت به شبکه های عصبی تك الیه دارای توانایی بيشتری هستند‪.‬همچنين شبکههای عصبی پيشخور‬ ‫‪v‬‬ ‫‪e‬‬ ‫دو الیه با توابع زیگموئيد در الیه اول‪ ،‬قادرند هر تابعی را با دقت دلخواه تقریب بزنند‪ ،‬در حالی که شبکههای عصبی تك الیه از‬ ‫چنين توانائی برخوردار نيستند‪.‬‬ ‫‪h‬‬ ‫‪i‬‬ ‫به نظر میرسد که تعداد درجات آزادی (مثال تعداد ورودیها‪ ،‬خروجیها و نرونهای هر الیه) برای طراحی یك شبکه چند الیه‬ ‫پيشخور زیاد باشد‪.‬ولی باید توجه داشت که تعداد ورودیهای شبکه (‪ )R‬و تعداد خروجیهای شبکه (‪ ،)S‬بر اساس مسئله خاص‬ ‫‪c‬‬ ‫که شبکه قرار است حل کند‪ ،‬به دست می آیند‪.‬به عبارت دیگر این دو پارامتر جزء پارامترهای آزاد طراح نيستند‪ ،‬بلکه انتخاب آنها‬ ‫‪r‬‬ ‫بستگی دارد به مسئلهای که در حال بررسی است‪.‬مثال اگر میخواهيم سيستمی را که دارای چهار ورودی و سه خروجی است‪،‬‬ ‫توسط شبکه های عصبی تقریب بزنيم‪ ،‬باید یك شبکه عصبی انتخاب کنيم که دارای چهار ورودی (‪ )R=4‬و سه خروجی (‪)S=3‬‬ ‫‪A‬‬ ‫باشد (به عبارتی تعداد نرون های الیه خروجی برابر باشد)‪.‬عالوه بر این‪ ،‬ویژگیهای خروجی مطلوب شبکه نيز‪ ،‬در انتخاب نوع تابع‬ ‫محرک الیه خروجی تاثير دارد‪.‬مثال اگر خروجی شبکه تنها یا ‪ -‬باشد‪ ،‬بهتر است تابع محرک الیه خروجی‪ ،‬تابع متقارن آستانهای‬ ‫دو مقداره حدی باشد‪.‬بنابراین میتوان گفت که ساختار شبکههای عصبی تك الیه پيشخور را‪ ،‬کامال از روی ویژگیهای مسئله‬ ‫مورد بررسی‪ ،‬میتوان مشخص نمود(ژانگ‪.)2002 ،‬‬ ‫در مورد شبکه عصبی چند الیه‪ ،‬مطالب فوق صادق نيست‪.‬یعنی از روی ویژگیهای مسئله مورد بررسی‪ ،‬نمیتوان اطالعاتی در‬ ‫مورد تعداد نرون های الیه ميانی کسب نمود‪.‬در واقع تعداد اندکی از مسائل وجود دارد که برای آنها با توجه به مسئله خاص‪ ،‬امکان‬ ‫پيشبينی تعداد نرونهای الیه ميانی وجود داشته باشد‪.‬‬ ‫‪19‬‬ ‫‪ -2-5‬شبکههای پسخور یا برگشتی‬ ‫تفاوت شبکههای پسخور با شبکههای پيشخور این است که در شبکه های پسخور‪ ،‬حداقل یك سيگنال برگشتی از یك نرون به‬ ‫همان نرون یا نرونهای همان الیه و یا الیه قبل وجود دارد‪.‬جهت نمایش این گونه شبکهها‪ ،‬بلوک ساده زیر تعریف میکنيم‪:‬‬ ‫‪1‬‬ ‫‪Recurrent or Feedback‬‬ ‫‪9‬‬ ‫‪www.SID.ir‬‬  ‫شکل (‪ :)9‬بلوک تاخیر زمانی‬ ‫شکل فوق معرف تأخير زمانی یك مرحلهای است‪.‬به عبارت واضحتر خروجی بلوک (‪ )a‬در لحظه زمانی ‪ ،k‬برابر ورودی بلوک در‬ ‫‪I‬‬ ‫‪D‬‬ ‫یك واحد زمانی عقبتر (یعنی مقدار ‪ a‬در لحظه ‪ ) k-1‬است‪.‬واضح است که برای بدست آوردن رابطه ورودی و خروجی بلوک فوق‪،‬‬ ‫باید مقدار اوليه خروجی در لحظه نخست (صفر) معلوم باشد‪.‬این مقدار اوليه با )‪ a(0‬در شکل فوق نشان داده شده است‪.‬اکنون‬ ‫‪f‬‬ ‫‪S‬‬ ‫میتوانيم شبکه های پسخور را معرفی کنيم‪.‬یك نوع متداول از شبکه پسخور گسسته در حوزه زمان در شکل (‪ )10‬ترسيم شده‬ ‫‪ 20‬همکاران‪.)2007 ،‬‬ ‫است (ایوانا و‬ ‫‪10‬‬ ‫‪e‬‬ ‫‪o‬‬ ‫‪i‬‬ ‫‪v‬‬ ‫‪c‬‬ ‫‪h‬‬ ‫شکل (‪ :)10‬شبکه پسخور‬ ‫‪A‬‬ ‫‪r‬‬ ‫برای این شکل خاص‪ ،‬بردار ورودی ‪ ،p‬نشان دهنده شرایط اوليه شبکه است (به عبارتی ‪.) a (0)=p‬رفتار شبکه به وسيله معادله‬ ‫‪ak   Satl W ak  l   b , k  1,2‬‬ ‫‪‬‬ ‫زیر بيان میشود‪:‬‬ ‫‪a0  p‬‬ ‫(فرمول ‪)6‬‬ ‫شبکه های پسخور از توانایی بالقوه بيشتری نسبت به شبکههای پيشخور برخوردارند و بهتر میتوانند رفتار مربوطه به ویژگیهای‬ ‫زمانی سيستمها را نشان دهند‪.‬‬ ‫‪2‬‬ ‫‪. Ivana‬‬ ‫‪0‬‬ ‫‪www.SID.ir‬‬  ‫جدول (‪ :)1‬توابع محرک با عالئم قراردادی (استوارت و همکاران‪) ،‬‬ ‫عالئم قراردادی‬ ‫تعریف تابع‬ ‫نام‬ ‫ردیف‬ ‫‪a  0 , n 0‬‬ ‫آستانهای دو مقداره‬ ‫‪1‬‬ ‫‪a 1 , n  0‬‬ ‫‪a  1 , n0‬‬ ‫‪a 1 , n  0‬‬ ‫‪I‬‬ ‫‪D‬‬ ‫آستانهای دو مقداره متقارن‬ ‫‪2‬‬ ‫‪an‬‬ ‫‪f‬‬ ‫‪S‬‬ ‫خطی‬ ‫‪3‬‬ ‫‪11‬‬ ‫‪a  1 , n1‬‬ ‫‪e‬‬ ‫‪a  n , 1  n  1‬‬ ‫‪o‬‬ ‫آستانهای خطی متقارن‬ ‫‪4‬‬ ‫‪i‬‬ ‫‪v‬‬ ‫‪a  1 , n1‬‬ ‫‪c‬‬ ‫‪h‬‬ ‫‪a  0 , n 0‬‬ ‫‪a  n , 0  n 1‬‬ ‫آستانهای خطی‬ ‫‪5‬‬ ‫‪A‬‬ ‫‪r‬‬ ‫‪a  1 , n1‬‬ ‫‪a‬‬ ‫‪1‬‬ ‫سيگموئيدی‬ ‫‪6‬‬ ‫‪1  e n‬‬ ‫‪e n  e n‬‬ ‫‪a n‬‬ ‫تانژانت هيپربوليکی‬ ‫‪7‬‬ ‫‪e  e n‬‬ ‫‪a  0 , n 0‬‬ ‫خطی مثبت‬ ‫‪8‬‬ ‫‪an , n0‬‬ ‫‪www.SID.ir‬‬  ‫‪ -2-6‬فرآیند یادگیری‬ ‫سيستمهای یادگيری سيستمهایی هستند که صرفاً با مشاهده عملکردشان‪ ،‬می توانند رفتارهایشان را جهت دستيابی به هدف و‬ ‫مقصدی خاص بهبود بخشند‪.‬اگر مقاصد و اهداف بطور کامل تعریف شده باشند آنگاه دیگر به فرآیند یادگيری احتياجی نيست‪.‬‬ ‫زمانی که به پروسه یادگيری نياز است که اطالعات کامل در مورد اهداف موجود نباشد‪ ،‬جایی که میدانيم به علت عدم قطعيت در‬ ‫شرایط محيطی‪ ،‬سيستمی که دارای خواص و پارامترهای ثابت باشد نمیتواند بطور کامل عمل کند (اولينو‪.)2003 ،‬‬ ‫رفتار سيستمهای یادگير‪21‬توسط الگوریتمهای بازگشتی بيان می شود‪.‬به همين خاطر به این الگوریتمها قوانين یادگيری میگویند‬ ‫‪I‬‬ ‫‪D‬‬ ‫و عموماً تقریبی است از هدف خاص که مقصود پروسه یادگيری میباشد بهينه گردد و این کار تنها راه جبران نمودن نقصان‬ ‫اطالعات اوليه میباشد‪.‬‬ ‫‪S‬‬ ‫به پروسه یادگيری نياز است چون اطالعات (ارتباط ورودی و خروجی) کامالً مشخص نيستند‪.‬می دانيم که تجربه ها در مسير‬ ‫زمان حاصل می شوند و به عبارت دیگر هيچ کس آینده خود را تجربه نکرده است‪.‬ميزان یادگيری ما به درجه کامل بودن‬ ‫‪12‬‬ ‫‪ 22‬یادگيری بدون ناظر ‪23.‬‬ ‫‪o‬‬ ‫‪f‬‬ ‫اطالعات قبلی ما بستگی دارد‪.‬در حالت کلی دو نوع یادگيری موجود است‪ :‬یادگيری با ناظر و‬ ‫در یادگيری با ناظر بر این است که در هر مرحله تکرار الگوریتم یادگيری‪ ،‬جواب مطولب سيستم یادگيرنده از قبل‪ ،‬آماده است‪ ،‬و‬ ‫به عبارتی الگوریتم یادگيری به جواب واقعی و مطلوب دسترسی دارد‪.‬مثالً فرض کنيد سيستم یادگير می خواهد نگارش‬ ‫‪e‬‬ ‫‪ y  x‬را بياموزد‪.‬اگر به سيستم مقدار ‪ /‬را بدهيم جواب مطلوب ‪ /‬را به دست می دهد‪.‬بطور کل جوابی را که سيستم یادگيری‬ ‫‪2‬‬ ‫‪i‬‬ ‫‪v‬‬ ‫با وضعيت فعلی پارام ترهایش می دهد به عنوان جواب واقعی در نظر می گيریم‪.‬در این جا الگوریتم یاد گيرنده که پارامترهای‬ ‫سيستم یاد گيرنده را تنظيم می کند‪ ،‬هم به جواب مطلوب ‪ /‬و هم به جواب واقعی دسترسی دارد‪.‬به عبارتی به خطای یادگيری که‬ ‫‪h‬‬ ‫همان خطای بين مقدار مطولب و مقدار واقعی می باشد دسترسی خواهد داشت(استوارت و همکاران‪.)2003 ،‬‬ ‫در نگاه اول به نظر می رسد که یادگيری بدون ناظر بی فایده و غير ممکن باشد‪ ،‬با طرح این سوال که "چگونه می توانيم یك‬ ‫‪r‬‬ ‫‪c‬‬ ‫سيستم یاد گيرنده را آموزش دهيم اگر ندانيم که این سيستم چه کاری قرار است انجام دهد؟" مثالً در مسئله گروه بندی‪ ،‬هر‬ ‫گروه باید با یك ویژگی مشخص شود‪.‬به نظر نمی آید که یك سيستم یادگير به تنهایی بتواند مشخصههایی را که موجب‬ ‫گروهبندی میشوند بيابد و ویژگی های دیگر را نادیده انگارد‪.‬به عبارتی دیگر سيستم آموزش پذیر نمیتواند حدس بزند که کدام‬ ‫‪A‬‬ ‫گروه و یا طبقه مورد نظر فردی است که مسئله الگوبندی را ارزیابی میکند‪.‬خواهيم دید که بيشتر این الگوریتمهای بدون ناظر‬ ‫عمل خوشه بندی‪24‬را انجام میدهند‪.‬آنها می آموزند که الگوهای ورودی را به تعداد متناهی از گروه ها تقسيم بندی کنند‪.‬باید‬ ‫توجه داشته باشيم که در این حالت فرد طراح یا معلم است که هدف و مقصد نهایی‪ ،‬یعنی چيزی را که باید به آن رسيد مشخص‬ ‫می کند‪.‬و به عبارتی یادگيری بدون معلم مفهوم نادرستی است که عموماً به حای یادگيری بدون ناظر مورد استفاده قرار میگيرد‪.‬‬ ‫خالصه در فرآیند یادگيری سه مورد زیر باید به ترتيب انجام شوند(محمودی و همکاران‪.)2010 ،‬‬ ‫‪ -‬سيستم یادگيرنده توسط محيط تحریك شود‪.‬‬ ‫‪ -‬قانون یادگيری ب ا رجوع به نتيجه تحریك پارامتر های سيستم یادگيری را تغيير دهد‪.‬‬ ‫‪ )3‬سيستم یادگيرنده به خاطر تغييراتی که در ساختار داخلی آن اتفاق افتاده است‪ ،‬پاسخ مناسبتری به محيط بدهد‪.‬‬ ‫‪2‬‬ ‫‪1‬‬ ‫‪Learning Systems‬‬ ‫‪2‬‬ ‫‪2‬‬ ‫‪Supervised Learning‬‬ ‫‪2‬‬ ‫‪3‬‬ ‫‪Unsupervised Learning‬‬ ‫‪2‬‬ ‫‪4‬‬ ‫‪Clustering‬‬ ‫‪www.SID.ir‬‬  ‫‪ -2-6-1‬معادله یادگیری در حالت کلی‬ ‫دیدیم که یك نرون با یك بردار ‪ W  w1, w2 ,...wR , b‬و بردار ورودی ‪ p   p1,..., pR ,1‬متناظر است‪.‬هر نرون توانایی‬ ‫‪T‬‬ ‫‪T‬‬ ‫دارد که بردار وزن خود را بر اساس بردار ورودی و یك سيگنال دیگر موسوم به سيگنال معلم (در حالت کلی) یا سيگنال خطا (در‬ ‫یادگيری با ناظر) تغيير و بهبود دهد‪.‬در یادگيری بدون ناظر سيگنال معلم تغيير بردار حالت‪25‬خود نرون است‪.‬‬ ‫در حالت‪ ،‬کلی محيط یا منبع اطالعاتی نرون را میتوانيم به صورت زیر مشخص کنيم‪:‬‬ ‫برای یادگيری با ناظر ‪P, t, prob p, t  ‬‬ ‫‪I‬‬ ‫‪D‬‬ ‫برای یادگيری بدون ناظر ‪P, prob p, s  ‬‬ ‫که در آن ‪ p‬بردار ورودی‪ t ،‬جواب مطلوب‪ prob ،‬تابع توضيع احتمال و ‪ s‬بردار حالت نرون است‪.‬بطور هندسی میتوانيم شکل‬ ‫ساده (‪ )11‬را داشته باشيم‪.‬‬ ‫‪w  wt   .l. pt ‬‬ ‫‪f‬‬ ‫‪S‬‬ ‫قانون کلی یادگيری را برای یك نرون میتوان به صورت زیر نوشت‪:‬‬ ‫حالت پيوسته‪:‬‬ ‫‪o‬‬ ‫(فرمول ‪)7‬‬ ‫حالت گسسته‪:‬‬ ‫‪13‬‬ ‫‪wk  l    j   wk   .l. pk ‬‬ ‫‪e‬‬ ‫(فرمول ‪)8‬‬ ‫که در این فرمول برادر وزن ‪ w‬متناسب با حاصل ضرب برادر ورودی ‪ p‬در سيگنال یادگيری ‪ l‬تغيير می کند و همزمان بطور‬ ‫‪i‬‬ ‫‪v‬‬ ‫خيلی کند کاهش می یابد‪  ,.‬نيز مقادیر ثابت مثبت کوچکتر از ‪ l‬هستند‪.‬در حالت کلی سيگنال یادگيری تابعی از ‪t,w,p‬‬ ‫(برای حالت یادگيری با ناظر) است‪.‬انواع قوانين یادگيری که ساختار کلی آنها گفته شد از قبيل همينگ‪ ،‬رقابتی‪ ،‬پس انتشار خطا‬ ‫‪h‬‬ ‫و غيره در فصول مختلف بطور کامل بحث خواهند شد‪.‬در ادامه خواهيم دید که قانون یادگيری پرسپترون همان قانون فوق برای‬ ‫حالت گسسته است‪ ،‬جایی که ‪   o‬و سيگنال یادگيری برابر با سيگنال خطا ‪ l  t  a‬است‪.‬‬ ‫‪c‬‬ ‫‪A‬‬ ‫‪r‬‬ ‫شکل (‪ :)11‬مدل یادگیری نرون‬ ‫‪ -2-6-2‬یادگیری شبکه‬ ‫تمامی تواناییهای حيرت انگيز شبکههای عصبی بيولوژیکی انسان‪ ،‬بطور مادرزادی ساخته نشدهاند‪.‬آن بخش از تواناییهای انسان‬ ‫از قبيل شناسایی‪ ،‬محاسبه‪ ،‬تفکرات تجریدی‪ ،‬مهارت های فردی و هنری در طول زمان در انسان تکوین مییابند و از بدو تولد در‬ ‫انسان نهاده نشدهاند‪.‬یك روش یا دگيری در طول زمان‪ ،‬شبکه عصبی را طوری تنظيم میکند که بر اساس اطالعات جدید و‬ ‫مشاهده عملکرد فعلی‪ ،‬رفتار خود را بهبود بخشد‪ ،‬مثالً چهره جدیدی را در ذهن بسپارد بدون این که چهرههای قبلی را از یاد ببرد‬ ‫(استوارت و همکاران‪.)2003 ،‬‬ ‫‪2‬‬ ‫‪5‬‬ ‫‪State‬‬ ‫‪www.SID.ir‬‬  ‫در دهه چهل و بخصوص دهه پنجاه از قرن بيستم محققان تالش میکردند که ساختار شبکههای عصبی را با قانون یادگيری کامل‬ ‫کنند‪.‬قانون یادگيری یعنی این که پارامترهای شبکه بر اساس ارائه الگوها تنظيم شود‪.‬سرانجام در سال فرانك روزنبالت استاد‬ ‫روانشناسی دانشگاه کرنل آمریکا از طریق آناليز ریاضی و شبيه سازی کامپيوتری‪ ،‬نشان داد که نوعی از شبکههای عصبی موسوم به‬ ‫پرسپترون را می توان برای حل مسئله طبقه بندی الگوها آموزش داد‪.‬نرونها در این شبکه شبيه نرونهایی بودند که مك کلوث و‬ ‫پيتز ارائه داده بودند(اولينو و همکاران‪.)2003 ،‬‬ ‫کار مهم روزنبالت در معرفی این شبکه نبود‪ ،‬بلکه ابداع قانون یادگيری برای شبکه پرسپترون بود‪.‬او قانون یادگيری ساده و‬ ‫اتوماتيکی را مطرح نمود که قادر بود از هر شرط اوليه که شبکه انتخاب میکرد به جواب مسئله (در صورت وجود) همگرا شود‪.‬در‬ ‫‪I‬‬ ‫‪D‬‬ ‫اواسط دهه شصت روزنبالت عالقهمند به توصيف بيولوژیکی پروسه فراگيری (تاثير متقابل نرون شناسی و محاسبات مصنوعی‬ ‫نرون ی) شد‪.‬بطوری که در سال او تالش می کرد تا توضيح دهد چگونه رشته ای از تجربههای حسی پس از دورهای از زندگی‬ ‫‪S‬‬ ‫می توانند به یاد آورده شوند‪.‬متاسفانه شبکه پرسپترون روزنبالت از حل بسياری از مسائل و طبقه بندی الگوهایی که در فضای‬ ‫ورود بطور خطی از هم جداناپذیر ناتوان بود‪.‬در دهه هشتاد قرن بيستم این محدودیتها توسط الگوریتم یادگيری جدیدی مرسوم‬ ‫‪14‬‬ ‫‪f‬‬ ‫به پس انتشار خطا‪ ،‬برای شبکههای عصبی پرسپترون چند الیه مرتفع شد(محمودی و همکاران‪.)2010 ،‬‬ ‫‪o‬‬ ‫در این جا برای یادگيری یك نرون‪ ،‬محيط نرون ثابت در نظر گرفته شده است‪.‬اما زمانی که یك شبکه عصبی رفتار خود را به‬ ‫شکل اشتراکی‪ ،‬نه بطور مستقل آن گونه که برای یك تك نرون دیدیم تغيير و بهبود میبخشد‪ ،‬هر نرون بردار وزنهای متناظر‬ ‫‪e‬‬ ‫خود را مطابق با قانون یادگيری خاص خودش تغيير می دهد‪.‬محيط منبع اطالعاتی هر نرون در این حالت دیگر ثابت نيست‪ ،‬بلکه‬ ‫‪v‬‬ ‫با تغيير وزنهای نرونهای دیگر تغيير می کند‪ ،‬چون محيط منبع اطالعاتی یك نرون قائم به ذات نيست‪ ،‬بلکه وابسته به رفتارهای‬ ‫‪i‬‬ ‫نرونهای دیگر در شبکه است‪.‬بنابراین معادالت زیر را میتوانيم برای نرونهای یك شبکه بنویسيم‪:‬‬ ‫حالت پيوسته‪:‬‬ ‫‪wij  wij t   wij t ‬‬ ‫‪c‬‬ ‫‪h‬‬ ‫(فرمول ‪)9‬‬ ‫ترم‬ ‫‪wij‬‬ ‫‪r‬‬ ‫‪wij k  l   l   wij k wij k ‬‬ ‫‪A‬‬ ‫حالت گسسته‪:‬‬ ‫‪w‬‬ ‫(فرمول ‪)10‬‬ ‫که در آن ‪ ij‬وزن ترم اصالحی میباشد‪.‬سيناپس است که ‪ j‬امين عنصر بردار ورودی را به نرون ‪ i‬ام متصل میکند و‬ ‫اصالحی میباشد‪.‬‬ ‫‪ -2-6-3‬قانون یادگیری پرسپترون (‪)SLPR26‬‬ ‫در این نوع یادگيری محرک‪ ،‬پاسخ درست‪ ،‬ورودی و خروجی مطلوب‪ ،‬الگو و این که الگو به چه طبقهای تعلق دارد در اختيار‬ ‫میباشند‪.‬در این نوع یادگيری ها عمالً خطای یادگيری در اختيار است و از این رو در عمل مناسب است که در هر مرحله‪ ،‬از‬ ‫خطای یادگيری در اختيار است و از این رو در عمل مناسب است که در هر مرحله‪ ،‬از خطای یادگيری جهت تنظيم‬ ‫پارامترهای شبکه طوری استفاده شود که در صورت اعمال دوباره همان ورودی خطای یادگيری کمتر باشد‪.‬قانون یادگيری‬ ‫‪ SLPR‬فقط برای شبکه عصبی تك الیه ای‪ ،‬متشکل از نرونهای با تابع تبدیل از نوع آستانه حدی دو مقداره ‪ SSIGN‬یا‬ ‫(‪ )Hard Limiter‬به وجود آمدهاند‪.‬شکل زیر یك شبکه پرسپترون تك الیه را نشان میدهد ‪.‬‬ ‫‪2‬‬ ‫‪6‬‬ ‫‪Single Layer Perceptron Rule‬‬ ‫‪www.SID.ir‬‬  ‫شکل (‪ :)12‬پرسپترون تک الیه‬ ‫‪I‬‬ ‫‪D‬‬ ‫‪Wi pi  w2 p2  b  0‬‬ ‫‪f‬‬ ‫‪S‬‬ ‫برای این که تصویر روشنتری از شبکه پرسپترون تك الیه فوق داشته باشيم‪ ،‬حالتی را در نظر میگيریم که در آن ‪ S=1‬و‬ ‫‪ R=2‬است‪.‬این نرون با معادله زیر تبيين میشود‪:‬‬ ‫(فرمول ‪)11‬‬ ‫‪o‬‬ ‫‪27‬‬ ‫‪ -4-6-2‬الگوریتم پس انتشار خطا‬ ‫این الگوریتم که در سال ‪ 1986‬توسط روملهارت و مكکليالند پيشنهاد گردید‪ ،‬در شبکههای عصبی پيشرو (‪)Feed-Forward‬‬ ‫‪15‬‬ ‫‪v‬‬ ‫‪e‬‬ ‫مورد استفاده قرار میگيرد‪.‬پيشرو بودن به این معناست که نرونهای مصنوعی در الیههای متوالی قرار گرفتهاند و خروجی‬ ‫(سيگنال) خود را رو به جلو میفرستند‪.‬واژه پسانتشار نيز به معنای این است که خطاها به سمت عقب در شبکه تغذیه میشوند تا‬ ‫‪i‬‬ ‫وزنها را اصالح کنند و پس از آن‪ ،‬مجدداً ورودی مسير پيشرو خود تا خروجی را تکرار کند‪.‬روش پسانتشار خطا از روشهای با‬ ‫ناظر است؛ به این مفهوم که نمونههای ورودی برچسب خوردهاند و خروجی مورد انتظار هر یك از آنها از پيش دانسته است‪.‬لذا‬ ‫‪h‬‬ ‫خروجی شبکه با این خروجیهای ایدهآل مقایسه شده و خطای شبکه محاسبه میگردد‪.‬در این الگوریتم ابتدا فرض بر این است که‬ ‫‪r‬‬ ‫‪c‬‬ ‫وزنهای شبکه به طور تصادفی انتخاب شدهاند‪.‬در هر گام خروجی شبکه محاسبه شده و بر حسب ميزان اختالف آن با خروجی‬ ‫مطلوب‪ ،‬وزنها تصحيح میگردند تا در نهایت این خطا مينيمم شود‪.‬در الگوریتم پسانتشار خطا‪ ،‬تابع تحریك هر عصب به صورت‬ ‫جمع وزندار ورودیهای مربوط به آن عصب درنظر گرفته میشود‪.‬بدین ترتيب با فرض این که ‪ w‬وزنهای متناظر بين الیه‬ ‫‪n‬‬ ‫‪A‬‬ ‫‪n j ( p , w )   p i w j ,i‬‬ ‫‪i 0‬‬ ‫‪ 28‬همکاران‪.)2015 ،‬‬ ‫ورودی و الیه بعد باشد میتوان نوشت (لوکاس و‬ ‫(فرمول ‪)12‬‬ ‫به وضوح میتوان دید که خروجی تابع تحریك عصب فقط به ورودی و وزنهای متناظر بستگی دارد‪.‬با فرض اینکه تابع خروجی‪،‬‬ ‫سيگموئيد باشد میتوان خروجی نرون ‪ j‬ام را به صورت زیر نوشت‪:‬‬ ‫‪1‬‬ ‫‪a j ( p, w )  sgm(n j ( p, w )) ‬‬ ‫(فرمول ‪)13‬‬ ‫‪1 e‬‬ ‫) ‪n j ( p,w‬‬ ‫تابع سيگموئيد به ازای اعداد منفی بزرگ‪ ،‬بسيار نزدیك به صفر است و برای اعداد مثبت بزرگ‪ ،‬مقداری بسيار نزدیك به ‪ 1‬دارد و‬ ‫در این بين به طور هموار تغيير می کند به نحوی که در ‪ x  0‬دقيقاً از حد واسط بازه [‪ ]1, 0‬یعنی ‪ /‬عبور می کند‪.‬همچنين با‬ ‫دقت در فرمول (‪ )13‬در مییابيم که خروجی فقط به مقدار تابع تحریك بستگی دارد که به نوبه خود به ورودی و وزنها مرتبط‬ ‫‪2‬‬ ‫)‪Back Propagation (BP‬‬ ‫‪7‬‬ ‫‪2‬‬ ‫‪Lukas‬‬ ‫‪8‬‬ ‫‪www.SID.ir‬‬  ‫میشود‪.‬لذا برای تغيير خروجی باید وزنها تغيير کنند‪.‬آنچنان که پيش از این نيز بيان شد‪ ،‬هدف فرآیند آموزش‪ ،‬رسيدن به‬ ‫خروجی مطلوب (یا نزدیك به مطلوب) است‪.‬بدین ترتيب ابتدا باید تابع خطای هر نرون را تعریف کنيم‪.‬این خطا از اختالف‬ ‫خروجی واقعی شبکه و خروجی مورد انتظار به صورت زیر بدست میآید‪:‬‬ ‫‪E j ( p, w , t j )  ( a j ( p , w )  t j ) 2‬‬ ‫(فرمول ‪)14‬‬ ‫) ‪(t‬‬ ‫) ‪(a‬‬ ‫انتخاب مربع تفاضل بين خروجی واقعی ‪ j‬و خروجی مطلوب ‪ j‬از چندین جنبه قابل بحث است؛ اوالً با استفاده از توان‬ ‫دوم‪ ،‬مقدار خطا همواره مثبت خواهد بود؛ ثانياً اگر اختالف بين خروجی واقعی و مطلوب زیاد باشد‪ ،‬توان دوم منجر به بزرگتر شدن‬ ‫‪D‬‬ ‫این عدد میشود و بالعکس اگر اختالف بين خروجی واقعی و مطلوب کم باشد‪ ،‬توان دوم منجر به کوچکتر شدن آن میگردد‪.‬بر این‬ ‫‪I‬‬ ‫اساس میتوان خطای کلی شبکه را به فرم مجموع خطای تك تك عصبهای الیه خروجی نوشت‪.‬لذا داریم (لو و ناکائی‪.)200129،‬‬ ‫) ‪E ( p , w , t )   E j ( p , w , t j )  ( a j ( p , w )  t j‬‬ ‫‪j‬‬ ‫‪j‬‬ ‫‪2‬‬ ‫‪f‬‬ ‫‪S‬‬ ‫(فرمول ‪)15‬‬ ‫حال بایستی به بررسی ارتباط خطا با ورودیها‪ ،‬وزنها و خروجیها بپردازیم‪.‬برای این کار روشهای متفاوتی وجود دارد که برخی‬ ‫‪o‬‬ ‫از مهمترین آنها عبارتند از‪:‬‬ ‫‪ )1‬روش گرادیان شيب (‪)Gradient Descent‬‬ ‫‪16‬‬ ‫‪e‬‬ ‫‪ )2‬روش نيوتون‬ ‫‪ )3‬روش اندازه حرکت (‪)Momentum‬‬ ‫‪v‬‬ ‫‪h‬‬ ‫‪i‬‬ ‫‪ )4‬روش انتروپی متقابل (‪)Cross Entropy‬‬ ‫‪ )5‬روش ‪Levenberg-Marquarlt‬‬ ‫جهت توقف تکرار الگوریتم ‪ BP‬از دو شاخص زیر بطور همزمان میتوان استفاده نمود‪:‬‬ ‫‪r‬‬ ‫‪c‬‬ ‫الف) ميانگين مربعات خطا در هر سيکل یا ‪( Epoch‬جمع مربعات خطا برای تمامی الگوهای یادگيری) کمتر از مقدار از پيش‬ ‫تعيين شده ای باشد و یا اینکه فرم تغييرات در پارامترهای شبکه پس از هر سيکل خيلی کوچك باشد‪.‬باید توجه داشت که هر‬ ‫سيکل برابر با تعداد تکرار‪ ،‬به اندازه تعداد نمونههای یادگيری میباشد‪.‬مثال اگر تا دادههای نمونه یادگيری موجود است‪ ،‬سيکل‬ ‫‪A‬‬ ‫برابر با مرحله تکرار میگردد‪.‬‬ ‫ب) ترم گرادیان خطا خيلی کوچك باشد؛ ترم گرادیان خطا از یك مقدار از پيش تعيين شدهای کوچكتر گردد (محمودی و‬ ‫‪30‬‬ ‫همکاران‪.)2010 ،‬‬ ‫‪ -2-7‬شبکههای عصبی پرسپترون‬ ‫شبکه های عصبی پرسپترون‪ ،‬به ویژه پرسپترون چند الیه‪ ،‬در زمره کاربردیترین شبکههای عصبی میباشند‪.‬این شبکهها قادرند با‬ ‫انتخاب مناسب تعداد الیهها و سلول های عصبی‪ ،‬که اغلب زیاد هم نيستند‪ ،‬یك نگاشت غير خطی را با دقت دلخواه انجام دهند‪.‬‬ ‫این همان چيزی است که در بسياری از مسائل فنی مهندسی به عنوان راه حل اصلی مطرح میباشد (ژانگ‪.)2010 ،‬‬ ‫‪31‬‬ ‫‪ -2-8‬شبکههای پرسپترون چند الیه‬ ‫در شکل (‪ ) 13‬شبکه پرسپترون سه الیه ارائه گردیده است‪.‬که مدل مورد نظر در تحقيق حاضر می باشد‪.‬همان گونه که در شکل‬ ‫(‪ )13‬مالحظه میشود هر نورون در هر الیه‪ ،‬به تمامی نورونهای الیه قبل متصل میباشد‪.‬به چنين شبکه هایی‪ ،‬شبکه های کامالً‬ ‫‪2‬‬ ‫‪. Lou and Nakai‬‬ ‫‪9‬‬ ‫‪3‬‬ ‫‪0‬‬ ‫‪Perceptron‬‬ ‫‪3‬‬ ‫‪1‬‬ ‫)‪Multy Layer Perceptron (MLP‬‬ ‫‪www.SID.ir‬‬  ‫مرتبط گویند‪.‬شبکه مذکور‪ ،‬عمالً از به هم پيوستن سه شبکه پرسپترون تك الیه ایجاد شده است‪.‬یکی الیه خروجی و دو قسمت‬ ‫دیگر الیههای ميانی ناميده میشوند‪.‬خروجیهای الیه اول‪ ،‬بردار ورودی الیه دوم را تشکيل میدهند‪ ،‬و به همين ترتيب بردار‬ ‫خروجی الیه دوم‪ ،‬ورودیهای الیه سوم را میسازند‪ ،‬و خروجیهای الیه سوم‪ ،‬پاسخ واقعی شبکه را تشکيل میدهند‪.‬به عبارتی‬ ‫روشنتر‪ ،‬روند جریان سيگنالی در شبکه‪ ،‬در یك مسير پيشخور صورت میگيرد (از چپ به راست از الیهای به الیه دیگر) (لوکاس و‬ ‫همکاران‪.)2015 ،‬‬ ‫همان گونه که قبال گفته شد‪ ،‬هر الیه میتواند از تعدادی نرون های مختلف با توابع تبدیل متفاوت برخوردار باشد؛ یعنی مدلهای‬ ‫نرونها در الیهها میتوانند متفاوت در نظر گرفته شوند‪.‬اندیسهای فوقانی مبين شماره الیه و اندیسهای تحتانی مبدأ و مقصد‬ ‫‪2‬‬ ‫نمایش داده می شود‪.‬جهت بيان ساختار یك شبکه چند الیه‪ ،‬از نمایش عبارتی کوتاه زیر استفاده‬ ‫‪I‬‬ ‫‪D‬‬ ‫اتصال سيناپسی را مشخص میکنند‪ ،‬بنابراین ماتریس وزن برای الیه دوم با ‪ w‬و وزنه اتصالی بين نرون ‪ i‬ام از الیه اول و ورودی‬ ‫‪wi1. j‬‬ ‫‪ j‬ام از بردار ورودی با‬ ‫) ‪(R  S 1  S 2  S 3‬‬ ‫‪f‬‬ ‫‪S‬‬ ‫‪i‬‬ ‫میکنيم‪:‬‬ ‫(فرمول ‪)16‬‬ ‫‪17‬‬ ‫‪e‬‬ ‫‪o‬‬ ‫جایی که ‪ R‬تعداد ورودیها و ‪ S‬تعداد نرونها در الیه ‪ i‬ام میباشند‪.‬‬ ‫در شبکه ‪ MLP‬عموماً دو نوع سيگنال استفاده میشوند که بهتر است از هم تميز داده شوند؛ یك نوع سيگنالهایی هستند که در‬ ‫مسير رفت حرکت می کنند (از سمت چپ به راست شبکه) و دسته دیگر سيگنالهایی هستند که در مسير برگشت حرکت‬ ‫‪v‬‬ ‫می کنند (از سمت راست به چپ)‪.‬به دسته اول سيگنالهای تابعی و به دسته دوم سيگنالهای خطا گویند (اژار و همکاران‪،‬‬ ‫‪i‬‬ ‫دليل این نامگذاری این است که سيگنالهای دسته نخست‪ ،‬بر اساس تابعی از ورودیهای هر نرون و پارامترهای شبکه متناظرش‬ ‫‪h‬‬ ‫با آن محاسبه میشوند و سيگنال های دسته دوم به خاطر منشعب شدن از سيگنال خطا و توزیع برگشت از الیه خروجی به‬ ‫‪.)2009‬‬ ‫‪r‬‬ ‫‪c‬‬ ‫الیههای دیگر شبکه به سيگنالهای خطا موسومند‪ ،‬و خالصه اینکه سيگنالهای تابعی در مسير رفت در شبکهای از الیهای به الیه‬ ‫دیگر توزیع میشود و سيگنالهای خطا در مسير برگشت در شبکه منتشر میگردند (اسيجو‪.)2009 ،‬‬ ‫هر نرون در شبکه ‪ MLP‬دو محاسبه انجام می دهد‪.‬درمحاسبه اول سيگنال تابعی و در محاسبه دوم تخمين لحظهای از گرادیان‬ ‫‪A‬‬ ‫منحنی خطا را نسبت به پارامترهایی که ورودی نرون را به خود نرون متصل میکند‪ ،‬در اختيار قرار میدهد‪.‬این گرادیانها جهت‬ ‫پخش سيگنالهای خطا در شبکه مورد نياز میباشند‪.‬‬ ‫نتیجه گیری‬ ‫با عنایت به اینکه شبکه های عصبی از دو ویژگی اساسی یادگيری یا نگاشت پذیری بر اساس ارائه داده های تجربی (قدرت و‬ ‫توانایی تعميم پذیری) و ساختار پذیری موازی برخوردار می باشند‪ ،‬این شبکه ها برای سيستم های پيچيده که مدلسازی این‬ ‫سيستم ها یا ميسر نيست و یا به سختی انجام می شود بسيار مناسب می باشند‪.‬شبکه های عصبی مصنوعی به علت استفاده از‬ ‫فرمول های ثابت شده با حداقل خطا‪ ،‬صحت و اعتبار بيشتری دارند‪.‬با توجه به کاربرد های روز افزون شبکه های عصبی تالش‬ ‫های بسياری در راستای رفع نواقص این شبکه ها انجام شده است ‪.‬یکی از دالیلی که باعث محدود شدن کاربرد شبکه های عصبی‬ ‫می شود مرحله آموزش می باشد ‪.‬برای آموزش شبکه های عصبی همواره نياز به گروه بزرگی از اطالعات ورودی می باشد ‪.‬در‬ ‫عين حال تنظيم پارامتر های آموزش شبکه کاری بسيار دشوار بوده و نياز به تجربه دارد ‪.‬همچنين مشکالتی مانند مينيمم های‬ ‫محلی و همگرایی به یك پاسخ نامناسب ‪ ،‬حفظ کردن اطالعات ورودی به جای یادگيری آنها ‪ ،‬مهمتر از همه نياز به زمان زیاد‬ ‫‪www.SID.ir‬‬.‫برای مرحله آموزش از مشکالت شبکه های عصبی می باشد‬ ‫منابع‬ 1- Assidjo, N., Malhotra, R., and Malhotra, D. (2009) A Hybrid Neural Network Approach for Batch Fermentation Simulation, Australian Journal of Basic and Applied Sciences, 3(4): pp. 3930-3936. 2- Avelino, C., Yong-Qi, C., and Xing-Hua., B. (2003) Neural networks for modelling of kinetic reaction data applicable to catalyst scale up and process control and optimisation in the frame of combinatorial catalysis, Applied Catalysis A: General 254: pp. 133–145. D 3- Azhar, A., El-sayed, D., and Peter, T. (2009) Production of Polyhydroxybutyrate (PHB) Using Batch and I Two-stage Batch Culture Strategies, Australian Journal of Basic and Applied Sciences 3(2): pp. 617-627. 4- Dimitri P. Bertsekas., and John N. Tsitsiklis. (2013). Neuro-Dynamic Programming, Athena Scientific, Ch. 1-3. to methanol, Chemical Engineering Journal (115), pp. 113–120. f S 5- Elkamel, H., Desai, V. S., and Crook, J. N. (2005) Hybrid artificial neural network—First principle model formulation for the unsteady state simulation and analysis of a packed bed reactor for CO2 hydrogenation 6- Ivana, C., Mantovaneli, L., and Hall, M. A. (2007). Hybrid neural network model for alcoholic o fermentation processes with multiple stages, 2nd Mercosur Congress on Chemical Engineering. 7- K Pramanik, (2004) Use of Artificial Neural Networks for Prediction of Cell Mass and Ethanol 18 Concentration in Batch Fermentation using Saccharomyces Cerevisiae Yeast, IE (I) Journal, (85). e 8- Kevin, Gurney. (1999) an Introduction to Neural Networks, UCL Press, Ch. 1-4, 6, 8. 9- Li, Pin Tan., and Kuan, Yew Wang. (2017) A Neural Network Approach for Predicting Manufacturing v Performance using Knowledge Management Metrics, Cybernetics and Systems Journal, 48(4). i 10- Lukas, F., Zuzana, S., Maria, D., Beata, H. and Tatian, P. (2015) Application of Neural Network Models in Modelling Economic Time Series with Non-Constant Volatility, Business Economics and Management 2015 Conference, BEM2015, Procedia Economics and Finance, (34), pp. 600 – 607. h 11- Mahmoudi, M., Najafpour, Gh., Sharifzadeh, M., and Eisazadeh, H. (2010) Kinetic model for polyhydroxybutyrate (PHB) production by Hydrogenophaga pseudoflava and verification of growth c conditions, African Journal of Biotechnology, 9(21): pp. 3151-3157. r 12- Stuart, J. R., and Peter, N. (2003) Artificial Intelligence: A Modern Approach, Pearson Education, Inc., Ch. 7. 13- Zhang, W.J. (2002) An artificial neural network approach to mechanism kinematic chain isomorphism A identification, Mechanism and Machine Theory (37), pp. 549–551. www.SID.ir