پایان نـــامه یادگیری عامل های مصنوعی

چکیده

 هدف اصلی از ارایه این پایان نامه، انتقال نظراتی است که در سالهای گذشته در تحقیقات مربوط به رشته یادگیری ماشین (زیر شاخه ای از هوش مصنوعی که بر روی برنامه هایی تمرکز می کند که از طریق تجربه به یادگیری می پردازند.) مطرح شده است. در ارایه این نظرات تلاش شده است که با حفظ دقت، از بیش از حد رسمی شدن پرهیز شود، هرجا که مناسب بوده الگوریتم های شبه برنامه نیز گنجانده شده تا نظرات را ملموس تر کند. به جای توضیح این زیر شاخه از هوش مصنوعی به سبک خاص خودش، سعی گردیده است تا تمام دانسته ها در این زمینه در یک چارچوب مشترک ارایه شوند. در این پایان نامه، نقش یادگیری به عنوان گسترش دسترسی طراح به محیط های ناشناخته توضیح وهمچنین نشان داده می شود که این نقش چگونه برای طراحی عامل ها محدودیت ایجاد می کند و از بازنمایی صریح دانش و استدلال پشتیبانی مینماید. این مبحث، روشهای تولید دانش مورد نیاز توسط اجزای تصمیم گیرنده را توصیف می کند، همچنین نوع جدیدی از این اجزاء (شبکه عصبی) را به همراه رویه های یادگیری مربوط به ان معرفی می نماید. بدین منظور به ترجمه بخش یادگیری از کتاب هوش مصنوعی راسل (فصول 18، 19، 20 و 21) مبادرت شده است. پنج مشخصه اصلی این پایان نامه عبارتند از: 1-ارایه دیدگاهی یکپارچه از رشته یادگیری ماشین. 2-تمرکز حول محور عاملهای هوشمند 3-پوشش جامع و به روز مطالب 4-تأکید یکسان هم بر مباحث نظری و هم عملی 5-درک مطالب از طریق پیاده سازی

مقدمه

هوش مصنوعی یکی از علوم جدیدی است که حدود نیم قرن از پدید امدن ان می­گذرد. علاوه بر ماهیت علمی این رشته، که در جایگاه بسیار با اهمیتی است، تأثیر غیرقابل انکاری بر اکثر فن اوری ها نیز داشته است. در این مبحث، به معرفی رشته یادگیری ماشین (زیر شاخه ای از هوش مصنوعی که بر روی برنامه ­هایی تمرکز می­کند که از طریق تجربه به یادگیری می­پردازند.) پرداخته می شود. در اکثر مباحث AIبدون در نظر گرفتن یادگیری ، فرض بر این است که تمام "هوشمندی" در یک عامل، توسط طراح عامل در ان بنا نهاده شده است. سپس به عامل اجازه داده می شود تا در محیطی رها شود و بهترین کاری را که برای عمل به ان برنامه ریزی شده است انجام دهد. اما این رویکرد (برای عامل یا طراح)، الزاما بهترین نیست. هرزمانی که طراح، دانش ناکاملی از محیطی که عامل در ان زندگی خواهد کرد، داشته باشد، یادگیری تنها راهی است که عامل می­تواند با استفاده از ان، هر انچه را که لازم است بداند، به دست اورد. بنابراین یادگیری، فراهم اورنده خودمختاری است، همچنین با دادن تجربه به سیستم یادگیری در دامنه کاربرد، روش خوبی برای ایجاد سیستم هایی با کارایی بالا فراهم می­کند.

 در ادامه در فصل اول، طراحی اصلی برای عامل های یادگیری معرفی می­شود و مسأله کلی یادگیری از طریق مثالها مورد ملاحظه قرار می­گیرد، همچنین یادگیری استقراییاز طریق مشاهدات شرح داده می­شود. فصل دوم نشان می­دهد که چگونه می­توان یادگیری را با استفاده از دانش قبلی بهبود بخشید. فصل سوم فرایند یاگیری در شبکه های عصبی (مجموعه هایی از عناصر پردازشی ساده و غیرخطی) را مورد بحث قرار می­دهد و چگونگی تدوین وظیفه یادگیری را به­عنوان یک فرایند استنتاج احتمالاتی بررسی می­کند. در فصل چهارم با مفروض داشتن بعضی بازخورها مثل کارایی عامل، به مسأله کلی از بهبود رفتار یک عامل می­پردازیم: چگونه یک عامل تنها با داشتن ادراکاتش و پاداش­های گهگاهی، می­تواند در یک محیط ناشناخته مهارت لازم را به دست اورد. سرانجام، فصل پنجم به جمع بندی مطالب گفته شد اختصاص دارد.

تعداد صفحات 240 word

فهرست مطالب

فصل یکم یادگیری از طریق مشاهدات.. 2

1-1- اَشکال یادگیری.. 3

1-2-یادگیری استقرایی.. 7

1-3-یادگیری درختان تصمیم.. 10

1-3-1 درختان تصمیم به عنوان عناصر کارایی.. 11

1-3-2 رسا بودن درختان تصمیم.. 14

1-3-3 استنباط درختان تصمیم از مثالها 16

1-3-4 انتخاب تستهای صفت... 23

1-3-5 ارزیابی کارایی الگوریتم یادگیری.. 25

1-3-6 اختلال و برازش کاذب.. 28

1-3-7 توسعه ی قابلیت اعمال درختان تصمیم.. 31

1-4- یادگیری گروهی.. 33

1-5- چرا یادگیری درست عمل می کند : نظریه یادگیری محاسباتی.. 40

1-5-1 چه تعداد مثال مورد نیاز است؟. 41

1-5-2 یادگیری لیستهای تصمیم.. 44

1-6 -خلاصه. 49

فصل دوم دانش در یادگیری.. 50

2-1- یک تدوین منطقی از یادگیری.. 51

2-1-1 مثالها و فرضها 51

2-1-2 جستجوی بهترین فرض جاری.. 54

2-1-3 جستجوی  حداقل  تعهد. 59

2-2- دانش در یادگیری.. 66

2-2-1 تعدادی مثال ساده. 67

2-2-2 تعدادی طرح کلی.. 68

2-3-یادگیری مبتنی بر تشریح.. 71

2-3-استخراج قوانین کلی از مثالها 73

2-4 - یادگیری با استفاده از ارتباط اطلاعات.. 78

2-4-1 تعیین فضای فرض.... 79

2-4-2 یادگیری و بهکارگیری ارتباط اطلاعات: 80

2-5- برنامه نویسی منطقی استقرایی.. 84

2-5-1 روشهای یادگیری استقرایی بالا به پایین.. 89

2-5-2 یادگیری استقرایی با استقرای معکوس... 94

2-6-خلاصه. 100

فصل سوم روشهای یادگیری اماری.. 102

3-1- یادگیری اماری.. 103

3-2-یادگیری با داده های کامل.. 109

3-2-1 یادگیری پارامتری حداکثر درستنمایی: مدلهای گسسته. 109

3-2-2 مدلهای خام بیزین.. 113

3-2-3 یادگیری پارامتری حداکثر درستنمایی: مدلهای پیوسته. 115

3-2-4 یادگیری پارامتری بیزین.. 117

3-2-5یادگیری ساختارهای شبکه بیزین: 121

3-3-یادگیری با متغیرهای پنهان: الگوریتم EM... 123

3-3-1 دسته بندی بدون نظارت: یادگیری ترکیبی گاوس... 125

3-3-2 یادگیری شبکةهای بیزین با متغیرهای پنهان.. 129

3-3-3 یادگیری مدلهای پنهان مارکوف.. 132

3-3-4 شکل کلی الگوریتم EM... 133

3-3-4 یادگیری ساختارهای شبکه بیز با متغیرهای پنهان.. 134

3-4-یادگیری نمونه محور. 136

3-4-1 مدلهای نزدیکترین همسایه. 136

3-4-2 مدلهای کرنل.. 140

3-5- شبکه های عصبی.. 142

3-5-1 واحدها در شبکه های عصبی.. 142

3-5-2 ساختارهای شبکه. 145

3-5-3 شبکه های عصبی پیشرو تکلایهای (پرسپترونها) 147

3-5-4 شبکه های عصبی پیشرو چندلایهای.. 154

3-6-ماشین های کرنل.. 163

3-7-مطالعة موردی : تشخیص ارقام دست نویس.... 168

3-8-خلاصه. 171

فصل چهارم یادگیری تقویتی.. 174

4-1-مقدمه. 175

4-2-یادگیری تقویتی غیر فعال.. 178

4-2-1 تخمین مستقیم سودمندی.. 180

4-2-2 برنامه ریزی پویای تطبیقی.. 181

4-2-3 یادگیری تفاضل موقتی.. 183

4-3-یادگیری تقویتی فعال.. 188

4-4-تعمیم در یادگیری تقویتی.. 196

4-4-1 کاربردها در انجام بازیها: 201

4-4-2 کاربرد در کنترل ربات.. 202

4-5-جستجوی خط مشی.. 204

4-6-خلاصه. 210

فصل پنجم جمع بندی و نتیجه گیری.. 214

فهرست واژگان: 217

فهرست اشکال

شکل 1-1. 8

شکل 1-2 درخت تصمیمی برای تصمیم درمورد این که ایا برای یک میز منتظر میمانیم یا خیر. 13

شکل 1-3- مثالهایی برای دامنه رستوران.. 16

شکل 1-4-تقسیمبندی مثالها بهوسیله تست بر روی صفات. 18

شکل 1-5- الگوریتم یادگیری درخت تصمیم.. 20

شکل 1-6- درخت تصمیمی که از مجموعه اموزشی مربوط به 12 مثال نتیجه شده است. 22

شکل1-7- منحنی یادگیری  برای الگوریتم درخت تصمیم  بر اساس 100 مثالی که بطور تصادفی در دامنه رستوران تولید شده اند. 27

شکل 1-8- تصویری از قدرت رسایی افزایش یافته که توسط یادگیری گروهی به دست امده است. 34

شکل 1-9-چگونگی کارکرد الگوریتم بوستینگ. 36

شکل1-10-گونه  ADABOOSTروش بوستینگ درمورد یادگیری گروهی. 37

شکل 1-11. 39

شکل 1-12- نمای طرح واری از فضای فرض که  نشان دهنده "ε–بال"اطراف تابع درست fاست. 42

شکل 1-13- یک لیست تصمیم برای مسأله رستوران. 44

شکل 1-14-الگوریتمی برای یادگیری لیست های تصمیم. 47

شکل 1-15- منحنی یادگیری برای الگوریتم یادگیری لیست تصمیمبر اساس داده های رستوران. منحنی یادگیری درخت تصمیم نیز برای مقایسه  نشان داده شده است. 48

شکل 2-1-(الف) یک فرض سازگار. (ب) یک منفی کاذب. (ج) فرض تعمیم یافته است. (د) یک مثبت کاذب. (ه) فرض تخصیص یافته است. 55

شکل 2-2- الگوریتم یادگیری جستجوی بهترین فرض جاری. این الگوریتم به دنبال یک فرض سازگار میگردد و زمانی که نتواند هیچ تعمیم/تخصیص سازگاری را بیابد عقبگرد میکند. 56

شکل 2-3- الگوریتم یادگیری فضای نمونه. این الگوریتم زیرمجموعه ای از Vرا مییابد که با مثالها سازگار باشد. 60

شکل 2-4- فضای نمونه شامل تمام فرضهای سازگار با مثالها میباشد. 62

شکل 2-5- بسط های اعضای  Sو G. هیچ مثال شناخته شده ای در بین دو مجموعه کران قرار نمیگیرد. 63

شکل 2-6-یک فرایند یادگیری فزاینده در طول زمان  از دانش زمینه اش استفاده میکند و به ان میافزاید. 67

شکل 2-7- درختان اثبات برای مسأله ساده سازی. 74

شکل 2-8- الگوریتمی برای یافتن یک تعیین کننده سازگار کمینه. 82

شکل 2-9- مقایسه کارایی بین RBDTLو DECISION-TREE-LEARNING.. 84

شکل 2-11-یک درخت خانواده معمولی. 87

شکل 2-12- خلاصه ای از الگوریتم FOIL.. 92

شکل 2-13- مراحل اولیه در یک فرایند تحلیل معکوس. 95

شکل 2-14-مرحله ای از تحلیل معکوس که یک گزاره جدید Pرا تولید می کند. 98

شکل 3-2. 111

شکل 3-3- منحنی یادگیری برای یادگیری خام بیزین.. 114

شکل 3-5- مثالهایی از توزیعbeta [a, b]  برای مقادیر مختلفی از [a, b]. 118

شکل 3-9-نمودارها نشان دهنده لگاریتم درستنمایی داده ها 128

شکل 3-10-(الف)یک مدل ترکیبی برای ابنبات. 129

شکل 3-11-شبکه بیزین پویا و گسترده ای که یک مدل پنهان مارکوف را بازنمایی می کند. 132

شکل 3-14-تخمین چگالی کرنل برای داده های.. 141

شکل 3-18-یک شبکه عصبی بسیار ساده با دو ورودی، یک لایه پنهان دو واحدی، و یک خروجی. 146

شکل 3-19. 147

شکل 3-20-تفکیک پذیری خطی در پرسپترونهای استانه. 149

شکل 3-21- الگوریتم یادگیری نزول گرادیان برای پرسپترونها 152

شکل 3-22-مقایسه کارایی پرسپترونها و درختان تصمیم. 152

شکل 3-23. 155

شکل 3-24-یک شبکه عصبی چندلایه ای با یک لایه پنهان و 10 ورودی، که برای مسأله رستوران مناسب است. 156

شکل 3-25-الگوریتم پس-انتشار برای یادگیری در شبکه های چندلایه ای. 158

شکل 3-26-. 161

شکل 3-29. 168

شکل 4-6-کارایی یک عامل ADPحریص که به اجرای اقدامی می پردازد. 190

شکل 4-7-کارایی عامل ADPاکتشافی که از R+=2و Ne=5   استفاده می کند. 192

شکل 4-10 تصاویری از یک هلیکوپتر خودمختار که در حال اجرای یک مانور دایره ای بسیار سخت می باشد  211

توجه : در حدود 10 صفحه از نوشته های پایان نامه به عکس می باشد و همچنین فرمول ها