کارگاه آموزشی یادگیری تقویتی عمیق با پایتون

توجه: گواهینامه مدرسه علم داده بدون کداختصاصی قابل استعلام و واترمارک درج شده در ذیل نام و نام خانوادگی، نام دوره و هم چنین امضای مدیریت فاقد اعتبار است.

مهندس ارشد زیرساخت فناوری ابری پارس‌پک

دانشمند ارشد داده در صباایده (فیلیمو، آپارات، سینماتیکت)

یادگیری تقویتی و یا یادگیری تقویتی عمیق یکی از زیرشاخه های یادگیری ماشینی است. یادگیری ماشینی، یکی از علوم نوظهوری است که در سال‌های اخیر از رشد بسیار بالایی برخوردار بوده است، به طوری که تخمین زده شده است که در حال حاضر دارای بازار 7.3 میلیارد دلاری است که روز به روز نیز بر مقدار آن افزوده می‌شود. موسسه مکنزی پیش­بینی کرده است که تکنیک‌های هوش مصنوعی مانند یادگیری عمیق و یادگیری تقویتی  دارای پتانسیل ایجاد درآمد سالیانه در حدود 5.8 تریلیون دلار هستند و می­توانند در بیش از 18 صنعت به صورت تجاری پیاده‌سازی شوند

معرفی یادگیری تقویتی

یادگیری تقویتی فرآیند نگاشت موقعیت‌ها به اقداماتی است که در نهایت منجر به حداکثر نمودن پاداش دریافتی می‌شود. بنابراین عامل یادگیرنده با انتخاب اقدامات و مشاهده نتایج آنها، سعی در حداکثر نمودن پاداش دریافتی می‌نماید. نکته قابل توجه اين است که اين اقدامات نه تنها پاداش دريافتي آني را تحت تاثير قرار مي‌­دهد، بلکه تمامي پاداش­هاي بعدي را نيز متاثر مي‌­سازد. اين دو خصوصيت سعي و خطا و پاداش با تاخير مهمترين وجه تمايز روش يادگيري تقويتي با ساير روش­ها است.

همانطور که در شکل بالا نشان داده شده است، عامل در ابتدا اقدامی را در محیط اتخاذ می‌کند، سپس محیط تاثیر آن اقدام را در قالب پاداش و حالت بعدی سیستم به عامل بر‌می‌گرداند. این فرآیند تا آنجا ادامه پیدا می‌کند که سیاست بهینه استخراج شود. بنابراین سلسله اتفاقات در این سیستم به صورت زیر خواهد بود:

یادگیری تقویتی بر خلاف دو روش قبلی یادگیری ماشینی (یادگیری با نظارت و بدون نظارت) داده ورودی دریافت نمی‌نماید. در این روش یک محیط در اختیار عامل یادگیرنده قرار می‌گیرد. عامل یادگیرنده با انجام اقدامات مختلف و دریافت پاداش حاصل از اقدامات، به سمت سیاست بهینه حرکت می‌نماید.

اجزاء یادگیری تقویتی

یادگیری تقویتی دارای عناصر اصلی زیر است که در توسعه هر الگوریتم می‌بایست به درستی تعریف شوند:

عامل (Agent): عامل در یادگیری تقویتی وظیفه یادگیری و استخراج سیاست بهینه را بر عهده دارد. عامل با محیط در تعامل است و اقدامات را اتخاذ میکند.

محیط (Environment): محیطی است که عامل در تعامل با آن و اتخاذ تصمیمات مختلف حالات را تغییر میدهد. محیط پس از اقدام عامل تغییر میکند و بازخورد آن را به عامل برمی‌گرداند.

اقدام (Action): حرکتی است که عامل پس از مشاهده وضعیت سیستم انتخاب می‌کند.

حالت (State): وضعیتی که محیط در حال حاضر در آن قرار دارد و عامل با مشاهده آن تصمیم به حرکت بعدی می‌گیرد.

پاداش (Reward): عامل پس از مشاهده حالت سیستم و انتخاب اقدام، پاداش مشخص آن اقدام را دریافت می‌کند. پاداش به عنوان سیگنال بازخورد اقدام تعریف میشود که عامل را به سمت سیاست بهینه هدایت می‌کند.

سیاست (Policy): نحوه رفتار عامل به عنوان سیاست شناخته می‌شود. بنابراین عامل بسته به سیاست در نظر گرفته شده، بعد از مشاهده حالت سیستم اقدام مشخصی را انتخاب می‌کند.

تابع ارزش (Value function): همانطور که ذکر شد “پاداش” بازخورد آنی از اقدام عامل است. ولی اگر بخواهیم بلندمدت نگاه کنیم، به این معنی که این اقدام عامل در بلند مدت چه تاثیری خواهد داشت، از آن به عنوان تابع ارزش نام برده می‌شود. بنابراین تابع ارزش، بازخورد بلندمدتی است که عامل با استفاده از سیاست مشخص و اقدام اتخاذ کرده در حالت مشخص سیستم دریافت می‌کند.

یادگیری تقویتی عمیق (Deep Reinforcement Learning)

همانطور که ذکر شد، عامل یادگیرنده در فرآیند یادگیری تقویتی نیاز دارد تا تابع ارزش را محاسبه و ذخیر نماید. اما در مواقعی که ابعاد مساله بزرگ باشد، ذخیره تمامی ارزشهای حالت‌های مختلف سیستم عملاً غیرممکن خواهد بود. در اینگونه مواقع به سراغ روشهای تخمین تابع ارزش (Approximate value function) خواهیم رفت. روشهای تقریب مختلفی وجود دارد که برخی از آنها عبارتند از:

• تقریب زننده خطی (Linear Approximator)
• تقریب زننده غیرخطی (Non-linear approximator)
• شبکه عصبی (Neural Network)
• نزدیکترین همسایه (Nearest neighbor)
• و …

در صورتی که در روش یادگیری تقویتی، برای تخمین تابع ارزش از شبکه عصبی استفاده شود، شاخه جدیدی به نام یادگیری تقویتی عمیق (Deep Reinforcement Learning) شکل می‌گیرد که در سالهای اخیر کاربردهای یادگیری تقویتی در طیف وسیعی از حوزه ها آزمایش شده است. یادگیری تقویتی عمیق موضوعی بسیار جذاب جهت انجام پروژه های تحقیقاتی و کاربردی است. عملکرد یادگیری تقویتی عمیق در سال 2015 در انجام بازیهای کامپیوتری نشان داده شد و بعد از آن الگوریتم های متعددی جهت بهتر شدن کارایی آن پیشنهاد شد.