دانشگاه رازی

طراحی تابع پاداش یکی از تصمیمات بنیادین در پیاده‌سازی سیستم‌هاییادگیری تقویتی عمیق است که تاثیر مستقیمی بر سرعت همگرایی، کیفیت سیاست نهایی و پایداری فرآیند یادگیری دارد. در این پژوهش، تاثیر سه استراتژی طراحی تابع پاداش شامل پاداش پراکنده، پاداش زاویه‌محور و پاداش چندهدفه بر عملکرد دو الگوریتم یادگیری تقویتی عمیق DQN و Double DQN در محیط کنترل کلاسیک CartPole-v1 به‌صورت تجربی مقایسه شده است. این محیط با دینامیک غیرخطی پاندول معکوس، به‌عنوان الگویی از سیستم‌های کنترل تعادل در رباتیک توان‌بخشی، مورد استفاده قرار گرفته است. آزمایش‌ها در قالب طرح ?×? (دو الگوریتم × سه تابع پاداش) و با ?? اجرای مستقل به ازای هر ترکیب، در مجموع ??? اجرای آموزشی انجام شد. ارزیابی بر اساس چهار معیار سرعت همگرایی، امتیاز ارزیابی مستقل، میانگین مقادیر Q و نرخ همگرایی صورت گرفت. نتایج نشان داد که نوع تابع پاداش تاثیری قوی‌تر از معماری الگوریتم بر سرعت همگرایی دارد؛ به‌گونه‌ای که این ترتیب در هر دو الگوریتم یکسان و به‌صورتی است که پاداش زاویه‌محور سریع‌ترین، پاداش چندهدفه متوسط و پاداش پراکنده کندترین همگرایی را در هر دو الگوریتم داشت. ترکیب DDQN با پاداش چندهدفه به‌عنوان بهینه‌ترین پیکربندی شناسایی شد وبا میانگین امتیاز ارزیابی 463.32، پایین‌ترین انحراف معیار درون‌اجرایی (7.08) و بین‌اجرایی (89.10) در میان تمام ترکیب‌ها، پایدارترین و قابل‌اتکاترین سیاست را ارائه داد. همچنین تایید شد که مکانیزم جداسازی انتخاب و ارزیابی عمل در DDQN، بیش‌برآوردی مقادیر Q را کاهش می‌دهد و این تاثیر در حضور پاداش‌های باینری با دامنه‌ی وسیع بارزتر است. یافته‌های این پژوهش می‌تواند راهنمای عملی برای طراحان سیستم‌های کنترل هوشمند در کاربردهای رباتیک پزشکی فراهم آورد.