یک خانواده مهم از این اصلاحات روش های گرادیان با تآخیرمی باشد. روش های گرادیان با تاخیر (GMR) یک روش تکراری غیر یکنوا است که برای حل معادلات خزی بزرگ متقارن و همچنین معین مثبت توسعه یافته است. این روش تعمیمی از روش های تندترین شیب و برزیلیا-بوروین است.در این پایان نامه همگرایی R-خطی این روش اثبات می شود و همچنین برخی از روش های گرادیان دوری مورد مطالعه قرار می گیرد.بررسی طول گام یوان و خواص طیفی روش های گرادیان از دیگراهداف این پایان نامه می باشد.

خانواده روش‌های گرادیان از مهم‌ترین روش‌ها برای حل مسائل بهینه‌سازی نامقید محسوب ‌می‌شوند. روش‌‌های گرادیان طیفی تعمیمی‌ از روش‌های گرادیان هستند که با هدف غلبه بر برخی از مشکلات روش‌های گرادیان و تولید روش‌های کارا‌تر ارائه شده‌اند. هدف نخست این پایان‌نامه معرفی و مطالعه یک خانواده جدید از روش‌های گرادیان طیفی است. این خانواده یک طول گام مبتنی بر یک ترکیب محدب از طول گام‌های بلند و کوتاه برزیلا و بروین را مورد استفاده قرار می‌دهد. همچنین نشان داده می‌شود که هر عضو از این خانواده دارای برخی خواص مناسب شبه‎‏‌نیوتونی است. در ادامه این رساله خواص همگرایی الگوریتم جدید مورد بررسی قرار می‌گیرد و نشان داده می‌شود که این خانواده برای توابع مجذور‏‎‏ی‎‎ ‎$ -2 $‎بعدی‏‏، دارای همگرایی ‎$ -‎R‎ $‎زبر‌خطی و برای توابع عمومی مجذوری از بعد ‎$ n $‏،‎‏‎‎‎‏ دارای همگرایی ‎$ -‎R $‎خطی است. در قسمت دوم این رساله برخی از روش‌های گرادیان دوری مورد مطالعه قرار می‌گیرد و یک روش گرادیان دوری جدید ارائه می‌شود و خواص همگرایی آن مورد بررسی قرار می‌گیرد.  

  چکیدهخانواده روش‌های گرادیان یک خانواده بسیار مهم از روش‌های ارائه شده برای حل مسائل بهینه‌سازی نامقید می‌باشد که دارای خواص همگرایی بسیار مناسب است. هدف این پایان‌نامه تعمیم مناسب از روش‌های‌ گرادیان و ارائه‌ی الگوریتم‌های جدید و موثر است.بر این پایه، ما در این رساله دو تعمیم از روش گرادیان ارائه خواهیم کرد. در اولین پیشنهاد، یک طول‌گام اصلاحی مناسب برای روش‌های گرادیان معرفی می‌گردد و در ادامه با ترکیب روش‌های گرادیان با روش پیکارد- مان یک روش گرادیان ترکیبی معرفی و مورد بررسی قرار می‌گیرد. با استفاده از این دو تعمیم می‌توان چندین روش گرادیان کاهشی شتاب یافته را ارائه داد. کلمات کلیدی:  بهینه‌سازی نامقید، جهت کاهشی، روش‌گرادیان، روش‌های جستجوی خطی، طول‌گام چندگامی، همگرایی سراسری.

   دستگاه معادلات غیرخطی یکی از مسائل مهم و پرکاربرد در ریاضیات است. روش‌های متفاوتی برای حل این مسائل تاکنون ارائه شده است. از میان روش‌های تکراری برای حل این مسائل، می‌توان به روش نیوتون، روش‌های شبه نیوتن و نسخه‌های تغییر یافته آن‌ها اشاره کرد.یکی از نقاط ضعف مهم این روش‌ها بخصوص برای مسائل با ابعاد بزرگ، نیاز به محاسبه ماتریس ژاکوبی در هر تکرار و حل دستگاه معادلات خطی متناطر است. تلاش برای ارائه روش‌های بدون ژاکوبی برای حل دستگاه‌های معادلات غیرخطی در سال‌های اخیر همواره مورد توجه محققان بوده است. در حالات خاص که دستگاه معادلات دارای خواص ویژه می‌باشد، الگوریتم‌های بسیار موثری معرفی شده‌اند. یکی از این رده‌های خاص، دستگاه معادلات غیرخطی یکنوا می‌باشد که روش‌های حل متفاوتی برای آن ارائه شده است. یکی از مهمترین رده های موجود برای حل این مسائل، الگوریتم‌های   مبتنی بر تصویر است که بواسطه نیاز به حافظه کم، در حل دستگاه معادلات غیرخطی مقیاس بزرگ یکنوا کاربردهای زیادی دارند.   هدف این پایان‌نامه، ارائه دو خانواده جدید از الگوریتم‌های بدون مشتق مبتنی بر تصویر است که از جهاتی شبیه جهات گرادیان مزدوج سه‌جمله‌ا‌ی استفاده می کنند جاییکه ثابت می شود جهات تعریف شده در شرایط کاهش کافی صدق می کنند. نتایج عددی به دست آمده نشان می‌دهد که این روش‌ها برای حل این نوع از مسائل موثر و کارا هستند.

روش های شبه نیوتن قطری 

خانواده الگوریتم‌های گرادیان مزدوج یکی از کاراترین الگوریتم‌های موجود برای حل مسائل بهینه‌سازی نامقید است. این رده از روش‌ها به‌دلیل عدم استفاده از ماتریس هسی و عدم نیاز به ذخیره‌سازی آن، برای حل مسائل بهینه‌سازی نامقید با مقیاس بزرگ بسیار موثر هستند. با توجه به خواص مطلوب این خانواده، مطالعات زیادی روی توسعه این دسته از روش‌ها انجام شده و تاکنون رده‌های متفاوتی از الگوریتم‌های گرادیان مزدوج ارائه شده است. در این پایان‌نامه دو روش گرادیان مزدوج طیفی جدید معرفی و مورد بررسی قرار می‌گیرد. بررسی خواص همگرایی الگوریتم‌های جدید و پیاده‌سازی الگوریتم‌ها از دیگر اهداف این پایان‌نامه است.   

  ی شبه‌نیوتون، یک خانواده بسیار مهم از روش‌ها برای حل بهینه‌سازی نامقید هستند. این روش‌ها بر اساس یک اصلاح روش نیوتون به‌وسیله تقریب ماتریس‌ هسی، توسط یک ماتریس B_{k} در تکرار kامبنا می‌شوند. با وجود مزایای بسیار، این دسته از روش‌ها مشکلاتی را نیز همراه خود دارند. اول اینکه این روش‌ها تنها از اطلاعات مشتق مرتبه اول استفاده می‌نمایند و از مقادیر خود تابع استفاده نمی‌کنند. دوم اینکه در بسیاری از موارد تضمینی برای معین مثبت بودن ماتریس هسی وجود ندارد. هدف ارائه روش‌های شبه‌نیوتن اصلاح شده، غلبه بر مشکلات فوق می‌باشد.در این پایان‌نامه دو خانواده جدید از روش‌های شبه‌نیوتن اصلاح شده مطرح و مورد بررسی قرار می‌گیرد.در بخش اول باایده ارائه یک الگوریتم با خواص همگرایی مناسب برای توابع غیرمحدب و معرفی یک جستجوی خطی از نوع ضعیف ولف، یک الکوریتم  BFGS اصلاح شده معرفی و مورد تحلیل قرار می‌گیرد. در قسمت دوم با تغییر شرایط درونیابی برای تقریب مدل درجه دوم تابع، یک معادله شبه‌تیوتن اصلاح شده جدید معرفی و براساس آن یک الگوریتم از نوع BFGS اصلاح شده ارائه می‌گردد.

روش های گرادیان مزدوج یک خانواده مهم برای حل مسائل بهینه سازی نامقید هستند. در این روش ها به دلیل عدم نیاز به استفاده از ماتریس هسی یا تقریب آن، استفاده کم از حافظه ماشین و خواص همگرایی موضعی و سراسری مناسب، به روش هایی بسیار مطلوب برای حل مسائل بهینه سازی نامقید در مقیاس بزرگ تبدیل شده اند. به دلیل این­که این الگوریتم ها به طور معمول فقط از اطلاعات مشتق مرتبه اول تابع هدف استفاده می کنند، بنابران ممکن است همگرایی آنها کند باشد.در این پایان نامه ترکیبی از گرادیان مزدوج مقیاس یافته و روش مجانب متحرک برای حل مسائل بهینه سازی نامقید غیر خطی در مقیاس بزرگ ارائه شده است.در این روش­ها جهت کاهشی مورد استفاده در هر تکرار به وسیله حل زیر مسایل جدایی­پذیر محدب تولید شده توسط جهات­مجانبی تولید می­گردد. همچنین در این پایان نامه با استفاده از روش­های ناحیه اطمینان پارامتر­های مجانبی جدید و موثری تعریف می­گردند. بررسی خواص همگرایی و عددی روش­ها هدف بعدی این پایان نامه است.

  درسالهایاخ?ر،مطالعهیروشهایعددیبرایتقر?بجوابمعاد?تد?فرانس?لرندمکهحل تحل?لبرایآنهاوجودنداردبس?ارموردتوجهپژوهشرانقرارگرفتهاست. درا?نپا?اننامهابتداروشهایعددیچندگامخطتصادفمعرفمشوند،سپسبادرنظرگرفتن فرض?ات?زمبررویمعادلهموردنظرمرتبهخطایموضعا?نروشهامحاسبهخواهدشد.همرا? -پا?داریروشهایچندگامخطارائهشدهاثباتمشوندومرتبههمرا?برایا?نB مس?ریو روشهابهدستآوردهمشوند. ازطرفمدان?مکهبرایتقر?بجوابدستهید?ریازمعاد?تکهبهمعاد?تسختمشهورند با?ستازروشهایعددیضمناستفادهکرد. بد?نمنظوردوروشعددیضمنبرایحلا?ن دستهازمعاد?تارائهمشوند.?ازا?نروشهاروشاو?لرم?ان?نضمنود?ریروشنقطه -پا?داریروشهایفوقن?زآوردهمشود.درانتهاB م?انم?ان?نضمناست.اثباتهمرا?و روشهایعددیب?انشدهبررویچندمدلپزشپ?ادهسازیمشوند

  مسائل مقادیر ویژه در حوزه های علوم و مهندسی دارای کاربردهای فراوانی می باشد، کوچکترین و بزرگترین مقدار ویژه نسبت به سایر مقادیر ویژه معمولا از اهمیت بیشتری برخوردارند. محققان روش های عددی فراوانی برای حل این مسائل ارائه نموده اند. در این پایان نامه مسئله بدست آوردن بزرگترین )کوچکترین( مقدار ویژه ماتریس متقارن حقیقی، به یک مسئله بهینه سازی نامقید تبدیل می گردد. در ادامه بوسیله استفاده از روشهای شبه گرادیان   Barzilai ? Borweinبرای حل مسئله مورد نظر یک الگوریتم مناسب برای یافتن مقادیر ویژه اکسترمم یک ماتریس را مهیا می نمایید. بررسی خواص همگرایی و عددی الگوریتم های ارائه شده موضوعهای بعدی پایان نامه است. نتایج عددی نشان می دهد که این روش برای مسائل آزمون موثر و کارا می باشد.

  دستگاه معادلات غیرخطی یکی از مسائل مهم و‎‎‎ پرکاربرد در ریاضیات کاربردی است. روش‌های متفاوتی برای حل این مسئله تا کنون ارائه شده است. از میان روش‌های تکراری برای حل این مسائل‏، می‌توان به روش نیوتن‏، روش‌های شبه نیوتن و نسخه‌های تغییر یافته آنها اشاره کرد. نقطه ضعف مهم این روش‌ها برای مقادیر بزرگ ‎‎‎n‎‎‎‏، نیاز به محاسبه ماتریس ژاکوبی در هر تکرار و حل دستگاه معادلات خطی متناظر می‌باشد.در حالات خاص که دستگاه معادلات دارای خواص ویژه باشد‏، الگوریتم‌های خاصی مورد استفاده قرار می‌گیرند. یکی از این رده‌های خاص دستگاه معادلات غیرخطی یکنوا می‌باشد. رده روش‌های مبتنی بر تصویر یکی از مهمترین رده از روش‌های موجود برای حل مسئله فوق می‌باشد.هدف این پایان‌نامه‏، ارائه دو خانواده جدید از این روش‌ها می‌باشد که بواسطه نیاز به ذخیره‌سازی کمتر‏، در حل دستگاه‌ معادلات غیرخطی مقیاس بزرگ یکنوا کاربرد دارند و در شرایط کاهش کافی صدق می‌کنند. نتایج عددی به‌دست آمده نشان می‌دهد که این روش‌ها برای حل مسائل آزمون موثر و کارا می‌باشند.

خانواده روش‌های گرادیان یک خانواده مهم از روش‌های موجود برای حل مسائل بهینه‌سازی نامقید هستند. روش گرادیان برزیلا-بوروین ‎(BB)‎ یکی از مهم‌ترین روش‌های گرادیان است که دارای محاسبات کم و سرعت همگرایی مناسبی است. این روش برای توابع مجذوری اکیداً محدب ‎2-‎بعدی دارای مرتبه همگرایی ‎R-‎زبرخطی است.در این پایان‌نامه یک آنالیز همگرایی جدید برای روش گرادیان ‎BB‎ ارائه می‌گردد که گویای این است که روش فوق دارای مرتبه همگرایی ‎R-‎زبرخطی با مرتبه ‎sqrt{2}‎ است. در قسمت دوم این رساله، با ترکیب روش‌های گرادیان مزدوج و روش ‎BB‎ یک الگوریتم گرادیان مزدوج استفاده کننده از طول گام ‎BB‎ ارائه می‌گردد که خواص مناسب هر دو روش را حفظ می‌کند. بررسی خواص همگرایی روش فوق مبحث بعدی این رساله است.