<div dir="rtl">

# بهینه‌سازی غیرخطی

</div>

## Nonlinear Optimization

<div dir="rtl">

| <div style="width:80px">مقطع:</div> | <div style="width:80px">کارشناسی</div> | <div style="width:80px">نوع درس:</div> |<div style="width:80px">نظری</div> |
|:-|-|:-|-|
| تعداد واحد: | ۳ | تعداد ساعت: | ۴۸
| پیش‌نیاز: | تحقیق در عملیات | هم‌نیاز: |- |
| حل تمرین: | دارد | آموزش تکمیلی: |- |

**اهداف کلی :**

هدف این درس معرفی مبانی نظري و روشهاي حل مسایل بهینه سازي غیر خطی شامل شرایط لازم و کافی در بهینه سازي مقید و نامقید، معرفی و تحلیل الگوریتم هاي حل این نوع مسایل است.

**اهداف ویژه:**
آشنایی دانشجویان با الگوریتم‌های بهینه‌سازی مورد استفاده در یادگیری ماشین

**سر فصل یا رئوس مطالب:**
اعداد مختلط: معرفی اعداد مختلط- فرم قطبی و فرمول دموآور - اعمالمدل سازي شامل: برازش داده ها(کمترین مربعات خطی و غیر خطی)، مدل هاي سبد سرمایه (مدل میانگین-واریانس و مینیمم واریانس مارکوویتز)، کنترل بهینه، مساله ماکسیمم درست نمایی، مساله اشتاینر، ........؛ شکل کلی مسایل بهینه سازي، آنالیز محدب مقدماتی (مجموعه و توابع محدب و برخی قضایاي مربوطه)، شرایط لازم و کافی براي مسایل نامقید و مقید، شرایط اسلیتر، لم فارکاس محدب، شرایط کاروش-کیون-تاکر، دوگانی در بهینه سازي محدب (دوگان لاگرانژ، دوگان ولف و قضایاي مربوطه)؛ الگوریتم هاي حل مسایل نا مقید شامل: روشهاي بر مبناي جستجوي خطی( جستجوي طلایی، فیبوناچی، عقب گرد)، روشهاي گرادیان و نیوتن و بررسی نقاط ضعف و قوت آنها. روش هاي گرادیان مزدوج و شبه نیوتن. پیاده سازي الگوریتم ها و مقایسه عملکرد آنها؛ الگوریتم‌هاي حل مسایل مقید شامل: روش گرادیان کاهش یافته و بسط یافته آن؛ مسابل بهینه سازي درجه دوم محدب با قیود خطی و معرفی برخی روش هاي حل آن از قبیل روش سیمپلکس توسعه یافته؛ کاربردهایی از بهینه سازي محدب مانند طبقه بندي خطی، ‌مشتقات ماتریسی.

**فهرست منابع:**
</div>

<div dir="ltr">
M. Bazaraa, H.D. Sherali, C.M. Shetty, Nonlinear Programming: Theory and Algorithms, 3rd edition, John Wiley & Sons, 2006.

Stephen Boyd and Lieven Vandenberghe. Convex optimization. Cambridge university press, 2004.

E.K.P. Chong, S.H. Zak, An Introduction to Optimization, 4th edition, Wiley, 2013

I. Griva, S.G. Nash, A. Sofer, Linear and Nonlinear Optimization, 2nd edition, SIAM, 2009.

Jorge Nocedal and Stephen Wright. Numerical optimization. Springer Series in Operations Research and Financial Engineering, 2nd edition, 2006.

Convex Optimization taught by Ryan Tibshirani at CMU from 2013 to 2019.
S.S. RAO: Optimization: Theory and Applications, August 9, 1978, John Wiley and Sons

</div>