優化方法的理論體系 有哪些方面？

1、一維優化方法

2、多維無約束優化方法

3、多維有約束優化方法

4、線性優化方法

5、多目標優化方法

6、離散變量優化方法

7、基於其他理論的優化方法

8、常見的優化算例

9、主要文獻

方法/步驟

1

（一）一維優化方法。主要有以下三類：1）基於盲人探路思想的試探法。以步長加倍策略將極值點確定在距離當前點單步步長之內，再以步長減半策略，使當前點接近於極值點。主要有確定極值點所在區間的進退法（應用推論1）、一維盲人探路法（在進退法基礎上增加一個模塊）、一階導數符號法（應用推論2）等。2）區間削去法。比較區間內兩點的目標函數值或計算一點的導數符號，根據單峯假設將極值點所在區間削短。主要有對稱等比例、對稱變比例區間分割法、平分法、切線交點法、自適應二分法等。3）擬合函數尋點法。主要是二次擬合函數法（拋物線法）、三角擬合函數法、二次擬合函數定點法、一次擬合導函數法等。

2

（二）多維無約束優化方法。主要有：1）負梯度方向法及基於盲人探路思想的折線負梯度方向法。2）多維二階近似式方向法及其近似算法。3）座標系擬均勻變換法，也稱爲座標變換法，包括局部座標系的建立。4）獲得共軛方向的方法，主要有定義法、幾何法、待定係數法、兩次同方向尋優獲得法、連續兩次沿負梯度方向尋優獲得法（四尋法、六尋法、三尋法）等。5）共軛方向輪換法，主要有幾何法、待定係數法、正交向量組法等，包括方向組的概念。6）尋優方向的數值算法實現，基於二次函數假設的數值偏導數、方向導數計算式，構造二階偏導數矩陣法、大步長探測等算法實例。7）擬合函數法，主要有多維二次擬合函數法和線性擬合梯度法。8）不求偏導數的方向組輪換法，主要有座標方向輪換法、自適應座標下降法、經典Powell基本算法和改進算法、構造共軛方向法等。9）無界多面體變形法，也稱爲單形替換法或單純形法，與多維有約束複合形法的尋優思想相同。

3

（三）多維有約束優化方法。主要有：1）可行域內直接求解法，主要包括網格法、有界多面體變形法（複合形法）、隨機方向法等。2）優選可用方向法，尋優到約束邊界之後，尋優最好的方向繼續尋優，是船到橋頭自然直的正確思路。3）半步法，沒有尋優到約束邊界的時候採用無約束優化方法，尋到之後退半步重新選擇新的尋優方向，是未雨抽聊的研究思路。4）化簡法，主要有基於二階近似式構造尋優方向法、基於一階近似式線性化法。5）構造無約束優化問題序列法，採用加權組合的方式將目標函數和約束函數轉化爲無約束優化問題，權按照一定規律變化，從而構造出一系列的無約束優化方法，主要有圍牆法（內點懲罰函數法，須加固圍牆）和土堆法（外點懲罰函數法）。

4

（四）線性優化方法。對於目標函數和約束函數均爲設計變量線性函數的優化問題，其約束邊界和目標函數等值線均爲直線，可行點的集合構成一個凸集，且爲凸多面體。如果存在最優點，則必爲該凸集的某個頂點。尋找最優點就是在該凸多面體上確定最優的頂點。主要方法爲單純形法，在可行域多面體的某一個頂點出發，逐漸滑向更好的頂點，最終獲得最優點。

5

（五）多目標優化方法。主要有以下幾類：1）窮舉類方法。直接求出所有分目標函數的最優點，然後在各個目標之間進行協調，使其相互間作出適當“讓步”，以便獲得整體最優方案，選擇較好的設計點。或者列出所有方案，採用專家評議、領導拍板等方式確定最優方案。2）直接重構單目標函數法。直接由各分目標函數構造一個新的目標函數，從而將多目標的優化問題轉化爲單目標的。如主要目標法、線性加權組合法、取最大分目標函數值法、分目標乘除法、分層序列法等，其中線性加權組合法最具有實用性。3）間接重構單目標函數法。將原分目標函數適當處理後構造一個新的目標函數。如理想點法、功率係數法（幾何平均法）、協調曲線法等。

6

（六）離散變量優化方法。主要有三類：1）按連續變量處理法。取得最優點後，再圓整。離散變量依次確定，原優化問題依次降維。2）隨機法。根據實際情況隨機確定一些設計點，然後從中選取最優點。或者在初始點周圍以隨機方式尋找多個設計點，取其最優者作爲當前點繼續尋優。3）窮舉法。如分支定界法、網格法。

7

（七）基於其他理論的優化方法。實際上，存在很多不能由標準數學模型描述的優化問題，其數學模型的建立與評價均沒有固定的模式，可行域不連續，甚至只是一些零散的可行點，並且各可行點的優劣難以用統一的標準衡量，比如旅行商最佳路徑問題、揹包問題等。在日常生活當中也存在着類似的問題，如股市運作，何時何股入市最優；戰爭發起，何時何地以什麼方式最有利；個人學習計劃，先學習還是先工作，學什麼課程做什麼工作最好。借用其他學科的理論知識，可發展一些優化方法，如遺傳算法、神經網絡算法、基於知識的專家系統算法、蟻羣算法、模擬退火算法、分形與混沌算法等。這些方法均以全域優化問題爲研究對象，基於概率論和隨機理論，使多個盲人按相同規律尋求全域極值點，因此也稱爲智能優化算法。其共同特點是“無序中尋求有序，偶然中探索必然”。

8

（八）常見的優化算例。1）一維單峯函數。用於一維優化方法的檢驗。2）二維二次函數。可繪圖直觀地表示尋優過程，，檢驗算法最直接有效。因爲優化方法都是在單峯假設下提出來的，即假設目標函數爲二次函數，檢驗結果可信。3）多維二次函數。構造共軛方向的優化方法對於二維優化問題效果明顯，但是需要在多維設計空間當中檢驗。4）複雜函數。最典型的是Rosenbrock函數，由於存在一個彎彎的峽谷，成爲許多優化方法的滑鐵盧。5）目標函數沒有數學表達式的優化問題。如目標函數的求取需要藉助於其他計算算法。6）抽象優化問題。設計變量沒有優選值問題、目標函數和約束函數難以用數學表達式表示。比如揹包問題、旅行商問題、交通信號燈規劃問題等。對於這些問題，窮舉法是最可靠的算法。

9

（九）主要文獻。上述綜述主要是基於一下創新性文獻而完成的：[1] 例證多維二階近似式法的適用性[J]. 德州學院學報, 2017,33(6):12-14.[2] 多維二次擬合函數優化方法[J]. 甘肅科學學報, 2017, 29(5):26-28.[3] 基於目標函數梯度向量的相鄰方向共軛法[J].甘肅科學學報,2017,29(05):15-21.[4] 目標函數優化的切線交點法[J]. 機械設計與研究(核心), 2017, 33(2):17-19,24.[5] The program verification of the three-seeking and six-seeking method based on the conjugate direction[A]. . 2017 5th International Conference on Machinery, Materials and Computing Technology(ICMMCT2017), March 25-26, 2017 Beijing, China. Advances in Engineering, volume 126, pp109-114.[6] 基於盲人探路尋優思想的二階近似式定點法研究[J]. 中國石油大學學報（自然科學版）, 2017, 41(1): 144-149.[7] 盲人探路負梯度方向法[J]. 甘肅科學學報, 2016, 28(5):116-122.[8] Blind-walking optimization method[J]. Journal of Networks, 2010, 5(12):1458-1466.[9] 優化方法[M]. 東南大學出版社, 2009.10[10] 隨機方向法改進及其驗證[J]. 計算機仿真, 2009, 26(1):189-192.[11] 具有畸形約束極值點問題的優化[J]. 中國科技論文在線學報, 2008, 3(8):562-565.[12] 形象化教學方法在“機械優化設計”課程中的應用[J]. 中國石油大學學報(社科版), 2008, 25(S): 90-92[13] 加固圍牆的內點懲罰函數法防越界驗證[J]. 機械設計, 2007, 24(S):111-112.[14]連續負梯度方向獲得共軛方向的六尋優化方法[J]. 計算機科學與探索, 2019, 13(0).