最適化とは、関数の最大値または最小値を求める手法である。標準的な手順は次のとおり。
- 問題文から、最大化/最小化したい関数 を立式する。
- 微分して を求める。
- 臨界点を求める: を解く(さらに が存在しない点も特定する)。
- 各点を分類する:2 階微分判定法( → 極小、 → 極大)、または 1 階微分の符号変化を用いる。
- 閉区間上であれば端点と比較する(最大値・最小値の定理)。
代表的な問題:円に内接する最大の長方形、一定の体積を保つ最も安価な円柱缶、正方形の板から作る体積最大の箱。
多変数の最適化では勾配()とヘッセ行列を用いる。制約付き最適化ではラグランジュの未定乗数法を用いる。この技法は工学設計、経済学、機械学習の学習(トレーニング)の基礎となっている。