최적화(미적분)

최적화는 함수의 최댓값 또는 최솟값을 찾는 작업이다. 표준 절차는 다음과 같다:

1. 문제 설명으로부터 최대화/최소화할 함수 $f(x)$ 를 세운다.
2. 미분하여 $f'(x)$ 를 구한다.
3. 임계점을 찾는다: $f'(x) = 0$ 을 푼다(그리고 $f'$ 이 존재하지 않는 곳도 식별한다).
4. 각각을 분류한다: 이계도함수 판정법($f''(c) > 0$ → 극소; $< 0$ → 극대), 또는 일계도함수의 부호 변화.
5. 닫힌구간 위에 있다면 끝점과 비교한다(최대·최소 정리).

대표적인 문제: 원에 내접하는 가장 큰 직사각형, 고정된 부피를 담는 가장 저렴한 원기둥 캔, 정사각형 판으로 만드는 부피가 최대인 상자.

다변수 최적화는 기울기 벡터($\nabla f = \vec{0}$)와 헤세 행렬을 사용한다. 제약이 있는 최적화는 라그랑주 승수법을 사용한다. 이 기법은 공학 설계, 경제학, 기계 학습 학습(훈련)의 기초가 된다.