Розглянемо систему (2) із цільовим функціоналом (3). Надалі, якщо інше не обговорено спеціально, будемо вважати, що оптимальні керування на кожному кроці позиційні: ,
і
,
.
За таких умов задача оптимального стохастичного керування полягає в пошуку оптимальної послідовності функцій керування , (тобто стратегії керування), що мінімізує сумарні витрати за увесь час функціонування системи.
Формальна постановка задачі оптимального стохастичного керування зі скінченним горизонтом у дискретному випадку має вигляд:
, (4)
. (5)
Розв’язання задачі оптимального стохастичного керування з нескінченним горизонтом полягає в пошуку послідовності керувань , які мінімізують сумарні витрати.
Формальна постановка задачі оптимального стохастичного керування з нескінченним горизонтом у дискретному випадку має вигляд:
, (6)
. (7)
Далі під час розв’язання задач оптимального керування вважатимемо, що границя у (6) існує для всіх і
.
Будемо розглядати задачі (4) – (5) і (6) – (7) у стаціонарному випадку, тобто припускатимемо, що простори станів і керувань і
, обмеження керування
, функція
і витрати
не змінюються при переході від кожного кроку до наступного. Якщо ж це не так, то задача є нестаціонарною. Нестаціонарна задача може бути зведена до стаціонарної за допомогою спеціальних методів, тому далі мова йтиме тільки про стаціонарні задачі.
|
|
Зупинимося детальніше на позначеннях, зроблених вище.
Визначення. Функція називається функцією витрат за
кроків при стратегії
в задачі зі скінченним горизонтом
. Аналогом цієї величини для задачі з нескінченним горизонтом є функція
– функція витрат при стратегії
.
Для фіксованого стану позначимо через
і
оптимальні витрати в цих задачах, тобто
,
.
Якщо останні співвідношення вірні для всіх , то функція
називається оптимальною функцією витрат за
кроків, а
– оптимальною функцією витрат.
Стратегія називається оптимальною при горизонті
в стані
, якщо
,
і оптимальною в стані , якщо
.
Стратегія називається оптимальною при горизонті
, якщо
. Це означає, що стратегія
доставляє оптимальне значення цільовому функціоналу при всіх
.
Аналогічно, стратегія називається оптимальною, якщо
. (8)
Стратегія називається рівномірно оптимальною при горизонті
, якщо стратегія
оптимальна при горизонті
для всіх
. Отже, якщо стратегія рівномірно оптимальна при горизонті
, то вона також оптимальна при горизонті
. Зворотне твердження в загальному випадку невірно.
|
|
Стратегія називається стаціонарною стратегією, якщо
.
Якщо у цьому випадку значення цільового функціонала в задачі оптимального стохастичного керування з нескінченним горизонтом отримано з використанням стаціонарної стратегії
, то результат позначають
. Отже, стаціонарна стратегія
у задачі з нескінченним горизонтом оптимальна, якщо
. Тут
– оптимальне значення цільового функціонала задачі.
Розв’язання будь-якої задачі оптимального стохастичного керування здійснюється за шість етапів:
1. Змістовна постановка задачі.
2. Побудова моделі об'єкта керування, що включає вибір векторів станів і керувань, просторів станів і керувань, вектора і простору випадкових збурень; побудову функції витрат, що визначається метою керування.
3. Формальна постановка задачі.
4. Вибір і обґрунтування методу розв’язання задачі.
Обчислення оптимальної стратегії керування одним з методів.
6. Аналіз отриманих результатів.