МАТТЕХ 208, CONFERENCE PROCEEDING, v., pp. 5-59 SECTION MATHEMATICS AND PHYSICS ITERATIVE METHODS FOR FINDING THE STABILIZING SOLUTION IN LQ THREE-PLAYER GAMES FOR POSITIVE SYSTEMS NELI L. NEDELCHEVA-BAEVA ABSTRACT: We consider linear quadratic differential games for positive linear systems with an open loop information structure. We improved the existing methods for finding the Nash equilibrium, such as the Newton method and the Sylvester methods to obtain the stabilizing solution of Riccati equation to a three-player game. The sufficient conditions for convergence are derived. The proposed algorithms are illustrated on some numerical examples. KEYWORDS: nonsymmetric algebraic Riccati equations, iteration methods, open loop Nash equilibrium, positive systems, generalized Riccati equation, stabilizing nonnegative solution ИТЕРАЦИОННИ МЕТОДИ ЗА ТЪРСЕНЕ НА СТАБИЛИЗИРАЩО РЕШЕНИЕ В ЛИНЕЙНОКВАДРАТИЧНИ ИГРИ С ТРИМА ИГРАЧИ ЗА ПОЛОЖИТЕЛНИ СИСТЕМИ НЕЛИ Л. НЕДЕЛЧЕВА-БАЕВА АБСТРАКТ: Разглеждаме линейноквадратични игри за положителни системи с отворена информационна структура. Ние подобряваме съществуващите методи за търсене на равновесие на Наш, като методите на Нютон и на Силвестър за намиране на стабилизиращо решение на уравнението на Рикати за игра с трима играчи. Доказани са достатъчни условия за сходимост на методите. Предложените алгоритми са илюстририрани с някои изчислителни примери. Въведение Разглеждаме линейноквадратична игра с отворена информационна структура за положителни системи като стратегиите на играчите се представят чрез стабилизиращо решение на свързано несиметрично уравнение на Рикати. Концепцията за равновесие на Наш в игрите, отчитащи различни информационни структури е въведена от W. van den Broek в [4, 5]. Приложенията на положителните системи се срещат естествено в екологичните и икономическите системи, много биологични модели и др. Системи от вида () Ax B u j j,,2, N x j j, 0 x0 x, се наричат положителни, ако за всички неотрицателни начални състояния x 0 и неотрицателни функции на управление u, то векторът на състоянието x (t) е неотрицателен във всеки един момент. За управление на положителни системи от горния вид е необходимо да се реши матричното рикатиево уравнение от вида: j - 5 -
Неделчева-Баева Н. (2) T A 0 0 X X Q X X T 0 A 0 X 2 X 2 A Q2 X 2 S S2 S X 2 0, T 0 0 A X X Q X X където ( A) е n х n Z-матрица, S j = B j R jj B T j (S j = S T j ) е неположителна матрица за j =,2,, Q j симетрична квадратна неотрицателна матрица с размерност n, R jj симетрична квадратна отрицателно определена матрица от съответна размерност, B j неотрицателна матрица с размерност n x m j, за j =,2,, а X, X 2 и X са неизвестни матрици. Ние ще използваме матрици от различни редове. Ще използваме следните твърдения: Теорема. (Теорема в []) За -матрицата са еквивалентни следните твърдения: (i) A е M -матрица. (ii). (iii). (iv) Всички собствени стойности на матрицата A имат положителни реални части, т.е. матрицата е устойчива матрица. Лема. Нека A R n n е неособена M-матрица, β е отрицателно реално число ( β > 0) и C = βi n A, тогава C е неособена M-матрица. (виж Лема 2.4 []). Дефиниция. Тройката (u, u 2, u ) се нарича равновесна Наш стратегия за положителната система (), ако J (u, u 2, u ) J (u, u 2, u ), J 2 (u, u 2, u ) J 2 (u, u 2, u ) и J (u, u 2, u ) J (u, u 2, u ) за всички неотрицателни начални състояния x 0 и всички допустими стратегии u j, j =,2,. A 0 Av 0 за всеки вектор A v 0 2 Метод на Нютон с параметри за трима играчи Z Използваме итерационна формула (8) от [2], записана по следния начин: K (i+) (A SK (i) ) (D K (i) S)K (i+) = Q + K (i) SK (i), i = 0,,2, A T 0 0 Q X където D = ( 0 A T 0 ), Q = ( Q 2 ), S = (S S 2 S ), K = ( X 2 ) и на база новите 0 0 A T Q X идеи от [] извеждаме подобрена итерационна формула () K (i+) (βi n + A SK (i) ) + (αi n + D K (i) S)K (i+) = Q K (i) SK (i) + (α + β)k (i), i = 0,,2., където α и β са отрицателни реални числа. Въвеждаме разходен функционал (4) J i (u, u 2, u ) = (x T T Q i x + j= u j R ij u j ) dt, за i =, 0 който се минимизира, а входната функция u i е стратегията на i-тия играч. Матриците X, X 2 и X дефинират равновесна Наш стратегия (u, u 2, u ) по следния начин u i = R ii B T i X i x за i =,2, като x е решение на системата (). Въвеждаме матрична функция P(X) = DX XA Q + XSX. Доказваме, че методът е сходящ със следната теорема: Теорема 2. Нека в положителната система () матрицата A e M-матрица. За матриците Q и S във функционалите на разходите (4) се предполага, че Q 0 и S 0. K Предполагаме още, че съществува такова X = ( K 2 ) 0, че P(X ) > 0, а редицата на K A - 52 -
Методи за търсене на стабилизиращо решение Нютон (K (i) ) i N, K (0) = 0, е монотонно намаляваща и клони към решението K 0. Решението K е най-малкото решение от множеството на всички неотрицателни решения. Доказателство: P(X ) > 0 DX X A Q + X SX > 0 X SX > X A + DX + Q. Началната матрица е K (0) = 0, като първият елемент K () се пресмята от уравнението на Силвестър K (i+) (βi n + A) (αi n + D)K (i+) = Q, което може да се запише като линейна система уравнения във вида [( βi n A) T I n + I n ( αi n D)]vecK () = vecq, където vec: R ixj R ijx. Означаваме L (0) = ( βi n A) T I n + I n ( αi n D) и записваме уравнението L (0) veck () = vecq. Тъй като A e M-матрица (( A) 0), то от Лема следва, че βi n A е Mматрица. Матрицата ( D) 0, съгласно Теорема. следва, че D е M-матрица. Тъй като α < 0, съгласно Лема следва, че αi n D е M-матрица. Следователно L (0) също е M-матрица, което е еквивалентно на (L 0, и правим извода, че K () 0. Нека L (i) : = [( βi n A + SK (i) ) T I n + I n ( αi n D + K (i) S)], i = 0,,2., където и са отрицателни реални числа. При така направените предположения с метода на математическата индукция ще докажем, че са изпълнени следните свойства:. K (i) K (i+), 2. K (i) X и. L (i) e Mматрица. Ще докажем тези свойства при i 0 : Свойство. K (0) = 0 и доказахме, че K () 0, следователно 0 = K (0) K (). Свойство 2. K (0) = 0, а по допускане X 0, следователно 0 = K (0) X. Свойство. По-горе доказахме, че L (0) е M-матрица. Допускаме, че свойствата са изпълнени за i > 0.Ще докажем, че са изпълнени за i +. За да докажем свойство 2. за i + ще използваме () и P(X ) > 0. Разглеждаме матрицата (X K (i+) )(βi n + A SK (i) ) + (αi n + D K (i) S)(X K (i+) ) < X SX + (α + β)(x K (i) ) X SK (i) K (i) SX + K (i) SK (i) = (X K (i) )S(X K (i) ) + (α + β)(x K (i) ) 0, по допускане X K (i) 0, а S 0 и α + β < 0. Тъй като L (i) e M-матрица заключаваме, че X K (i+) 0, следователно K (i+) X. Ще докажем свойство. за i + като използваме (), P(X ) > 0 и следното равенство: K (i+) (βi n + A SK (i+) ) (αi n + D K (i+) S)K (i+) (5) = (K (i+) K (i) )S(K (i+) K (i) ) + Q (α + β)k (i) + K (i+) SK (i+) Разглеждаме матрицата (X K (i+) )(βi n + A SK (i+) ) + (αi n + D K (i+) S)(X K (i+) ), използваме (5) и получаваме = βx + X A X SK (i+) + αx + DX K (i+) SX +(K (i+) K (i) )S(K (i+) K (i) ) + Q (α + β)k (i) + K (i+) SK (i+) < X SX + (α + β)x X SK (i+) K (i+) SX +(K (i+) K (i) )S(K (i+) K (i) ) (α + β)k (i) + K (i+) SK (i+) = (K (i+) K (i) )S(K (i+) K (i) ) + (X K (i+) )S(X K (i+) ) + (α + β)(x K (i) ) 0, - 5 -
Неделчева-Баева Н. тъй като X K (i+) 0 от свойство 2. и по допускане α + β < 0 и K (i) K (i+). Правим извода, че L (i+) vec(k (i+) X ) < 0 и L (i+) е Z-матрица, а следователно и M-матрица. Сега ще докажем свойство. за i +. Разглеждаме матрицата (K (i+2) K (i+) )(βi n + A SK (i+) ) + (αi n + D K (i+) S)(K (i+2) K (i+) ), използваме (5) и получаваме = (K (i+) K (i) )S(K (i+) K (i) ) + (α + β)(k (i+) K (i) ) 0, тъй като по допускане K (i+) K (i) 0, а S 0 и α + β < 0. Следователно K (i+2) K (i+) 0, т.е. K (i+2) K (i+). Редицата на Нютон е монотонно растяща и ограничена отгоре от X, следователно има граница и я означаваме с K, т.е. lim i K (i) = K 0. Метод на Силвестър II с параметри за трима играчи Използваме следната итерационна формула: N (A T (i) (i+) (i+) X k Sk ) X k Xk (A (i) (i) j= ) = Q k + X k Sk X k, за k =,2, и извеждаме подобрени итерационни формули (6) (αi + A T (i) (i+) (i+) X k Sk ) X k Xk (βi + A N (i) (i) (i) (i) j= Sj X j ) = Q k + X k Sk X k (α + β)xk, k =,2,. За изучаване на свойствата на метода (6) въвеждаме следните матрични функции: P (7) k (X, X 2, X ) (αi + A T X k S k ) X k X k (βi + A j= S j X j ) Q k X k S k X k + (α + β)x k, k =,2,. Чрез алгебрични преобразувания се показва, че за матричните функции P k (X, X 2, X ), k =,2, е вярно следното представяне P k (Y, Y 2, Y, X, X 2, X ) = (αi + A T Y k S k ) X k (Y k X k ) S k X k Q k (8) X k S k Y k X k (βi + A j= S j Y j ) j k X k S j (Y j X j ) + (α + β)x k, k =,2,, като Y, Y 2, Y са симетрични матрици от съответната размерност. Сходимостта на метода доказваме със следната теорема: Теорема. Предполагаме съществуването на две матрици X = diag(x, X 2, X ) и - 54 - Sj X j (i) X (0) = diag(x (0), X 2 (0), X, за които 0 X (0) X, P k (X (0), X 2 (0), X 0 и P k (X, X 2, X ) 0, k =,2,. Началната матрица X (0) избираме, така че ( (αi + A T X k (0) S k )) за k =,2, и ( (βi + A T j= X (0) j S j )) са M-матрици, където α и β са отрицателни реални числа, а I е единична матрица от ред n. Тогава матричните редици { X (i), X (i) 2, X (i) } i=0, дефинирани чрез (6), притежават следните свойства: (i) X (i+) X (i), i=0,,2, ; (ii) X (i+) X за i=0,,2, ; (iii)( (αi + A T X k (i+) Sk )), ( (βi + A T j= X (i+) j S j )), k =,2,, са M-матрици за i=0,,2, ; (iv) Матричните редици { X (i), X (i) 2, X (i) } i=0 са сходящи към неотрицателно решение X = (X, X 2, X ) на уравнението (2), за което X X. Доказателство. От P (X (0), X (0) 2, X (0) ) = (αi + A T X (0) (0) S )X
Методи за търсене на стабилизиращо решение X (0) (βi + A S X (0) S2 X 2 (0) S X Q X (0) S X (0) + (α + β)x (0) 0 следва, че P (X (0), X2 (0), X = F (0) 0. Началната матрица X (0) = diag (X (0), X 2 (0), X избираме, така че ( (αi + A T X (0) j S j )) за j =,2, и ( (βi + A T X (0) j= j S j )) са M- матрици. Ще докажем, че X () X (0) е неотрицателна матрица. Образуваме разликата между итерационна формула (6) при k=, i=0 и P (X (0), X 2 (0), X. 0 P (X (0), X2 (0), X = (αi + A T X (0) S )X () X () (0) (βi + A j= S j X j ) Q X (0) S X (0) (0) + (α + β)x [ (αi + A T (0) (0) (0) X S )X X (βi + A (0) (0) (0) j= Sj X j ) Q X S X + (α + (0) β)x ] т.е. (0) F = (αi + A T (0) () (0) () (0) X S ) (X X (X X )(βi + A (0) j= Sj X j ). Получихме линейно матрично уравнение на Силвестър спрямо неизвестната матрица (X () X (0) ), на което лявата страна е неотрицателна. Решението намираме като решим линейната система уравнения: [( (βi + A T (0) j= X j Sj )) I n + I n ( (αi + A T (0) () (0) (0) X S ))] vec (X X ) = vec F. Означаваме (9) L (i) k = [(βi + A T X (i) j= j S j ) I n + I n (αi + A T X (i) k S k )], k=,2,. Следователно уравнението добива вида L (0) vec(x () X = vec F (0). Матрицата X (0) = diag (X (0), X 2 (0), X е неотрицателна матрица, а ( (αi + A T X (0) S )) и ( (βi + A T j= X (0) j S j )) са M-матрици. Тогава получаваме, че матрицата L (0) е M-матрица, следователно (L 0 и тъй като vec F (0) 0, то vec (X () X = (L vec F (0) 0, което означава X () X (0) 0, или X () X (0). Аналогично могат да се докажат неравенствата X 2 () X 2 (0) и X () X (0). Следователно X () X (0). С това доказахме свойство (i) при i=0. Ще докажем свойство (ii) при i=0. Знаем, че матриците ( (αi + A T X (0) S )) и ( (βi + A T j= X (0) j S j )) са M-матрици. Образуваме матрицата (0) (αi + A T X (0) () () S )(X X ) + (X X )(βi + A (0) j= Sj X j ). Използваме итерационна формула (6) и за (0) пресмятаме = αx + A T (0) (0) (0) (0) (0) X X S X + βx + X A j= X S j X j + Q + X S X (α + β)x. Използваме формула (7) за P (X ) и изразяваме () A T X + X A = P (X, X 2, X ) + j= X S j X j Q. Така за матрицата (0) получаваме = P (X, X 2, X ) + j= X S j X j Q - 55 -
Неделчева-Баева Н. +αx X (0) (0) S X + βx j= X S j X j + Q + X (0) S X (0) (0) (α + β)x = P (X, X 2, X ) + (X X S (X X + X S j (X j X j j + (α + β)(x X () = Z. По допускане P (X, X 2, X ) 0, S, S 2, S са неположителни, X, X 2, X са (0) неотрицателни, а също α + β < 0 и X k X k за k=,2,. Следователно последната матрица е неположителна, Z () 0. Тогава матрицата (0) задава следното матрично уравнение (αi + A T (0) () () X S )(X X ) (X X )(βi + A (0) j= Sj X j ) = Z () 0 или L (0) vec(x X () ) = vec Z (). Следователно X X () 0, или X X (). Аналогично могат да се докажат неравенствата X 2 X () 2 и X X (). Следователно X X (). С това доказахме свойство (ii) при i=0. Ще докажем свойство (iii) при i=0. Разглеждаме матрицата (2) (αi + A T X () () () S )(X X ) + (X X )(βi + A () j= Sj X j ) От итерационна формула (6) при i=0 имаме (αi + A T (0) () () X S ) X X (βi + A (0) j= Sj X j ) = Q + X (0) S X (0) (0) (α + β)x и изразяваме () A T () () (0) () (0) X X A = Q X S (X X ) () (0) () (0) j= X Sj X j + (α + β)(x X ). Използваме () и () и за матрицата (2) получаваме (αi + A T X () () () S )(X X ) + (X X )(βi + A () j= Sj X j ) = P (X, X 2, X ) + (X X () )S (X X () ) + X S j (X j X j () ) j +(X () X S (X () X + X () Sj (X j () Xj j + (α + β)(x X = W (). Така стигаме до равенството (4) (αi + A T X () S )(X X () ) + (βi + X X () () )(A j= S j X j ) = W (). Тъй като X k 0, P k (X, X 2, X ) 0, X k X k () 0 за k=,2,, а също и Xk () 0, () (0) X k Xk 0, Sk 0 за k=,2, и α + β < 0, то W () 0. () Разглеждаме матрицата X X като неотрицателно решение на уравнението на Силвестър във вида (αi + A T () () () X S )(X X ) (X X )(βi + A () j= Sj X j ) = W (). Представяме решението: 0 vec ( X X () ) = (L () ) vec W (). Последното означава, че (L () ) е неотрицателна матрица, т.е. матриците ( (αi + A T X () S )) и ( (βi + A T j= X () j S j )) са M-матрици. - 56 -
Методи за търсене на стабилизиращо решение Аналогично може да се докаже, че (L 2 () ) и (L () ) са неотрицателни матрици, т.е. матриците ( (αi + A T X k () S k )), k=2, и ( (βi + A T С това доказахме свойство (iii) при i=0. Допускаме, че за i=r е изпълнено: (a r ) X (r+) X (r) 0, (b r ) X (r+) X, j= X () j S j )) са M-матрици. (c r )( (αi + A T X (r+) k S k )), k=,2, и ( (βi + A T X (r+) j= j S j )), са M- матрици. Трябва да докажем, че е изпълнено и при i=r+ (a r+ ) X (r+2) X (r+) 0, (b r+ ) X (r+2) X, (c r+ ) ( (αi + A T X (r+2) k S k )), k=,2, и ( (βi + A T X (r+2) j= j S j )) са M- матрици. (r+2) (r+2) (r+2) Пресмятаме матриците X, X2 и X по итерационни формули (6). Доказателството се извършва по аналогичен начин като първо доказваме, че P k ( X (r+), (r+) (r+) X 2, X ) са неположителни матрици чрез представянето (8). По метода на математическата индукция следва, че свойства (i), (ii) и (iii) са изпълнени при i=0,,2, (i) (i) (i) От свойствата на членовете на матричните редици { X, X2, X }i=0 правим извода, че тези редици от неотрицателни матрици са монотонни и ограничени и следователно сходящи. Означаваме границите на редиците съответно X, X 2, X. След граничен преход в итерационни формули (6) се установява, че неотрицателните матрици X, X 2, X са решения на уравнението (2). 4 Числени експерименти Ще направим експерименти с цел сравняване изчислителните качества на двата метода: метод на Нютон с параметри (МНП) и метод на Силвестър II ускорен с параметри (МС2УП) за трима играчи. На всяка стъпка формираме нови матрични коефициенти и след това с двата метода едновременно търсим решението. Пресмятанията се извършват с точност 0e на компютър с 64-битова операционна система Windows 7 Professional и хардуерни параметри: процесор Intel Core i CPU M80 @ 2.5 GHz, RAM памет 4 GB. Матричните коефициенти A, B i, Q i и R ii за i,2, са дефинирани чрез MatLab (R205a). Като резултат за всяка стойност на n и всеки метод ние отбелязваме следните параметри: "Max It" най-големият брой итерации, "Av It" средният брой итерации и CPU time процесорното време, в секунди, за работа на съответния метод за съответните повторения. (0) (0) (0) (0) Началните матрици избираме X X X 0, т.е. K 0 и след това 2 () (2) (i) пресмятаме K, K,, K, по итерационна формула () за метода на Нютон. Редицата е сходяща и намереното решение изпълнява условията на Теорема 2. За метода (0) (0) (0) на Силвестър II ускорен X X X 0, X се пресмята по итерационна формула 2 () - 57 -
Неделчева-Баева Н. (6), () X пресмятане на се използва за пресмятане на () X () X 2 и съответно () X и () X 2 се използват за, което води до ускоряване на метода. В резултат на тези пресмятания X получената редица,,,, е сходяща и изпълнява условията на Теорема. Участващите матрици са M-матрици и според Теорема. притежават свойството стабилност, което означава, че намерените решения са стабилизиращи решения. () X Пример. Alpha=-0.00; Beta=-0.002; k=:00 A=abs(randn(n))/00; s=max(abs(eig(a)))+5; for i=:n, A(i,i)=-(A(i,i))-s; end B = zeros(n,); B()=abs(randn(,))/2; B2=eye(n,n); B2(n,n)=n/; B=B2; Q=zeros(n,n); Q(,)=n; Q(n,n)=; R=-; Q2=Q; Q=Q2; R22= eye(n,n); R22(,)=-40; R22(n,n)=-40; R=R22; (2) X (i) Таблица. При 00 повторения n МНП МС2УП Max It Av It CPU time Max It Av It CPU time 4 5 4,05 0,9s 5 4,06 0,889s 5 5 4,09 0,264s 5 4,,09s 6 8 4,0 0,60s 4,26,27s 7 5 4,2 0,57s 5 4,29,89s 8 5 4,2 0,968s 6 4,66,685s В пример. МНП е по-бърз от МС2УП. Пример 2. Alpha=-0.00; Beta=-0.002; k=:200 A=abs(randn(n))/0; s=max(abs(eig(a)))+5; for i=:n, A(i,i)=-(A(i,i))-s; end B = zeros(n,); B()=abs(randn(,)); B2=0.5*eye(n,n); B2(n,n)=sqrt(n); B=B2; Q=0.25*eye(n,n); Q(,)=n/50; Q(n,n)=/50; R=-0.75; Q2=0.05*eye(n,n); Q=0.0*eye(n,n); R22=-0*eye(n,n); R22(,)=-50; R22(n,n)=-50; R=R22; - 58 -
Методи за търсене на стабилизиращо решение Таблица 2. При 200 повторения n МНП МС2УП Max It Av It CPU time Max It Av It CPU time 00 4,405 60,642s 4,405 89,405s 20 4,60 99,4s 4,60 27,04s 40 4,95 76,009s 4,95 84,96s 60 4,5 270,605s 4,5 257,840s 80 4,290 87,25s 4,290 27,692s 200 4,290 526,29s 4,290 40,850s В пример 2. МС2УП става по-бърз от МНП при размерност на матричните коефициенти n 60. 5 Изводи Направихме експерименти за изчисляване на стабилизиращо решение на несиметричното уравнение на Рикати (2) и сравнихме резултатите за двата предложени метода. МНП е по-бърз от МС2УП за малки размерности на матричните коефициенти. МС2УП изпреварва и става по-бърз от МНП за на Силвестър на всяка итерационна стъпка. МНП решава линейни уравнения с големи размерности. Блочната структура при МНП го забавя при големи стойности на n. МС2УП има предимство в случай на решаване на три независими линейни матрични уравнения. По този начин МС2УП е ефективна алтернатива на МНП. n 60. ПМС2УП решава три уравнения ЛИТЕРАТУРА: [] Azevedo-Perdicoulis, T., Jank, G. Linear quadratic Nash games on positive linear systems, European Journal of Control,, (2005),-. [2] Jank, G., Kremer, D., Open loop Nash games and positive systems solvability conditions for nonsymmetric Riccati equations. Proceedings of MTNS, Katolieke Universiteit, Leuven, Belgium, (2004). [] Ma, Ch., Lu, H., Numerical study on nonsymmetric algebraic Riccati equations, Mediterranean Journal of Mathematics, Vol., Issue 6, (206), 496-497. [4] van den Broek, W. Uncertainty in Diferential Games. PhD-thesis Univ. Tilburg, Netherlands, (200). [5] van den Broek, W., Engwerda, J., Schumacher, J. Robust Equilibria in Indefinite Linear Quadratic Diferential Games, Journal of Optimization Theory and Applications, 9,, (200), 565-595. Нели Баева Е-mail: nelilnb@abv.bg - 59 -