ceco.dvi

Препис

1 ХИМИКОТЕХНОЛОГИЧЕН И МЕТАЛУРГИЧЕН УНИВЕРСИТЕТ ФАКУЛТЕТ ПО ХИМИЧНО И СИСТЕМНО ИНЖЕНЕРСТВО КАТЕДРА МАТЕМАТИКА инж Цветелин Цветанов Цветков Метод на блуждаещите най-малки квадрати: Оценки, примери и приложения АВТОРЕФЕРАТ НА ДИСЕРТАЦИЯ за придобиване на образователната и научна степен доктор Научна специалност: Научен ръководител: Научно жури: 45 Математика (Математическо моделиране и приложение на математиката) проф д-р Светослав Иванов Ненов проф д-р АБ Дишлиев (ХТМУ), председател, рецензент; проф д-р СвИ Ненов (ХТМУ); доц д-р ВС Грозданов (ЮЗУ), рецензент; доц д-р НМ Китанов (ЮЗУ); доц д-р АТ Георгиева (ПУ) София, 2018

2 1 Дисертационният труд е написан на 159 страници и съдържа 9 фигури Цитирани са 283 източника Представеният дисертационен труд е обсъден и приет за защита на заседание на катедра Математика Публичната защита на дисертационния труд ще се проведе на г от 13 часа в Заседателна зала (зала 210), сграда А на ХТМУ Материалите са на разположение на интересуващите се на интернет страницата на ХТМУ и в отдел Научни дейности, стая 406, етаж 4, сграда А на ХТМУ

3 2 Съдържание 1 Метод на най-малките квадрати 5 11 Класически метод 5 12 Матрична формулировка на класическата задача 6 13 Gauss алгоритъм 8 14 QR алгоритъм 8 15 SVD алгоритъм 9 2 Метод на блуждаещите най-малки квадрати Някои свойства на матрицата на апроксимацията Изчислителен алгоритъм Оценки на нормата на матрицата апроксимацията Апроксимация при експоненциално разстояние Апроксимация на Levin 37 3 Приложение: Алгоритъм за определяне на цетаново число на нефтени деривати Постановка на задачата Апроксимация с данни: плътност и T 50% Апроксимация с данни: плътност и T 50%, T 50%, T 95% (ASTM D-86 стандарт): Backus-Gilbert подход Реализация на метода Верификация 51 Литература 51 Декларация: авторските права на представените в дисертацията резултати 58 Списък на публикации с автор Цветелин Цветанов Цветков, на които се основава дисертационния труд 59 Благодарности 61

4 3 Основни означения N N = {1,2,} N 0 N 0 = {0,1,} R d X dim(x) реално d-мерно Евклидово пространство, d N перпендикулярното пространство на линейното пространство X R d размерност на линейното пространство X A, E, D, матрици x, y, η, вектори x Евклидова норма на вектор: x = x x2 d, където x = (x 1,,x d ) R d x,y скаларно произведение на вектори: x,y = x 1 y 1 + +x d y d, където x = (x 1,,x d ),y = (y 1,,y d ) R d A t I d d транспонирана матрица на A единична (d d)-матрица 0 d d нулева (d d)-матрица null(a) нулевото пространство (ядрото) на (m d)-матрица A: null(a) = {x : x R d, Ax = 0} R d im(a) изображението на (m d)-матрица A: im(a) = {y : x R d, y = Ax} R m rank(a) ранк на матрицата A det(a) детерминанта на матрицата A egn(a) собствена стойност на матрицата A σ(a) сингуларна стойност на матрицата A A норма на матрица A 2 2-норма на матрица: A 2 = sup{ Ax : x = 1};

5 4 X = {(x i,y i ) : i = 1,,m} Някои специфични означения данни, x i R d, y i R; {p 1,,p l } базистни функции, p i : R d R, i = 1,,l; P l линейна обвивка на {p 1,,p l }; D = d d 2 0 диагонална матрица с размерност (m m); 0 0 d m E = E t p 1(x 1) p 2(x 1) p l (x 1) p 1(x 2) p 2(x 2) p l (x 2) p 1(x m) p 2(x m) p l (x m) A = D E E t 0 A 0 = D 1 E ( E t D 1 E ) 1 E t A 1 = A 0 I p 1(x) p 2(x) c = p l (x) матрица с размерност (m l); матрица с размерност (l m), транспонирана матрица на E; блок-матрица на апроксимацията; матрица с размерност (m m); матрица с размерност (m m); вектор с размерност (l 1); a = D 1 E ( E t D 1 E ) 1 c вектор с размерност (m 1);

6 5 1 Метод на най-малките квадрати 11 Класически метод Целта на метода на най-малките квадати е да се определят параметрите α = (α 1,,α n ) на апроксимираща функция f(x,α) така, че графикът на функцията да е максимално близък до дадени данни X = {(x i,y i ) : i = 1,,m}, където x i R d, y i R, i = 1,,m По-горе поставихме кавички: максимално близък, защото в зависимост от конкретни приложни изследвания, опити или анализи на данни са известни различни дефиниции на това понятие: класически метод, глобални най-малки квадрати, обобщени глобални най-малки квадрати и др Класическият метод на най-малките квадрати се базира на определяне на минимума на сумата от квадратите на резидуалите r i : m S(α) = ri 2 (α), където резидуалите r i се дефинират чрез r i (α) = y i f(x i,α), i = 1,,m Разбира се, така поставената задача е еквивалента със задачата за определяне на решение на следната система (предполагаме, че функцията f(x i,α) е непрекъснато диференцируема отностно α и непрекъсната отностно x i ) или S(α) α j = 2 m m r i r i α j = 0, j = 1,,n (11) r i f(x i,α) α j = 0, j = 1,,n (12) В общия случай системата (12) се състои от n на брой нелинейни уравнения с n на брой неизвестни α = (α 1,,α n ) Ако апроксимиращата функция f(x,α) е линейна (отностно α j ): n f(x,α) = α j Φ j (x) j=1

7 6 където Φ j (x) са дадени базисни функции, то задачата се свежда до следната линейна оптимизационна задача: Да се определи параметрът α 0 R n такъв, че m S(α 0 ) = min y i n α j Φ j (x) j=1 2 : α R n (13) Не е трудно да се съобрази, че при така направената хипотеза за линейност: α 0 = (X t X) 1 X t y, (14) е решение на задачата (13), където y = (y 1,,y m ) t и X = (Φ j (x i )) е реална (m n)-матрица 12 Матрична формулировка на класическата задача Нека A R m n иb R m са дадени матрица и вектор Да се определи векторx 0 R n, такъв, че { b Ax 0 2 = min b Ax 2 : x R n} (15) Забележка 11 Ако положим A = (Φ j (x i )), b = (y 1,,y m ) t и x = α, то не е трудно да се съобрази, че задачите (13) и (15) са еквивалентни Очевидно, интерес представлява случая n < m, те дадените данни са повече от базистните функции В този случай (брой редове по-голям от брой стълбове) е прието матрицата A да се нарича тънка матрица Отново чрез диференциране на нормата b Ax 2 в минимизационната задача (15) не е трудно да се съобрази, че всяко решение x на задачата (15) е решение и на системата (нормална система на задачата) A t Ax = A t b (16) Наистина: x b Ax 2 = ( x = x = x ) (b Ax) t (b Ax) ( ) b t b b t Ax (Ax) t b+(ax) t (Ax) ( b t b b t Ax x t A t b+x t A t Ax )

8 7 = ( b t b 2x t A t b+x t A t Ax ) x = 2b t A+2x t A t A =2 ( A t Ax A t b ) t доколкото (вж [50, Proposition 7, Proposition 8]) b t Ax = b,ax = Ax,b = (Ax) t b = x t A t b; ( x t A t b ) =b t A; x ( x t A t Ax ) =x t( ( A t A ) + ( A t A ) ) t = 2x t A t A x Нека отбележим, че ако A е матрица с линейно независими стълбове (A е тънка матрица), то x 0 = (A t A) 1 A t b (17) Наистина, ако A е тънка матрица с линейно независими стълбове, то rank(a) = n Ето защо като използваме равенството dim(im(a))+dim(null(a)) = n достигаме до извода dim(null(a)) = 0 Но матриците A и A t A имат едно и също ядро: A t Ax = 0 x t A t Ax = 0 (Ax) t (Ax) = 0 Ax = 0 Ax = 0, Ax = 0 A t Ax = A t 0 A t Ax = 0, Ето защо квадратната матрица A t A има ядро с нулева размерност, те тя е обратима Матрицата A + = (A t A) 1 A t се нарича псевдо-обратната матрица на A или Moor-Penrose обратна на A (вж [27, Example 33]) Векторът r 0 = b Ax 0 се нарича резидуал-вектор Теорема 11 (вж [27], Theorem 35) Валидни са следните твърдения: (1) Векторът r 0 е перпендикулярен на пространството ima = {z : x R n, z = Ax} R m

9 8 (2) Решението на линейната задача е единствено, тогава и само тогавва когато rank (A) = n 13 Gauss алгоритъм От въвеждането на метода на най-малките квадрати през 1805 година до компютърната епоха (приблизително след ) метода се прилага чрез изследване и/или решаване на линейната системата (нормалната система на задачата) A t Ax = A t b (18) В общият случай се използват Gauss преобразования за решаването на тази система Матрицата на нормалната системата е симетрична, те възможно е да се използват симетрични Gauss елиминации Нека изрично отбележим неустойчивостта на задачата (18), те малки промени в коефициентите на матрицата A може да породят (в общия случай) големи промяни в решението на системата (18) Пример: нека m = n = 2, A = ( ε ), b = Решението на системата (18) определяме от (17): ( x 0 =(A t A) 1 A t b ( ) = 1 ε 1 ε 14 QR алгоритъм Известно е, че всяка реална квадратна матрица може да се представи като произведение на ортогонална матрица Q и горнотриъгълна матрица R (QR декомпозиция на матрица) Нещо повече: ако квадратната матрица е обратима, то това представяне е единствено при следното допълнително условие: диагоналните елементи на R да са положителни числа Разглеждаме уравнението (18), където A е матрица с размерност (m n) и n m Тогава (вж например [33], [77], [34]) където: A = QR = ( Q 1 Q 2 ) ( R 1 0 ) 0 1 ) = Q 1 R 1,

10 9 (1) Q е ортогонална (m m)-матрица (Q t Q = I); (2) R е горно-триъгълна (m n)-матрица; (3) Q 1 е ортогонална (m n)-матрица; (4) Q 2 е ортогонална (m (m n))-матрица; (5) R 1 е горно-триъгълна (n n)-матрица; (6) 0 е нулевата ((m n) n)-матрица; От равенството A t A =(Q 1 R 1 ) t (Q 1 R 1 ) =R t 1Q t 1Q 1 R 1 =R t 1R 1 и факта dim(null(a t A)) = 0 следва, че R 1 е обратима матрица, те горнотриъгълната матрица R 1 има ненулеви елементи по главния диагонал Ето защо, може последователно да преобразуваме уравнението (18): или (Q 1 R 1 ) t (Q 1 R 1 )x =(Q 1 R 1 ) t b, R t 1Q t 1Q 1 R 1 x =R t 1Q t 1b, R t 1R 1 x =R t 1Q t 1b, R 1 x =Q t 1b, x 0 = R 1 1 Qt 1b (19) 15 SVD алгоритъм Да разгледаме отново системата (18): Нека A = UΣV t = A t Ax = A t b (110) ( ) ( )( Σ U 1 U V t 1 V t 2 ) (111) е сингуларната декомпозиция на матрицата A (вж теорема А31 и забележка А32) Нека отбележим, че: (1) A e (m n)-матрица с линейно независими стълбове (следователно rank(a) = n m); (2) U e ортогонална (m m)-матрица, те UU t = U t U = I; (а) U 1 е (m s)-матрица; (б) U 2 е (m (m s))-матрица;

11 10 (3) V e ортогонална (n n)-матрица, те V V t = V t V = I; (а) V 1 е (n s)-матрица; (б) V 2 е (n (n s))-матрица; (4) Σ е диагонална (n n)-матрица; (а) Σ 1 е (s s)-матрица, с елементи по главния диагонал: σ 1 σ 2 σ s > 0 ненулевите сингуларни стойности на матрицата A;; (б) 0 12, 0 21 и 0 22 са нулеви матрици с размерности (s (n s)), ((m s) s) и ((m s) (n s)) От (110) и (111), последователно получаваме ( UΣV t ) t( UΣV t ) x = ( UΣV t) t b, V Σ t U t UΣV t x =V Σ t U t b, V Σ 2 V t x =V ΣU t b, Σ 2 V t x =ΣU t b, или ( ) 2 ( ) ( )( ) Σ V t 1 Σ U t V t x = U t b 2 Извършвайки матричните умножения в горното равенство, получаваме Σ 2 1V t 1x = Σ 1 U t 1b Но Σ 1 е квадратна диагонална матрица с положителни елементи по главния диагонал Следователно Ето защо Σ 1 V t 1x = U t 1b x 0 = V 1 Σ 1 1 Ut 1b (112) В таблица 11 е приведен анализ на броят на матричните операции за трите разгледани алгоритъма: директно решаване на системата (110) формула (17), QR метод формула (19) и SVD метод формула (112) Нека отбележим също така, че съществуват множество методи за анализ на системата (12) в общия случай: Регулация по Тихонов, Lasso метод, и др

12 11 Формула Брой операции обратна матрично транспонирана матрица произведение матрица (17) (19) (112) Таблица 11 Броят на матрични операции Забележка: матрицата R 1 е триъгълна; матрицата Σ 1 е диагонална Съществуват различни обобщения на метода на най-малките квадрати: тегловни методи, глобални най-малки квадрати, нелинейни методи, метод на блуждаещите най-малки квадрати, обратни задачи и др 2 Метод на блуждаещите най-малки квадрати Едни от първите публикации свързани с метода на блуждаещите наймалки квадрати принадлежат на Shepard (1968), McLain (1974), Barnhill (1977), Grodon и Wixom (1978), Lancaster (1979) За да илюстрираме метода ще приведем три примера в R Пример 21 Разглеждаме данните представени в таблица 21 i x i y i Таблица 21 Стойности на функцията f(x) = sin ( x ) 2 x e 10 в точките x i = i 10, i = 1,,10 и точност 10 2 В таблица 22 са представени полиномите от 2-ра, 3-та и 4-та степен, които апроксимират данните по метод на най-малките квадрати и съответните средноквадратични грешки

13 12 степен полином средноквадратична на полином грешка n = x x n = x x x n = x x x x Таблица 22 Метод на най-малките квадрати: полиноми от 2-ра, 3-та и 4-та степен Разбира се, полиномите в таблица 22 са получени чрез минимизиране на израза 10 (y i p n (x i )) 2, i=0 относно коефициентите на съответния полином (p n е полином от степен n = 1,2,3) Нека x [0, 1] е фиксирана точка При метода на блуждаещите най-малки квадрати минимизираме сумата където: 10 W( x x i )(y i p n (x i )) 2, (21) (1) W е тегловна функция Обикновено се избираw(r) = r 2 exp( αr 2 ), W(r) = exp( αr 2 ), W(r) = r α (където α е положителна константа), вж: [73] (2) p n ( ) е полином от степен n За да пресметнем стойността на апроксимиращата функция ˆp(x) във фиксираната точка x: (1) Определяме коефициентите на полинома p n ( ) като минимум на сумата (21) (2) Полагаме ˆp(x) = p n (x) Да разгледаме по-подробно случая n = 1, p 1 (x) = ax+b и нека W(r) = e αr2, където α 0 е реален параметър Нека α е фиксирано неотрицателно число

14 13 Фигура 21 α = 1 За всяка фиксирана точка x [0, 1], определяме коефициентите на полинома p 1 (x) като минимум на сумата 10 e α(x xi)2 (y i p 1 (x i )) 2 (22) Не е трудно да онагледим получената апроксимация ˆp(x) = ˆp(x, α) при x [0,1] За целта използваме програмния софтуер Maple Графикът, представен на фигура 21 е генериран със стъпка h = 001, те за всяка фиксирана точка x = ih, i = 0,,100 е определен минимумът на израза (22) в точката x Графики на апроксимиращата функция, при различни стойности на параметъра α са представени на фигура 22 Не е трудно да се съобрази, че: (1) Средноквадратичната грешка клони към нула при α (2) При достатъчно големи стойности на параметъра α 0, модулът от разликата между междинни стойности (стойности на аргумента

15 14 Фигура 22 График на ˆp(x) в интервала [0,,10] при α = 0 (метод на най-малките квадрати), α = 10, α = 20 и α = 100, съответно x които не участват в таблица 21) на функцията f(x) и апроксимираната стойност е голям въпреки, че средноквадратичната грешка е малка, вж фигура 22 За да анализираме поведението на средноквадратичната грешка като функция на параметъра α и за да определим доколко избраният модел (в повечето случай степента на полиномa) е адекватен относно разглежданите данни въвеждаме ново понятие блуждаеща средноквадратична грешка:

16 15 Фигура 23 Фигура 24 За всяко i = 1,,10 заедно с данните представени в таблица 21 разглеждаме 10 на брой, различни таблици от 9 на брой данни Всяка от тези таблици се конструира от данните в таблица 21 посредством премахване на i-ят стълб, те данна с индекс i За всяка от така получените таблици съставяме целевата функция 10 e α(xj x)2 (y j p 1 (x j )) 2, i = 1,,10 (23) j=1,j i Нека ˆp 1i (x,α) е апроксимиращата функция (получена чрез полином от първа степен), по метод на блуждаещите най-малки квадрати,i = 1,,10 Естествено е да определим параметъра α като решение на минимизационната задача Φ(α) = 10 (y i ˆp 1i (x i,α)) 2 min (24) Отново чрез използване на Maple, може да представим дискретни точки от графика на функцията Φ(α), например за всички цели числа α = i от 0 до 100, вж фигура 23; на фигура 24 са представени дискретни точки от графика на Φ(α) в интервала [10,100] Минимумът на функцията Φ(α) се достига (приблизително) при α = 173 и той е Φ(173) = 001

17 16 Средноквадратичната грешка при α = 173 е приблизително x f(x) = sin 2( x ) e x 10 ˆp 1 (x,10) ˆp 1 (x,20) ˆp 1 (x,100) Таблица 23 Функцията Φ(α) е растяща при α > 173 Следователно за по-големи стойности на параметъра α, задачата е по-зависима от всички стойности на данните в таблица 21 В този случай не може да очакваме резултатите в междинни точки да са достатъчно близки до реалните стойности, вж таблица 23 Забележка 21 Възможно е да се формулират други критерии за изследване на поведението на апроксимацията по метода на блуждаещите най-малки квадрати Ще разгледаме по-подробно тaзи задача в глава 5 Пример 22 Разглеждаме данните X = {(x i,y i ) : i = 1,,100}, дефинирани чрез ( ) 2πxi x i = i, y i = sin + R i , къдетоr(x i ) е случайно генерирано число в интервала[0,10],i = 1,,100 Изчисленията в този пример са извършени чрез софтуерният продукт Maple 18; за случайно генериране на числа е използван пакетът RandomTools; точността на изчисления е Графикът на данните е представен на фигура 25 Ако разгледаме класическата задача за интерполация по метод на наймалките квадрати с апроксимираща функция f(x,α 1,α 2,α 3,α 4 ) = α 1 sin(α 2 x+α 3 )+α 4, получаваме следната система m (α 1 sin(α 2 x i +α 3 )+α 4 y i ) 2 = 0, i = 1,2,3,4 α i

18 17 Системата е нелинейна и за определяне на приближено решение сме използвали GlobalOptimization Toolbox 180 Получаваме α 1 = , α 2 = , α 3 = , α 4 = и средноквадратична грешка 1 m ( α 1 sin( α 2 x i + α 3 )+ α 4 y i ) 2 = m За да приложим метода на блуждаещите най-малки квадрати, аналогично на пример 21, нека n = 1, p 1 (x) = ax+b и нека W(r) = e αr2, където α 0 е реален параметър За всяка фиксирана точка x [0, 100], определяме коефициентите на полинома p 1 (x) като минимум на сумата 10 e α(x xi)2 (y i p 1 (x i )) 2 (25) Графиките, представени на фигури 26 са генерирани със стъпка h = 01 (те за всяка фиксирана точка x = ih, i = 0,, 1000 е определен минимумът на израза (25) в точката x) при α = 001, α = 005, α = 02 и α = 1, съответно За да анализираме поведението на средноквадратичната грешка като функция на параметъра α използуваме блуждаеща средноквадратична грешка: За всяко i = 0,,100 заедно с изходните данни разглеждаме 100 на брой, различни таблици от 99 на брой данни Всяка от тези таблици се конструира от изходните данни посредством премахване на i-ят стълб, те данна с индекс i За всяка от така получените таблици съставяме целевата функция 10 e α(xj x)2 (y j p 1 (x j )) 2, i = 1,,100 (26) j=1,j i Нека ˆp 1i (x,α) е полиномът от първа степен, получен по метод на блуждаещите най-малки квадрати, i = 1,,100 В този случай блуждаещата средноквадратична грешка е 100 Φ(α) = (y i p 1i (x i )) 2 (27) j=1

19 18 Фигура 25 Отново чрез използване на Maple, може да представим дискретни точки от графика на функцията Φ(α), например за всички числа α = i/10000, i = 0,,100 На фигура 27 са представени графиките на функцията Φ(α) в интервала [0,001] и [0002,,001], съответно Минимума на функцията Φ(α) се достига приблизително при α = 0006 и Φ(0006) = Ето защо може да изберем α = 0006, те да използваме тегловна функция функцията W(r) = e 0006r2 В този случай получаваме средноквадратична грешка На фигура 28 са представени дадените данни и апроксимиращата функция Пример 23 Разглеждаме данните представени в таблица 24 Нека n = 1, p 1 (x) = ax+b и нека W(r) = e αr2, където α 0 е реален параметър Аналогично на предходните примери на фигури 29 са представени графиките на апроксимиращите функции по метода на блуждаещите

20 19 Фигура 26 График на ˆp(x) в интервала [0,,100] при α = 001, α = 005, α = 02 и α = 1, съответно i x i y i Таблица ( ) 24 Стойности на функцията f(x) = sin(x) exp в точките x i = i, i = 1,,10 и точност 10 2 x

21 20 Фигура 27 График на Φ(α) в интервала [0, 001] и [0002,,001], съответно Фигура 28 най-малки квадрати, генерирани със стъпка h = 01 при α = 001, α = 005, α = 02 и α = 1, съответно На фигура 210 е представен графикът на функцията Φ(α) в интервала [0,10] В този случай функцията Φ(α) няма екстремум Нека n = 2, p 1 (x) = ax 2 + bx + c и нека W(r) = e αr2, където α 0 е реален параметър В този случай функцията Φ(α) има екстремум, вж фигура 211

22 21 Фигура 29 График на ˆp(x) в интервала [0,,10] при α = 001, α = 01, α = 05 и α = 1, съответно Нека n = 1, p 1 (x) = 1 и нека W(r) = e αr2 1, където α 0 е реален параметър Очевидно W(0) = 0, те тегловните функции се анулират при x = x i В този случай апроксимацията е интерполационна, те графикът на апроксимиращата функция съдържа точките с координати (x i,y i ), i = 1,,10 График на интерполационната апроксимация и данните е представен на фигура 212 От приведените по-горе примери следват следните основни въпроси и задачи:

23 22 Фигура 210 Фигура 211 Фигура 212 (1) Метод за определяне на коефициентите в линейната апроксимация по метод на блуждаещите най-малки квадрати Формулиране на условия за интерполационна апроксимация (2) Оценка на коефициентите в линейната апроксимация по метод на блуждаещите най-малки квадрати (3) Оценка на апроксимацията на дадена непрекъсната функция (вкл брой точки необходими за апроксимиране със зададена точност) (4) Изследване на свойства на блуждаеща средноквадратична грешка

24 23 Да разгледаме общата задача в реално d-мерно пространство Нека {x 1,, x m } R d са дадени (несъвпадащи: x i x j ако i j) точки в R d и нека: (1) f : R d R е дадена непрекъсната функция (2) {p 1,,p l } са дадени непрекъснати, линейно независими функции и нека P l е линейната им обвивка; p i : R d R, i = 1,,l (3) W : (0, ) (0, ) e непрекъснато диференцируема и неотрицателнa функция; съществува границата W(+0) Обикновенно функцията W( ) се нарича обратна теглова функция В настоящият дисертационнен труд винаги с W ще означаваме обратната теглова функция Ще използваме и означението W(x, y) = W( x y ) Функцията 1, ако (r > 0) или (r = 0, и W(0) < ); w(r) = W(r) 0, ако (r = 0 и W(0) = ) се нарича теглова функция Ще използваме и означението w(x, y) = w( x y ) Примери за теглови функции W(r) и w(r), r 0: W(r) = e α2 r 2 W(r) = r α2 w(r) = r 2 e α2 r 2 w(r) = e α2 r 2 1 exp-weight, Shepard weights, McLain weight, see Levin s works Дефиниция 21 Нека x е фиксирана точка Казваме, че числото ˆL(f)(x) е апроксимация на числото f(x) по метода на блуждаещите най-малките квадрати, ако ˆL(f)(x) минимизира (относно всички p P l ) израза m W(x i,x)(p(x i ) f(x i )) 2 те { m } ˆL(f)(x) = min W(x i,x)(p(x i ) f(x i )) 2 : p P l (28)

25 24 Казваме, че функцията ˆL(f) е апроксимация на функцията f по метода на блуждаещите най-малките квадрати, ако за всяко x, ˆL(f)(x) е апроксимация на числото f(x) по метода на блуждаещите най-малките квадрати За да определим коефициентите {a 1,,a m } в линейната апроксимация m ˆL(f) = a i f(x i ), разглеждаме задачата за минимизиране на квадратичната форма m Q = w(x i,x)a 2 i, (29) при условия m a i p j (x i ) = p j (x), j = 1,,l (210) Полагаме: p 1 (x 1 ) p 2 (x 1 ) p l (x 1 ) p 1 (x 2 ) p 2 (x 2 ) p l (x 2 ) E =(p j (x i )) =, p 1 (x m ) p 2 (x m ) p l (x m ) w(x 1,x) w(x 2,x) 0 D =2, 0 0 w(x m,x) a 1 λ 1 p 1 (x) a 2 a =, λ = λ 2, c = p 2 (x) p l (x) a m Ще казваме, че са валидни условията (H2) ако λ l H21 w(x i,x) са неотрицателни и диференцируеми функции, w(x i,x) > 0 при x i x, i = 1,,m H22 det(e t D 1 E) 0

26 25 H23 1 l < m Валидна е следната теорема (вж [73]) Теорема 21 Нека са изпълнени условията (H2) Тогава: (1) Апроксимацията, дефинирана чрез (29) и (210) е m ˆL(f) = a i f(x i ), (211) където a = D 1 E ( E t D 1 E ) 1 c (212) (2) Ако w(x i,x i ) = 0 за всяко i = 1,,m, то апроксимацията е интерполационна, те от x = x i за някое i = 1,,m следва, че ˆL(f)(x) = f(x) (3) Задачата за определяне на апроксимация по метода на блуждаещите най-малките квадрати (28) (вж дефиниция 21) съвпада с определената апроксимация (211) По-надолу ще покажем, че модула на разликата на дадената функция и нейната апроксимация f(x) ˆL(f)(x) се определя от нормата на вектора a(x) За целта ще разгледаме отделно интерполационна и неинтерполационна апроксимация 1 Нека ˆL(f)(x) е интерполационна апроксимация на функцията f(x) по метода на блуждаещите най-малки квадрати За всяка точка x нека k 0 = k 0 (x) = 1,,m е най-малкото цяло число което се определя от равенството x x k0 = min{ x x i : i = 1,,m}, те нека x k0 е най-близка точка до x

27 26 Тогава (интерполацията е интерполационна, те ˆL(f)(x k0 ) = f(x k0 )) f(x) ˆL(f)(x) = f(x) f(x k 0 )+ ˆL(f)(x m k0 ) a i (x)f(x i ) m m f(x) f(x k0 ) + a i (x k0 )f(x i ) a i (x)f(x i ) m = f(x) f(x k0 ) + f(x i ) a i (x k0 ) a i (x) (213) От доказателството на теорема 311 (вж също така забележка 321 от дисертационния труд) следва, че 0 0 a(x k0 ) = 1 k 0 -ти ред, (214) 0 0 Ето защо или a i (x k0 ) a i (x) a(x) +1, i = 1,,m f(x) ˆL(f)(x) f(x) f(x k0 ) + m f(x i ) a i (x k0 ) a i (x) f(x) f(x k0 ) +( a(x) +1) m f(x i ) (215) За оценка на модула f(x) f(x k0 ) може да използваме например теоремата за средните стойности (при допълнително условие за диференцируемост на функцията f) Ето защо е необходимо да се получат оценки от горе на нормата a(x)

28 27 2 Нека ˆL(f)(x) е неинтерполационна апроксимация на функциятаf(x) по метода на блуждаещите най-малки квадрати, те нека w(x i,x i ) 0, i = 1,,m По-надолу, за простота на изложението ще предполагаме, че d = 1 Не е трудно да се съобрази, че аналогични разъждения са валидни и за функции дефинирани в многомерно пространство Ще предполагаме, че са изпълнени следните условия: H31 Валидни са условията (H2) H32 p 1 (x) = 1,p 2 (x) = x,,p l+1 (x) = x l са мономи от степен не поголяма от l, те P l+1 е пространството от всички полиноми от степен не по-голяма от l в R H33 {x 1,,x m } [a,b] и a = x 1 < x 2 < < x m = b H34 f : [a,b] R e (l+1) пъти непрекъснато диференцируема функция Нека са изпълнени условията (H3) Нека с m ˆL(f)(x) = a i f(x i ) означим апроксимацията на f(x) по метода на блуждаещите най-малки квадрати Тогава, функцията ˆL(f)(x) минимизира квадратичната форма m Q = W(x i,x)a 2 i при допълнителни условия: m a i p j (x i ) = p j (x), j = 1,,l+1 (216) Етo защо, ако p(x) = b 1 +b 2 x+ +b l+1 x l P l (217) е произволен полином, b i R, i = 1,,l+1, то от факта, че {p 1,,p l+1 } е стандартния базис в P l следва, че може да препишем (217) във вида p(x) = b 1 p 1 (x)+b 2 p 2 (x)+ +b l+1 p l+1 (x) (218)

29 28 От друга страна, за всеки от базистните полиноми {p 1,,p l+1 } апроксимацията е точна, те валидни са равенства (216) Следователно ( m ) ( m ) ( m ) p(x) =b 1 a i p 1 (x i ) +b 2 a i p 2 (x i ) + +b l+1 a i p l+1 (x i ) = b 1 a 1 p 1 (x 1 ) +b 1 a 2 p 1 (x 2 ) + +b 1 a m p 1 (x m ) +b 2 a 1 p 2 (x 1 ) +b 2 a 2 p 2 (x 2 ) + +b 2 a m p 2 (x m ) + +b l+1 a 1 p l+1 (x 1 )+b l+1 a 2 p l+1 (x 2 )+ +b l+1 a m p l+1 (x m ) =a 1 (b 1 p 1 (x 1 )+b 2 p 2 (x 1 )+ +b l+1 p l+1 (x 1 )) +a 2 (b 1 p 1 (x 2 )+b 2 p 2 (x 2 )+ +b l+1 p l+1 (x 2 )) + +a m (b 1 p 1 (x m )+b 2 p 2 (x m )+ +b l+1 p l+1 (x m )) l+1 l+1 l+1 =a 1 b j p j (x 1 ) +a 2 b j p j (x 2 ) + +a m b j p j (x m ) j=1 Ето защо за всеки полином е валидно равенството j=1 p(x) = b 1 +b 2 x+ +b l x l p(x) = a 1 p(x 1 )+a 2 p(x 2 )+ +a m p(x m ) j=1 (219) Следователно за всеки полином p P l, са валидни следните неравенства f(x) ˆL(f)(x) m = f(x) p(x)+p(x) a i f(x i ) m f(x) p(x) + p(x) a i f(x i ) (220) m m = f(x) p(x) + a i p(x i ) a i f(x i ) Въвеждаме функционалната норма f p = max{ f(x) p(x) : a x b }

30 29 Очевидно, за вссяко x [a,b]: f(x) p(x) f p, От неравенството на Cauchy Schwarz, непосредствено получаваме: 2 2 m m m a i p(x i ) a i f(x i ) = a i (p(x i ) f(x i )) ( m )( m ) (p(x i ) f(x i )) 2 a 2 i m = a 2 (p(x i ) f(x i )) 2 (221) Тогава, от неравенствата (p(x i ) f(x i )) 2 f p 2, i = 1,,m, следва, че m m (p(x i ) f(x i )) 2 f p 2 m f p 2, или за всеки полином p P l, от (220) и (221) следва, че f(x) ˆL(f)(x) f p + a m f p = ( 1+ a m ) f p Нека x [a,b] е фиксирана точка Нека k 0 = 1,,m и нека (222) Полагаме x x k0 = min{ x x i : i = 1,,m} { } C = max f (l+1) (x) : x [a,b] и нека отбележим, че всички производни на полиномиалната функция p(x) от ред по-голям от l са нули Доколкото неравенствата (220)-(222) са валидни за всеки полином p P l, то те са валидни и за полинома на MacLaurin за функцията f Ето защо за оценка на нормата f p може да приложим теоремата на Teylor: Последно f p C (l+1)! x x k 0 l+1 f(x) ˆL(f)(x) ( 1+ a m ) C (l+1)! x x k 0 l+1

31 30 Отново достигаме до извода, че е необходима оценка от горе на нормата a(x) Основна цел на материала изложен в глава 3 е получаване на такъв тип оценки 21 Някои свойства на матрицата на апроксимацията От постановката на задачата, следва, че свойствата на апроксимацията ˆL се определят от вида и свойствата на матрицата D 1 E ( E t D 1 E ) 1 В настоящата секция ще докажем някои свойства (симетричност, граници на собствените стойности, граници на сингуларните стойности, граници на норми) на следните матрици: A 0 =D 1 E ( E t D 1 E ) 1 E t, A 1 =A 0 I, A 2 =E ( E t D 1 E ) 1 E t = DA 0, A 3 = A 2 I Дефиниция 22 Матрицата A 1 ще наричаме матрица на апроксимацията ˆL Матрицата A 1 D 1 ще наричаме симетрична матрица на апроксимацията ˆL Лема 21 Нека са изпълнени условията (H2) Тогава A 1 = U t A 1 UD, където ( ) I m m U =, 0 l m и I m m (0 l m ) е единичната (m m)-матрица (нулевата (l m)-матрица) За да получим оценки на собствените стойности на матриците A 1 и A 1 D 1 ще използваме резултати от [133], които са формулирани по-долу Лема 22 Нека са изпълнени условията (H2) Нека egn i (D), i = 1,,m са собствените стойности на матрицата D, такива, че Тогава: egn 1 (D) egn m (D) > 0 (1) Матриците A и A 1 D 1 са симетрични (2) 0 e l-кратна собствена стойност на матрицата A 1

32 31 (3) 1 e (m l)-кратна собствена стойност на матрицата A 1 (4) 0 e l-кратна собствена стойност на матрицата A 1 D 1 (5) Всички собствени стойности на матрицата A 1 D 1 са неотрицателни числа: (5a) Ако 1 k m l, то 1 egn m l+1 k (D) egn k(a 1 D 1 1 ) egn m+1 k (D) (5b) Ако m l+1 k m, то egn k ( A 1 D 1 ) = 0 (6) Матрицата A 1 D 1 е симетрична и положително семи-дефинитна Забележка 22 Матрицата A 1 не е симетрична (в общият случай) Наистина нека ( ) ( ) e (x 1)2 0 1 D =, E = 0 e (x 2)2 1 Тогава A 1 = e (x 1)2 e (x 2)2 e2x2 6x+5 e (x 2)2 +e (x 1)2 1 e2x2 6x+5 e (x 2)2 +e (x 1)2 e (x 1) 2 e 2x2 6x+5 e (x 2)2 +e (x 1)2 e (x 2) 2 e 2x2 6x+5 1 e (x 2)2 +e (x 1)2 Забележка 23 В формулировката на лема 22 условието (H22) може да бъде заменено с (1) 1 P (2) rank(e) = l Забележка 24 Ако l = m, то всички собствени стойности на матриците A 1 и A 1 D 1 са нули Но матрицата A 1 D 1 е симетрична Следователно съществува унитарна матрица U (U t U = UU t = I) такава, че A 1 D 1 = U0U t, те в този случай A 1 = A 1 D 1 = 0 22 Изчислителен алгоритъм Нека са изпълнени условията (H1)

33 32 Разглеждаме матричното произведениеb = D 1 E ( E t D 1 E ) 1 което участва в конструкцията на апроксимация по метод на блуждаещите наймалки квадрати Основната цел на материалът, изложен в настоящата секция е да констроираме декомпозиция на матрицата B посредством теоремата за сингуларна декомпозиция Нека D 1 2 E = UΣV t (223) е сингуларната декомпозиция на матрицата D 1 2 E Забележка 25 Матриците D 1 E и Σ са с размерност (m l) Освен това l m, те ( ) Σ 1 Σ =, 0 където Σ 1 е квадратна и неособена (l l)-матрица Нека също така да отбележим, че Σ t Σ = Σ 2 1 Тогава (D е диагонална матрица с положителни елементи по главния диагонал): ( ) E t D 1 E = E t D 1 2 )(D 1 2 E ) t ) = (D 1 2 E (D 1 2 E = ( UΣV t) t( UΣV t ) =V Σ t U t UΣV t =V Σ t ΣV t =V Σ 2 1V t (224) Ето защо сингуларната декомпозиция на симетричната матрицаe t D 1 E е E t D 1 E = V Σ 2 1V t (225) Освен това ( E t D 1 E ) 1 = ( V Σ 2 1 V t) 1

34 33 Окончателно, получаваме: =V Σ 2 1 V t (226) D 1 E ( E t D 1 E ) 1 = D 1 EV Σ 2 1 V t (227) Нека отбележим, че в така получената формула не присъства матричната операция обръщане на матрица (изключение квадратнaте диагонални матрици D и Σ 1 ) Не е трудно да опростим представянето (227): D 1 E ( E t D 1 E ) 1 =D 1 EV Σ 2 1 V t ) =D 1 2 (D 1 2 E V Σ 2 1 V t =D 1 2 UΣV t V Σ 2 1 V t =D 1 2 UΣΣ 2 1 V t ( ) Σ 1 =D 1 2 U V t (228) Оценки на нормата на матрицата апроксимацията Нека à 2 е нормата на реалната матрицата à (в общия случай правоъгълна), дефинирана чрез (Ãtà ) à 2 2 = max Ãη = egnmax η =1 ) = σmax(ã 2, ) където egn max (Ãt Ã) и σ max (à са максималната собствена стойност на à t à и максималната сингуларна стойност на Ã, вж приложение A Ако не е уговорено противното, ще използваме означението = 2 Нека с d 1,,d m означим елементите по главния диагонал на диагоналната матрица D, d i > 0, i = 1,,m По-надолу ще използваме означенията σ max (D) = max{d 1,,d m } и σ min (D) = min{d 1,,d m } (очевидно d 1,,d m са всички сингуларни стойности на D) Следствие 21 Нека са изпълнени условията (H2) Тогава ако egn min (D), i = 1,,m е минималната собствена стойност на матрицата D и ако egn min (D) 0, то A 1 D 1 1 σ min (D)

35 34 Твърдението на следствие 21 не е удачно да се прилага за интерполационна апроксимация В този случай матрицата D притежава произволно близки до нула елементи, при x x i Ето защо оценката за нормата на симетричната матрица на апроксимацията, приведена в следствие 21, не е адекватна в този случай Лема 23 Валидни са неравенствата σ max (E) ) σmax (D) σ σ max (D 1 2 E = D 1 2 max (E) E σmin (D) Лема 24 Валидни са следните неравенства: E t D 1 E =σ max ( E t D 1 E ) σ2 max(e) σ min (D), (229) σ 2 min (E) σ max (D) σ min Следствие 22 Валидно е неравенството: ( E t D 1 E ) (230) ( E t D 1 E ) ( 1 (E = t σmax D 1 E ) ) 1 σ max(d) σmin 2 (231) (E) Следствие 23 Валидно е неравенството: D 1 E ( E t D 1 E ) 1 = σmax ( D 1 E ( E t D 1 E ) 1 ) k(e)k(d) σ max (E), където k(e) (k(d)) е условният номер на матрицата E (D) (232) По-надолу ще докажем още една оценка за нормата на матрицата A 0 = D 1 E ( E t D 1 E ) 1 E t Нека отбележим, че доказаните по-горе оценки се отнасят за правоъгълната (m l)-матрица D 1 E ( E t D 1 E ) 1, докато матрицата A0 е квадратна (m m)-матрица

36 35 Лема 25 Нека Ã и B са матрици с размерност (m n) и (n n), съответно Нека B е неособена матрица Тогава σ max ( B)σ min (Ã) σ max(ã B) σ max (Ã)σ max( B) (233) Лема 26 Нека са изпълнени условията (H2) Тогава: 1 A 0 k(e)k(d), ако rank(e) = l, A 1 1+k(E)k(D), ако rank(e) = l Теорема 22 Нека са изпълнени условията (H2) Тогава: 1 A 0 σ max(e) σ min (E t, ) ако rank(e) = l, A 1 1+ σ max(e) σ min (E t, ) ако rank(e) = l 24 Апроксимация при експоненциално разстояние Подхода, описан в секция 32 при l > 1 и w(α,x,x i ) = e α x xi 2, α 0 (234) ще наричаме апроксимация при експоненциално разстояние или апроксимация при експоненциални теглови функции на данни, α R Очевидно, ако α = 0, то задачата за апроксимиране по метода на блуждаещите най-малки квадрати с теглови функции (234) съвпада с класическата задача за апроксимиране по метода на най-малките квадрати Разглеждаме данните X = {(x i,y i ) : i = 1,,m}, където x i R d, y i R, i = 1,,m Нека l е фиксирано число, 1 l m Ще предполагаме, че са изпълнени условията (H2) Нека с a i = a i (α,x) означим коефициентите на апороксимацията по метода на булждаещите най-малки квадрати и теглови функции (234): a(α,x) = D 1 E ( E t D 1 E ) 1 c(x),

37 36 където w(α,x,x 1 ) w(α,x,x 2 ) 0 D = D(α,x) = w(α,x,x m ) Полагаме x x x x H = 0 0 x x m 2 Тогава dw(α,x,x 1) dα 0 0 dw(α,x,x dd dα =2 0 2) dα 0 dw(α,x,x 0 0 m) dα x x x x =2 0 0 x x m 2 e α x x e α x x e α x xm 2 dd 1 =HD, I =DD 1 0 = (I) = ( DD 1) = (D) D 1 +(D) ( D 1), dα = D 1 dd dα D 1 = D 1 HDD 1 (D) ( D 1) = (D) D 1, ( D 1) = D 1 (D) D 1, = D 1 H = HD 1

38 37 Теорема 23 Нека са изпълнени условията (H2) Тогава за всеки две неотрицателни числа α 1,α 2, 0 α 1 α 2 е валидно неравенството a(α 1,x) a(α 2,x) 25 Апроксимация на Levin Подхода, описан в секция 32 при l > 1 и w(x,x i ) = e α x xi 2 1 (235) ще наричаме Levin подход за апроксимиране на данни, α 0 Подробно изследване на апроксимация по метод на най-малките квадрати с така въведената теглова функция е приведено в [73] В тази статия са показани различни предимства на въведените теглови функции в сравнение с класическите функции при експоненциално разстояние, вж секция 38 Ще докажем още едно свойство на апроксимацията с теглови функции (235) За целта разглеждаме семейство от апроксимации с теглови функции w(α,β,x,x i ) = e α x xi 2 β (236) където α 0 е фиксирано число и β [0,1] Нека с a i = a i (α,β,x) означим коефициентите на апороксимацията по метода на булждаещите най-малки квадрати и теглови функции (236): a(α,β,x) = D 1 E ( E t D 1 E ) 1 c(x), където w(α,β,x,x 1 ) w(α,β,x,x 2 ) 0 D = D(α,β,x) = w(α,β,x,x m ) Очевидно dd dβ =2 = 2I, dw(α,β,x 1,x) dβ 0 0 dw(α,β,x 0 2,x) dβ dw(α,β,x m,x) dβ

39 38 dd 1 dβ = D 1 dyd dβ D 1 =2D 1 D 1 = 2D 2 Теорема 24 Нека са изпълнени условията (H2) Тогава за всеки две числа β 1,β 2 [0,1], за които β 1 β 2, е валидно неравенството a(α,β 1,x) a(α,β 2,x) 3 Приложение: Алгоритъм за определяне на цетаново число на нефтени деривати 31 Постановка на задачата Дадени са данни за 140 дизелови горива: цетаново число (в интервал 10-70), плътност при 15 C и дисталационни характеристики (съгласно стандарт ASTM D-86): T 10%, T 50%, T 90% Необходимо е да се получи метод за приближено пресмятане на цетановото число чрез плътността и дистилационните характеристики на горивата Данните за горивата са представени от доц д-р Д Стратиев, гл технолог на ЛУКОИЛ Нефтохим Бургас, вж таблица приведена в дисертационниа труд 32 Апроксимация с данни: плътност и T 50% 321 Метод на най-малките квадрати За конструирането на полиноми по метод на най-малките квадрати ще използваме програмната среда Maple Въвеждаме експерименталните данни: restart: with(plots): with(statistics): #Density Xdensity := <8409, 8209, 8421, 8332, 8361, 8773, 8011, 8441, 8416, 8341, 9427, 10130, 9667, 8554, 8594, 8437, 8492, 8379, 8003, 8283, 8365, 8464, 8553, 8633, 8728, 8018, 8265, 8348, 8472, 8566, 8640, 8708, 8728, 7968, 8120, 8224, 8312, 8444, 8532, 8601, 8659, 7964, 8086, 8215, 8343, 8502, 8509, 8570, 8745, 7982, 8215, 8333, 8477, 8516, 8579, 8723, 8092, 8594, 8036, 8470, 8577, 8056,

40 , 8617, 8903, 8042, 8042, 8448, 8408, 8619, 8559, 8341, 9113, 7902, 8859, 8715, 8329, 9305, 8811, 8697, 8912, 8650, 8773, 8639, 8540, 9002, 8438, 8170, 8557, 8727, 8917, 9137, 9471, 8722, 8230, 8392, 8570, 8647, 8996, 8884, 8764, 8640, 8486, 8331, 8181, 8683, 8532, 8380, 8931, 8825, 8641, 8522, 829, 836, 806, 827, 820, 811, 821, 829, 827, 841, 814, 817, 814, 818, 826, 826, 826, 826, 826, 837, 807, 814, 834, 844, 838, 842, 8390, 8349>: #ASTM D86 distillation, 50 % Xfifty := <245, 239, 275, 242, 259, 290, 200, 282, 284, 214, 246, 322, 268, 300, 285, 279, 275, 272, 1855, 2255, 2455, 2655, 2855, 3055, 3455, 1855, 2255, 2455, 2655, 2855, 3055, 3255, 3455, 1855, 2055, 2255, 2455, 2655, 2855, 3055, 3255, 1855, 2055, 2255, 2455, 2655, 2855, 3055, 3255, 1855, 2255, 2455, 2655, 2855, 3055, 3255, 210, 311, 206, 280, 303, 209, 267, 317, 333, 204, 205, 274, 270, 310, 308, 250, 240, 164, 320, 308, 2612, 3075, 2929, 2864, 2763, 2723, 2815, 2759, 2693, 2973, 2790, 2740, 2920, 2970, 2990, 3030, 3100, 2860, 2550, 2955, 3205, 3290, 2730, 2750, 2765, 2795, 2210, 2200, 2200, 2510, 2500, 2500, 2850, 2850, 2910, 2630, 274, 283, 242, 279, 272, 268, 265, 269, 256, 254, 260, 261, 252, 245, 278, 272, 272, 281, 270, 269, 296, 231, 288, 280, 279, 281, 2790, 2763>: #Cetane number Y := <441, 492, 510, 458, 474, 445, 415, 530, 535, 355, 493, 511, 500, 498, 490, 480, 530, 475, 510, 472, 470, 510, 435, 493, 504, 516, 548, 553, 540, 431, 493, 506, 515, 531, 535, 541, 531, 429, 455, 476, 494, 512, 527, 535, 544, 404, 437, 459, 481, 493, 522, 533, 542, 412, 441, 477, 486, 516, 520, 526, 448, 433, 460, 467, 505, 505, 495, 504, 470, 500, 130, 120, 100, 140, 420, 420, 527, 283, 369, 409, 332, 375, 346, 381, 404, 321, 506, 651, 479, 472, 380, 373, 281, 450, 560, 570, 570, 580, 300, 340, 400, 440, 343, 397, 448, 350, 391, 446, 351, 398, 442, 455, 571, 540, 527, 570, 590, 623, 568, 574, 526, 470, 610, 601, 587, 560, 564, 564, 565, 564, 561, 500, 700, 540, 590, 480, 510, 500, 580, 592>:

41 40 m := 140: #= op(xdensity)[1]=op(xfifty)[1]=op(y)[1] ExperimentalData := Array(1 m, 1 3): ExperimentalData[1 m, 1] := Xdensity: ExperimentalData[1 m, 2] := Xfifty: ExperimentalData[1 m, 3] := Y: За да конструираме полином от първа степен, използваме вградената процедура Fit: Fit(a*x+b*y+c, ExperimentalData, [x, y], output = [leastsquaresfunction],summarize=embed)[1] Изчисляваме грешката при приложения метод на най-малките квадрати чрез: LSMerror := 0: for i from 1 to 140 do LSMerror := LSMerror+(Y[i]-F(Xdensity[i], Xfifty[i]))^2 end do: (1/140)*sqrt(LSMerror): Аналогично не е трудно да определим броя на резидуалите със стойност по-голяма от 1 В таблица 31 са приведени полиноми от различна степен, които апроксимират зададените данни по метод на най-малките квадрати, както и съответните средно-квадратични грешки степен полином средноквадратична на полином грешка n = x y n = x y x xy 0005y 2 n = x 2157y x x x 2 y+0064xy xy 0056y Таблица 31 Метод на най-малките квадрати: полиноми от 1-ра, 2-та и 3-та степен

42 41 Ще се спрем по-подробно на анализ на резултата при n = 3: Общия вид на апроксимиращ полином от трета степен е x 3 a 330 +x 2 ya 321 +xy 2 a 312 +y 3 a 303 +x 2 a 220 +xya 211 +y 2 a 202 +xa 110 +ya 101 +a 0 След прилагане на съответната команда Fit в Maple получаваме: a 330 = , a 321 = , a 312 = , a 303 = , a 220 = , a 211 = , a 110 = , a 0 = a 101 = , Не е трудно да пресметнем: a 202 = , (1) сума от квадратите на резидуалите: ; (2) максимална стойност на резидуал: 37066; (3) минимална стойност на резидуал: 00353; (4) 109 резидуала са по-големи от 1; (5) грешка по метода на най-малките квадрати: Ето защо (съгласно изискванията за адекватност на метода: резидуали по-малки от 1) метода не е приложим за конкретната задача Данните и получения апроксимиращ полином от трета степен са изобразени на фигура Backus-Gilbert подход Подхода, описан в секция 32 при ( l = 1, p 1 (x) = 1, w(x,x ) = exp x x 2), x,x R 2 се нарича Backus-Gilbert подход за апроксимиране на данни В настоящата подсекция ще приложим подхода на Backus-Gilbert при теглова функция ( w(x,x ) = exp α x x 2), където α е неотрицателен параметър По-надолу ще използваме данните Xdensity[i], Xfifty[i] и Y[i] въведени в предишната подсекция Освен това въвеждаме следните вектори

43 42 Фигура 31 Апроксимиращ полином от трета степен и матрици: x = ( x 1 x 2 ), y = Y[1] Y[2] Y[140] ( ; x i = Xdensity[i] Xfifty[i] 1 1 E = (p 1 (x i )) =, i = 1,,140; 1 ), i = 1,,140;

44 w(x,x 1 ) w(x,x 2 ) 0 D = 2 ; 0 0 w(x,x 140 ) a = a 1 a 2 ; λ = ) ( ) ( ) (λ 1 ; c = p 1 (x) = 1 43 a 140 Коефициентите {a 1,,a m } на линейната апроксимация m ˆL(f) = a i f(x i ) = a,y се определят чрез В този случай: Ето защо a =D 1 E ( E t D 1 E ) 1 c =D 1 E ( E t D 1 E ) 1 E t D 1 E = 140 j=1 1 w(x,x j ), j=1 w(x,x i ) w(x,x 1 ) D 1 E ( E t D 1 E ) 1 j=1 w(x,x i ) = w(x,x 2 ) w(x,x i ) ˆL(f) = m a i f(x i ) = j=1 w(x,x 140 ) 1 w(x,x j ) f(x i ) w(x,x i )

45 44 Пресмятаме коефициентите на апроксимацията използвайки пакета Maple: a := MatrixInverse(DD) E MatrixInverse(Transpose(E) MatrixInverse(DD) E) За да изчислим резултата, например при α = 2, x = 087, y = 297, използваме следния код X := Array(1 m, 1 3); X[1 m, 1] := Xdensity; X[1 m, 2] := Xfifty; E := Matrix(m, 1, 1); alpha := 2; x := 87; y := 297; DD := Matrix(m, m, shape = diagonal); for i from 1 to m do DD[i, i] := exp(alpha*((x-xx[i, 1])^2+(y-XX[i, 2])^2)) end do; a := MatrixInverse(DD) E MatrixInverse(Transpose(E) MatrixInverse(DD) E) DotProduct(a, y) Резултатът е 4244 Една от близките данни: Xdensity[90]=08727; Xfifty[90]=297 с дадена стойност: Y[90]=472 Ако приложим изчисленията, описани по-горе, но при α = 01, получаваме резултат 4838 В настоящата подсекция ще приведем някои факти за така построената апроксимация по метода на Backus-Gilbert 1 Ако α = 0, то метода на Backus-Gilbert съвпада с класическия метод на най-малките квадрати В този случай a =D 1 E ( E t D 1 E ) 1 c = 1 2 E ( 1 2 Et E ) 1

46 45 = 1 2 E ( 1 2 m ) 1 = 1 m E и ˆL(f) = 1 m m f(x i ) За разглежданите данни (в този случай): ˆL(f) = Очевидно, ако съществува D 1, то функцията a(α) = D 1 (α)e ( E t D 1 (α)e ) 1 е диференцируема 4 Не е трудно да докажем следното равенство където E(α) = lim E(α) = 0 α m exp( α x x i 2 )(b y i ) 2 3 В таблица 32 са приведени някои стойности на средноквадратичните отклонения: m ) 2 R(α) = (ˆL(f)(xi ) y i α R Таблица 32 Някои стойности на R(α)

47 46 От първите три реда на таблиица 32 следва, че функцията R(α) има минимум в интервала [0, 05] В интервала [1, ) функцията е намаляваща 323 McLain подход Подхода, описан в секция 32 при l > 1 и w(y,x) = x x i 2 e x xi 2 се нарича McLain подход за апроксимиране на данни, α R, вж [88] и [89] Нека l = 1 В настоящата подсекция ще приложим подхода на Backus- Gilbert при теглова функция w(y,x) = (x x i ) 2 e x xi 2, където α е неотрицателен параметър По-надолу ще използваме данните Xdensity[i], Xfifty[i] и Y[i] въведени в подсекция 321 Освен това въвеждаме следните вектори и матрици: x = ( x 1 x 2 ), y = Y[1] Y[2] Y[140] ( ; x i = Xdensity[i] Xfifty[i] 1 1 E = (p 1 (x i )) =, i = 1,,140; 1 w(x,x 1 ) w(x,x 2 ) 0 D = 2 ; 0 0 w(x,x 140 ) a = a 1 a 2 a 140 ; λ = ) ) ( ) ( ) (λ 1 ; c = p 1 (x) = 1 Коефициентите {a 1,,a m } на линейната апроксимация m ˆL(f) = a i f(x i ) = a,y, i = 1,,140;

48 47 се определят чрез a =D 1 E ( E t D 1 E ) 1 c =D 1 E ( E t D 1 E ) 1 Пресмятаме коефициентите на апроксимацията използвайки пакета Maple: a := MatrixInverse(DD) E MatrixInverse(Transpose(E) MatrixInverse(DD) E) За да изчислим резултата, например при α = 2, x = 087, y = 297, използваме следния код X := Array(1 m, 1 3); X[1 m, 1] := Xdensity; X[1 m, 2] := Xfifty; E := Matrix(m, 1, 1); alpha := 2; x := 87; y := 297; DD := Matrix(m, m, shape = diagonal); for i from 1 to m do DD[i, i] := ((x-xx[i, 1])^2+(y-XX[i, 2])^2) *exp(alpha*((x-xx[i, 1])^2+(y-XX[i, 2])^2)) end do; a := MatrixInverse(DD) E MatrixInverse(Transpose(E) MatrixInverse(DD) E) DotProduct(a, y) Резултатът е 4244 Една от близките данни: Xdensity[90]=08727; Xfifty[90]=297 с дадена стойност: Y[90]=472 Ако приложим изчисленията, описани по-горе, но при α = 01, получаваме резултат Апроксимация с данни: плътност и T 50%, T 50%, T 95% (ASTM D-86 стандарт): Backus-Gilbert подход

49 48 34 Реализация на метода Отново разглеждаме подхода, описан в секция 32 при ( l = 1, p 1 (x) = 1, w(x,x ) = exp x x 2), x,x R 4, където променливите x 1,,x 4 асоцираме съответно с плътност и дестилации при 10%, 50% и 90% на съответния нефтен продукт В настоящата подсекция ще приложим подхода на Backus-Gilbert при теглова функция ( w(x,x ) = exp α x x 2), където α е неотрицателен параметър Въвеждаме експерименталните данни: restart: with(plots): with(statistics): #Density Xdensity := <8409, 8209, 8421, 8332, 8361, 8773, 8011, 8441, 8416, 8341, 9427, 10130, 9667, 8554, 8594, 8437, 8492, 8379, 8003, 8283, 8365, 8464, 8553, 8633, 8728, 8018, 8265, 8348, 8472, 8566, 8640, 8708, 8728, 7968, 8120, 8224, 8312, 8444, 8532, 8601, 8659, 7964, 8086, 8215, 8343, 8502, 8509, 8570, 8745, 7982, 8215, 8333, 8477, 8516, 8579, 8723, 8092, 8594, 8036, 8470, 8577, 8056, 8390, 8617, 8903, 8042, 8042, 8448, 8408, 8619, 8559, 8341, 9113, 7902, 8859, 8715, 8329, 9305, 8811, 8697, 8912, 8650, 8773, 8639, 8540, 9002, 8438, 8170, 8557, 8727, 8917, 9137, 9471, 8722, 8230, 8392, 8570, 8647, 8996, 8884, 8764, 8640, 8486, 8331, 8181, 8683, 8532, 8380, 8931, 8825, 8641, 8522, 829, 836, 806, 827, 820, 811, 821, 829, 827, 841, 814, 817, 814, 818, 826, 826, 826, 826, 826, 837, 807, 814, 834, 844, 838, 842, 8390, 8349>: %ASTM D86 distillation, 10 % Xten := (200, 196, 209, 193, 202, 252, 179, 243, 250, 185, 228, 229, 182, 234, 272, 196, 268, 174, 231, 235, 230, 275, 182, 222, 242, 262, 282, 302, 342, 182, 222, 242, 262, 282, 302, 322, 342, 182, 202, 222, 242, 262, 282, 302, 322, 182, 202, 222, 242, 262, 282, 302, 322, 182, 222, 242, 262, 282, 302, 322, 172, 175, 180,

50 49 245, 240, 261, 289, 260, 314, 297, 208, 220, 300, 228, 210, 128, 1960, 2581, 2207, 2065, 1967, 1949, 2076, 2034, 1967, 2213, 2300, 2530, 2450, 2480, 2570, 2660, 2800, 2570, 2190, 2435, 2700, 2885, 2360, 2390, 2415, 2450, 1650, 1660, 1660, 1760, 1780, 1770, 2010, 2110, 2090, 2210, 200, 221, 179, 217, 214, 211, 212, 213, 210, 210, 213, 213, 208, 206, 228, 228, 227, 229, 228, 219, 234, 213, 235, 224, 220, 223, 2140, 2402): %ASTM D86 distillation, 50 % Xfifty := <245, 239, 275, 242, 259, 290, 200, 282, 284, 214, 246, 322, 268, 300, 285, 279, 275, 272, 1855, 2255, 2455, 2655, 2855, 3055, 3455, 1855, 2255, 2455, 2655, 2855, 3055, 3255, 3455, 1855, 2055, 2255, 2455, 2655, 2855, 3055, 3255, 1855, 2055, 2255, 2455, 2655, 2855, 3055, 3255, 1855, 2255, 2455, 2655, 2855, 3055, 3255, 210, 311, 206, 280, 303, 209, 267, 317, 333, 204, 205, 274, 270, 310, 308, 250, 240, 164, 320, 308, 2612, 3075, 2929, 2864, 2763, 2723, 2815, 2759, 2693, 2973, 2790, 2740, 2920, 2970, 2990, 3030, 3100, 2860, 2550, 2955, 3205, 3290, 2730, 2750, 2765, 2795, 2210, 2200, 2200, 2510, 2500, 2500, 2850, 2850, 2910, 2630, 274, 283, 242, 279, 272, 268, 265, 269, 256, 254, 260, 261, 252, 245, 278, 272, 272, 281, 270, 269, 296, 231, 288, 280, 279, 281, 2790, 2763>: %ASTM D86 distillation, 90 % Xninety := (311, 315, 337, 324, 332, 336, 229, 335, 324, 254, 333, 323, 231, 316, 347, 337, 341, 230, 320, 338, 324, 350, 198, 238, 258, 278, 292, 318, 358, 198, 238, 258, 278, 292, 318, 338, 358, 198, 218, 238, 258, 278, 292, 318, 338, 198, 218, 238, 258, 278, 292, 318, 338, 198, 238, 258, 278, 292, 318, 338, 252, 232, 234, 329, 291, 345, 352, 370, 360, 351, 265, 273, 348, 328, 359, 246, 3280, 3421, 3382, 3364, 3321, 3295, 3330, 3315, 3293, 3391, 3290, 3080, 3460, 3460, 3450, 3490, 3510, 3300, 3220, 3490, 3665, 3690, 3125, 3150, 3170, 3180, 3040, 3030, 3020, 3280, 3280, 3280, 3400, 3420, 3410, 3120, 356, 365, 345, 360, 359, 351, 349, 351, 343, 346, 328, 330, 324, 319, 323, 324, 325, 326, 326, 326, 346, 269, 345, 339, 350, 344, 3420, 3246)

51 50 #Cetane number Y := <441, 492, 510, 458, 474, 445, 415, 530, 535, 355, 493, 511, 500, 498, 490, 480, 530, 475, 510, 472, 470, 510, 435, 493, 504, 516, 548, 553, 540, 431, 493, 506, 515, 531, 535, 541, 531, 429, 455, 476, 494, 512, 527, 535, 544, 404, 437, 459, 481, 493, 522, 533, 542, 412, 441, 477, 486, 516, 520, 526, 448, 433, 460, 467, 505, 505, 495, 504, 470, 500, 130, 120, 100, 140, 420, 420, 527, 283, 369, 409, 332, 375, 346, 381, 404, 321, 506, 651, 479, 472, 380, 373, 281, 450, 560, 570, 570, 580, 300, 340, 400, 440, 343, 397, 448, 350, 391, 446, 351, 398, 442, 455, 571, 540, 527, 570, 590, 623, 568, 574, 526, 470, 610, 601, 587, 560, 564, 564, 565, 564, 561, 500, 700, 540, 590, 480, 510, 500, 580, 592>: m := 140: #= op(xdensity)[1]=op(xfifty)[1]=op(y)[1] ExperimentalData := Array(1 m, 1 5): ExperimentalData[1 m, 1] := Xdensity: ExperimentalData[1 m, 2] := Xten: ExperimentalData[1 m, 3] := Xfifty: ExperimentalData[1 m, 4] := Xninety: ExperimentalData[1 m, 5] := Y: EE := Matrix(m, 1, 1): cc := Matrix(1, 1, 1): alpha := 1: x1 := Xdensity[90]: x2 := Xten[90]: x3 := Xfifty[90]: x4 := Xninety[90]: y := Xfifty[90]: DD := Matrix(m, m, shape = diagonal): for i from 1 to m do DD[i, i] := exp(alpha*((x1-experimentaldata[i, 1])^2 +(x2-experimentaldata[i, 2])^2 +(x3-experimentaldata[i, 3])^2