Лекция Класификация с линейна обучаваща машина Обучаващата машина може да бъде дефинирана като устройство, чиито действия са повлияни от миналия опит
|
|
- Евгений Арнаудов
- преди 4 години
- Прегледи:
Препис
1 Лекция Класификация с линейна обучаваща машина Обучаващата машина може да бъде дефинирана като устройство, чиито действия са повлияни от миналия опит [1]. Линейната обучаваща машина (ЛОМ) е стравнително прост алгоритъм, който се побира в тази дефиниция, и чийто алгоритъм няма нищо общо с обучението, което претърпяват живите интелигентни организми. Той е подобен на изкуствените невронни мрежи, които са нелинейни по характера на своя алгоритъм вижте лекция 11. В най-разпространените химически приложения ЛОМ представлява съвкупността от един N-мерен вектор W и правилата за промяната на неговите координати w n, наречени тегла [1,2]. Тази промяна се нарича обучение и се осъществява с помощта на обучаваща извадка, в която образите (обектите) са предварително разпределени в два класа. Всеки образ от обучаващата извадка се пропуска като вход в ЛОМ и се определя неговото класово разпределение: при грешно класифициране се извършва корекция на коефициентите на обучаващия вектор и обучението продължава със следващите образи. То спира при достигане на 100% разпознавателна способност или някакъв брой предварително определени преминавания през цялата обучителна извадка: едно преминаване се нарича цикъл, сесия или епоха (session, epoch). Резултатите от това обучение могат да се проверят с помощта на тестваща извадка, с която може да се изчисли така наречената предсказваща способност това е процентът на правилно класифицираните образи от обучаващата извадка: тук задължително се предполага, че това са различни образи от образите в обучаващата извадка. Чрез поредица от двоични класификации ЛОМ може да се използва при мултикласификационни проблеми, но реално алгоритъмът за обучение е за разделяне на образите в два класа. За извършване на това обучение всички
2 налични N-мерни образи с известни класове се превръщат в (N+1)-мерни като се прибавя (N+1) координата към тях, чиято стойност е еднаква за всички образи. След това те се разпределят случайно между двете извадки обучаващата и тестващата. Обучаващата извадка се разбърква, т.е. обучението на ЛОМ се осъществява в случаен ред на срещане на различните образи, а не, например, първо с образите от единия клас, а после с тези от другия..1. Алгоритъм. Нека за двата класа, 0 и 1, поставим следните изисквания за големината на скаларното произведение между тегловния вектор W и съответния образ k. W 0; 1 и W 0; 0 (.1) Нека в процеса на обучение за даден образ се получава грешно скаларно произведение W S (.2) т.е. ако обектът е от клас 1, S < 0, или ако обектът е от клас 0, то S > 0. Тогава корекцията на координатите на тегловния вектор W са следните (с прим е означен новият тегловен вектор): W W a ' (. ) Като искаме така да променим тегловния вектор, че скаралното произведение да промени своята стойност в точно противоположната: W' S (. ) Замествайки уравнения (2) и ( ) в уравнение ( ) получаваме W' S W a S a или
3 a 2S (. ) Обучението започва със случайни стойности на тегловния вектор W. В литературата ([2] и цитатите там) са описани изследвания с начални стойности w n между -1 и +1, както и обучения, стартирали при всички координати на W, равни на единица или всички, равни на минус единица..2. Разделяща хипер-равнина. Векторът W определя една хипер-равнина в (N+1)-мерното пространство, която има уравнение W 0 (. ) което показва, че тази хиперравнина минава през началото на координатната система. Векторът W е перпендикулярен на тази равнина. На фигура.1 е показана тази равнина в тримерното пространство образите са двумерни, но както бе споменато по-горе, към тях е прибавена трета координата с една и съща стойност, която ги отмества в равнина, успоредна на равнината xoy. На фигурата е показан нормалният вектор n към равнината при нашите изисквания от уравнение (.1), векторът W ще сочи в обратна посока на n. Освен това не е необходимо дължината на W да е единица, както е дължината на n. От фигурата се вижда и необходимостта да се добави допълнителна (в случая трета) координата тя довежда до това, че разделящата равнина минава през началото на координатната система и затова могат да се формулират условията в уравнения (.1) по този начин; вижда се, че правата която е сечение между двете равнини и която на практика разделя образите от двата класа не минава в общия случай през началото на координатната система. Илюстрацията е за двумерни образи, които с допълнителната трета координата се изобразяват като точки в тримерното пространство.
4 Фигура.1. Разделящата равнина, която се получава при пълно обучение на девет образа от два класа. Тези от клас 0 са означени с квадрати, тези от клас 1 с кръгове, техните центроиди, съответно с триъгълник и ромб, а двата непознати образа с празен квадрат и празен кръг..3. Обучение. Както споменахме обучението, т.е. корекцията по уравнение (. ) се извършва само за образите, които дават неправилно скаларно произведение. За образите, които се класифицират правилно съобразно изискванията в уравнения (.1) не се извършват корекции. Ако при едно пълно преминаване през обучаващата извадка няма нужда от нито една корекция, то обучението е завършено. На практика това става, т.е. алгоритъмът е сходим за линейно разделени образи (такива образи, между които може да се прекара разделяща хиперравнина, при което образите от единия клас са от едната и страна, а тези от другия от друга и страна). Ако образите са линейно неразделими обучението се спира след предварително зададен брой сесии (епохи, цикли). В този случай е очевидно, че разпознаващата способност ще е различна от 100%, и тъй като предсказващата способност е винаги по-малка от нея, то и тя ще е по-малка от 100%. Според класификациите, дадени в предишната лекция, методът е непараметричен, изисква предварително знание за класовете, в които са съответните образи и без съмнение резултатът от прилагането му е класифициране на образите по класове.
5 Литература 1.. Varmuza; Chemometrics. Springer Verlag, Berlin, П. Джурс, Т. Айзенауэр; Распознавание образов в химии. Мир, Москва, 1. Задачи Задача.1. Припомнете си уравнението на права в равнината. Колко коефициента има в него? Задача.2. Припомнете си уравнението на равнина в тримерното пространство. Колко коефициента има в него? Задача.3. Нека образите да са двумерни, а след прибавяне на трета координата към тях с постоянна стойност, x 1.0, те стават тримерни. Използвайте уравнение (. ) и запишете уравнението на права в правоъгълната координатна система x 1 Ox 2. Задача.. Изчислете скаларното произведение между векторите (образите): 1 (1.1, -1.0, 2.2) и 2 = (-2.0, -1.2, 2.0). Задача.. Изчислете големината на първия вектор от задача.. Задача.. Умножете четиримерния образ = (1.2, -1.1, 0.1, 0.0) по -2. Задача.. Уравнението на равнина се извежда със скаларно произведение. Нека с D означим разстоянието 1 на равнината от началната точка на координатната система (0, 0, 0), с n - единичен нормален вектор 2 към равнината, а с r - вектор от началото към произволна точка на равнината. И 1 Разстояние от точка до равнина е дължината на отсечката, която лежи на права, перпендикулярна към равнината и е между точката и точката на пресичане на правата с равнината. 2 Разбира се свободен вектор т.е. който има определени посока и големина, но не и точка на приложение.
6 точката и самият вектор r се дават с координати (x, y, z). Тогава е изпълнено: nr = D. a) Напишете скаларното произведение nr. b) Преобразувайте го в уравнение на равнина това, което сте записали в задача.2. c) Уравнението на равнина също се дава с nr = D, но r има само две координати r = (x, y). Като напишете скаларното произведение nr преобразувайте nr = D в уравнение на права.
Семинар Класификация по разстоянието до центроидите на извадката Задача От лекциите по Аналитична геометрия си припомнете уравнението за равнина в три
Семинар Класификация по разстоянието до центроидите на извадката От лекциите по Аналитична геометрия си припомнете уравнението за равнина в тримерното пространство. Обобщете уравнението за случая на N-мерно
ПодробноMicrosoft Word - seminar12.docx
Семинар 12 Линеен дискриминантен анализ В този семинар ще се запознаем с линейния дискриминантен анализ (ЛДА), който се използва в статистиката, разпознаването на образи и обучението на машини. От обектите
ПодробноMicrosoft Word - VM-LECTURE06.doc
Лекция 6 6 Уравнения на права и равнина Уравнение на права в равнината Тук ще разглеждаме равнина в която е зададена положително ориентирана декартова координатна система O с ортонормиран базис i и j по
ПодробноMicrosoft Word - stokdovo saprotivlenie.doc
Движения при наличие на Стоксово съпротивление При един често срещан вид движения неподвижно тяло започва да се движи под действие на сила с постоянна посока Ако върху тялото действа и Стоксова съпротивителна
ПодробноMicrosoft Word - UIP_mat_7klas_
Приложение 2 УЧЕБНО-ИЗПИТНА ПРОГРАМА ПО МАТЕМАТИКА ЗА НАЦИОНАЛНОТО ВЪНШНО ОЦЕНЯВАНЕ В КРАЯ НА VII КЛАС І. Вид и времетраене Изпитът от националното външно оценяване е писмен. Равнището на компетентностите
ПодробноMicrosoft Word - VypBIOL-02-Kin-Okryznost.doc
ВЪПРОС КИНЕМАТИКА НА ДВИЖЕНИЕТО НА МАТЕРИАЛНА ТОЧКА ПО ОКРЪЖНОСТ Във въпроса Кинематика на движението на материална точка по окръжност вие ще се запознаете със следните величини, понятия и закони, както
ПодробноMicrosoft Word - VM22 SEC55.doc
Лекция 5 5 Диференциални уравнения от първи ред Основни определения Диференциално уравнение се нарича уравнение в което участват известен брой производни на търсената функция В общия случай ( n) диференциалното
Подробноvibr_of_triat_mol_alpha
Месечно списание за Култура, Образование, Стопанство, Наука, Общество, Семейство http://www.kosnos.co Симетрично валентно трептение на симетрични нелинейни триатомни молекули Този материал е продължение
ПодробноОсновен вариант за клас Задача 1. (4 точки) На графиката на полином a n x n + a n 1 x n a 1 x + a 0, чиито коефициенти a n, a n 1,..., a 1
Основен вариант за 10 12 клас Задача 1. (4 точки) На графиката на полином a n x n + a n 1 x n 1 + + a 1 x + a 0, чиито коефициенти a n, a n 1,..., a 1, a 0 са цели числа, са отбелязани две точки с целочислени
ПодробноЛекция Приложение на линейната многопроменлива регресия за изчисляване на топлини на образуване на алкани Дефиниция на топлина на образуване Топлина н
Лекция Приложение на линейната многопроменлива регресия за изчисляване на топлини на образуване на алкани Дефиниция на топлина на образуване Топлина на образуване на едно химично съединение се нарича енталпията
ПодробноMicrosoft Word - Sem02_KH_VM2-19.doc
Семинар Действия с матрици. Собствени стойности и собствени вектори на матрици. Привеждане на квадратична форма в каноничен вид. Матрица k всяка правоъгълна таблица от k-реда и -стълба. Квадратна матрица
ПодробноMicrosoft Word - Lecture 9-Krivolineyni-Koordinati.doc
6 Лекция 9: Криволинейни координатни системи 9.. Локален базиз и метричен тензор. В много случаи е удобно точките в пространството да се параметризират с криволинейни координати и и и вместо с декартовите
ПодробноMicrosoft Word - tema_7_klas_2009.doc
РЕГИОНАЛЕН ИНПЕКТОРАТ ПО ОБРАЗОАНИЕТО, ОФИЯ-ГРАД Национално състезание-тест по математика за VІІ клас Общински кръг, офия, февруари 009 г. Утвърдил:... аня Кастрева началник РИО, офия-град Тестът съдържа
ПодробноУТВЪРДИЛ Директор: (Име, фамилия, подпис) Първи учебен срок 18 седмици х 4 часа седмично = 72 часа ГОДИШНО ТЕМАТИЧНО РАЗПРЕДЕЛЕНИЕ по учебния предмет
УТВЪРДИЛ Директор: (Име, фамилия, подпис) Първи учебен срок 18 седмици х 4 часа седмично = 72 часа ГОДИШНО ТЕМАТИЧНО РАЗПРЕДЕЛЕНИЕ по учебния предмет математика за 1. клас по ред Учебна седмица по ред
ПодробноIATI Day 1/Junior Task 1. Trap (Bulgaria) X INTERNATIONAL AUTUMN TOURNAMENT IN INFORMATICS SHUMEN 2018 Задача 1. Капан Образуваме редица от точки, кои
Task 1. Trap (Bulgaria) Задача 1. Капан Образуваме редица от точки, които са върхове с целочислени координати в квадратна решетка. Всеки две последователни точки от редицата определят единична хоризонтална
ПодробноMicrosoft Word - VypBIOL-01-kinematika.doc
ВЪПРОС 1 КИНЕМАТИКА НА МАТЕРИАЛНА ТОЧКА ОСНОВНИ ПОНЯТИЯ И ВЕЛИЧИНИ Във въпроса Кинематика на материална точка основни понятия и величини вие ще се запознаете със следните величини, понятия и закони, както
ПодробноЛекция Многокомпонентен анализ на смеси чрез техните УВ-Вид спектри.. Електронни спектри на смес от вещества. Обикновено UV/Vis спектър на едно вещест
Лекция Многокомпонентен анализ на смеси чрез техните УВ-Вид спектри.. Електронни спектри на смес от вещества. Обикновено UV/Vis спектър на едно вещество се измерва в региона от 200 до 900 nm. За коя да
Подробногодишно разпределение по математика за 8. клас 36 учебни седмици по 3 учебни часа = 108 учебни часа I срок 18 учебни седмици = 54 учебни часа II срок
годишно разпределение по математика за 8. клас 36 учебни седмици по 3 учебни часа = 08 учебни часа I срок 8 учебни седмици = 54 учебни часа II срок 8 учебни седмици = 54 учебни часа на урок Вид на урока
ПодробноMicrosoft Word - KZ_TSG.doc
ПРИЛОЖЕНИЕ НА ТЕОРИЯТА НА СИГНАЛНИТЕ ГРАФИ ЗА АНАЛИЗ НА ЕЛЕКТРОННИ СХЕМИ С ОПЕРАЦИОННИ УСИЛВАТЕЛИ В теорията на електронните схеми се решават три основни задачи: ) анализ; ) синтез; ) оптимизация. Обект
ПодробноMicrosoft Word - VypBIOL-06-rabota.doc
ВЪПРОС 6 МЕХАНИЧНА РАБОТА И МОЩНОСТ КИНЕТИЧНА И ПОТЕНЦИАЛНА ЕНЕРГИЯ Във въпроса Механична работа и мощност Кинетична и потенциална енергия вие ще се запознаете със следните величини, понятия и закони,
Подробноmunss2.dvi
ОТГОВОРИ И РЕШЕНИЯ 3(x + y)(x xy + y )y(x y) 1. (Б) Преобразуваме: (x y)(x + y)(x + y ) x(x xy + y ) = 3y (x + y)(x y) x = (x + y ) 3 y x y x x + y = 3 y x (x y ) 1 ( x y ) + 1 = 3 ( 3 ) 1 9 3 ( 3 ) +
ПодробноMicrosoft Word - ch2.4.doc
9 Кинематика на сложни движения на твърдо тяло 9 Сферично движение на твърдо тяло Определение Сферично движение на твърдо тяло или движение на тяло около неподвижна точка наричаме такова движение при което
ПодробноMicrosoft Word - Lecture 14-Laplace Transform-N.doc
Лекция 4: Интегрално преобразувание на Лаплас 4.. Дефиниция и образи на елементарните функции. Интегралното преобразувание на Лаплас Laplac ranorm се дефинира посредством израза: Λ[ ] преобразувание на
Подробно(Microsoft Word - \307\340\344\340\367\3502.doc)
Задачи по електричество и магнетизъм 1. Две идентични метални сфери А и B са заредени с един и същ заряд. Когато се намират на разстояние, много по-голямо от радиусите им, те си взаимодействат със сила
ПодробноЛинейна алгебра 7. Умножение на матрици. Обратими матрици. Матрични уравнения специалности: Математика, Бизнес математика, Приложна математика, I курс
. Обратими матрици. Матрични уравнения специалности: Математика, Бизнес математика, Приложна математика, I курс лектор: Марта Теофилова Кратка история Матричното умножение е въведено от немския математик
ПодробноMicrosoft Word - Sem03_KH_VM2-19.docx
Семинар Символи на Кронекер и Леви-Чивита. Видове произведения между вектори и тензори. В едно D евклидово пространство R³ имаме: Скалар: p брой индекси 0, брой компоненти 0 =. Вектор: a = a, a, ) брой
ПодробноHomework 3
Домашно 3 по дисциплината Дискретни структури за специалност Информатика I курс летен семестър на 2015/2016 уч г в СУ ФМИ Домашната работа се дава на асистента в началото на упражнението на 25 26 май 2016
ПодробноI
. Числено решаване на уравнения - метод на Нютон. СЛАУ - метод на проста итерация. Приближено решаване на нелинейни уравнения Метод на допирателните (Метод на Нютон) Това е метод за приближено решаване
ПодробноОСНОВНО УЧИЛИЩЕ ПРОФ. ПЕНЧО НИКОЛОВ РАЙКОВ гр. ТРЯВНА УТВЪРДИЛ Директор:... (Виолета Иванова) ТЕМАТИЧНО РАЗПРЕДЕЛЕНИЕ ПО МАТЕМАТИКА ЗА 1 КЛАС ЗА ИЗБИР
ОСНОВНО УЧИЛИЩЕ ПРОФ. ПЕНЧО НИКОЛОВ РАЙКОВ гр. ТРЯВНА УТВЪРДИЛ Директор:... (Виолета Иванова) ТЕМАТИЧНО РАЗПРЕДЕЛЕНИЕ ПО МАТЕМАТИКА ЗА 1 КЛАС ЗА ИЗБИРАЕМИТЕ УЧЕБНИ ЧАСОВЕ за 2018/2019 учебна година първи
ПодробноР Е П У Б Л И К А Б Ъ Л Г А Р И Я М И Н И С Т Е Р С Т В О Н А О Б Р А З О В А Н И Е Т О, М Л А Д Е Ж Т А И Н А У К А Т А НАЦИОНАЛНА ОЛИМПИАДА ПО МАТЕМ
Т Е М А ЗА 4 К Л А С Задача. Дуорите са същества, които имат два рога, а хепторите имат 7 рога. В едно стадо имало и от двата вида същества, а общият брой на рогата им бил 6. Колко дуори и хептори е имало
Подробноtu_ mat
ТЕХНИЧЕСКИ УНИВЕРСИТЕТ СОФИЯ ТЕСТ ПО МАТЕМАТИКА юли 00 г. ВАРИАНТ ВТОРИ ПЪРВА ЧАСТ Всяка от следващите 0 задачи има само един верен отговор. Преценете кой от предложените пет отговора на съответната задача
ПодробноMicrosoft Word - VypBIOL-10-Tvyrdo-Tialo.doc
Въпрос 10 МЕХАНИКА НА ИДЕАЛНО ТВЪРДО ТЯЛО Във въпроса Механика на идеално твърдо тяло вие ще се запознаете със следните величини, понятия и закони, както и с основните единици за измерване: Идеално твърдо
Подробно110 (Глава 2. Тензорен анализ 12. Диференциални операции в криволинейни координати Градиент на скаларно поле. Дефиницията (11.5) на градиента чр
0 (Глава 2. Тензорен анализ 2. Диференциални операции в криволинейни координати 2.. Градиент на скаларно поле. Дефиницията (.5) на градиента чрез производната по направление позволява лесно да намерим
ПодробноMicrosoft Word - VM22 SEC66.doc
Лекция 6 6 Теорема за съществуване и единственост Метричното пространство C [ a b] Нека [ a b] е ограничен затворен интервал и да разгледаме съвкупността на непрекъснатите функции f ( определени в [ a
ПодробноSlide 1
Случайна величина е функция, която съпоставя реално число на всеки изход Опит: Хвърляне на монета един път S= {Л, Г} X={брой лица} 0 Y={брой гербове} 0 Опит: хвърляне на зарче един път S= {, 2, 3, 4, 5,
ПодробноXXX МЕЖДУНАРОДЕН ТУРНИР НА ГРАДОВЕТЕ Пролетен тур, ОСНОВЕН ВАРИАНТ за клас РЕШЕНИЯ Задача 1. Правоъгълник е разделен на няколко по-малки право
XXX МЕЖДУНАРОДЕН ТУРНИР НА ГРАДОВЕТЕ Пролетен тур, ОСНОВЕН ВАРИАНТ за 10 1 клас РЕШЕНИЯ Задача 1 Правоъгълник е разделен на няколко по-малки правоъгълника Възможно ли е всяка отсечка, която свързва центровете
Подробно