Логаритмична регресия
|
|
- Ромео Попов
- преди 4 години
- Прегледи:
Препис
1 Логаритмична регресия Доц. д-р Ивайло Пенев Кат. Компютърни науки и технологии
2 Функция на хипотезата h θ x = g θ T x = e θt x
3 Функция на цената J θ = 1 σ m i=1 m Cost(h θ x i, y i ), където Cost(h θ x i, y i = log h θ x за y = 1 Cost(h θ x i, y i = log 1 h θ x за y = 0
4 J(theta) J(theta) Графично представяне на J θ 2,5 При y=1 2,5 При y= ,5 1 1,5 0, ,2 0,4 0,6 0,8 1 1,2 htheta(x) 0, ,2 0,4 0,6 0,8 1 1,2 htheta(x)
5 Обяснение Cost(h θ x), y = 0, ако h θ x = y Cost(h θ x), y, ако y = 0 и h θ (x) 1 Cost(h θ x), y, ако y = 1 и h θ (x) 0 Ако при обучението коректният резултат е y = 0, то цената ще бъде 0 при h θ (x)=0 (т.е. при прогноза 0). Ако прогнозата е поголяма от 0, то цената ще се увеличава (Cost(h θ x), y ) Ако при обучението коректният резултат е y = 1, то цената ще бъде 0 при h θ (x)=1 (т.е. при прогноза 1). Ако прогнозата е помалка от 1, то цената ще се увеличава (Cost(h θ x), y )
6 Контролен въпрос В логаритмичната регресия функцията на цената има следният вид: Cost(h θ x), y = log h θ x за y = 1 Cost(h θ x), y = log 1 h θ x за y = 0 Отбележете всички верни отговори: а) Ако h θ x = y, то cost(h θ x), y = 0 за y=0 и y=1 б) Ако y=0, то cost(h θ x), y при h θ (x) 1 в) Ако y=0, то cost(h θ x), y при h θ (x) 0 г) Ако h θ x = 0.5, то cost(h θ x), y > 0 за y=0 и y=1
7 Опростена функция на цената Двата случая на ф-та на цената (за y=0 и y=1) могат да бъдат обединени: Cost(h θ x), y = ylog h θ x 1 y log(1 h θ x ) При y=1 => Cost(h θ x), y = ylog h θ x При y=0 => Cost(h θ x), y = 1 y log(1 h θ x ) Следователно ф-та на цената може да се представи: m J θ = 1 m i=1 [y i log(h θ x i + 1 y i log(1 h θ x i )]
8 Векторна форма на функцията на цената Ако ф-та на цената за всички обучителни примери е: m J θ = 1 m [y i log(h θ x i + 1 y i log(1 h θ x i )] i=1, то във векторна форма ф-та може да се запише така: h = g Xθ J θ = 1 m. ( yt log h 1 y T log 1 h )
9 Градиентно спускане Общ вид: Повтаряй: { θ j = θ j α J(θ) θ j } След диференцирането на J(θ) се получава: Повтаряй: { m θ j = θ j α m i=1 } (h θ x i y i )x j (i)
10 Контролен въпрос Прилагаме градиентно спускане в логаритмична регресия за намиране на стойностите на параметрите θ. Как ще проверим дали сме избрали подходяща стойност на скоростта на обучение α и дали градиентното спускане работи правилно? а) Чертаем графиката на ф-та J θ = 1 σ m i=1 m (h θ x (i) y (i) ) 2, като по абсцисната ос нанасяме броя на итерациите. Проверяваме дали стойността на J θ намалява на всяка следваща итерация б) Чертаем графиката на ф-та J θ = 1 σ m i=1 m [y i log(h θ x i + ൫1
11 Контролен въпрос При градиентно спускане на всяка итерация се изпълняват следните операции: m θ 0 = θ 0 α m i=1 m θ 1 = θ 1 α m i=1... m (h θ x i y i )x 0 (i) (h θ x i y i )x 1 (i) θ n = θ 1 α m (h θ x i y i (i) )x n i=1 Искаме да направим векторна реализация на алгоритъма във вида θ = θ αβ, където β е вектор. Изберете правилния вариант на векторната имплементация: а) θ = θ α 1 σ m i=1 m [ h θ x i y i. x (i) ] б) θ = θ α 1 [σ m i=1 m (h θ x i y i ]. x (i) в) θ = θ α 1 m x(i) [σ m i=1 (h θ x i y i ] г) Всички изброени
12 Векторна форма на градиентното спускане θ θ α m XT (g Xθ Ԧy)
13 Класификация за множество класове Обобщаваме класификационната задача за случаи, в които имаме повече от две възможности за y, т.е вместо y = {0,1} възможните изходи са y = 0,1,, n Можем да разделим задачата на n + 1 бинарни класификационни задачи, във всяка от които предсказваме вероятността y да принадлежи на всеки от n класа, т.е.: y = 0,1,, n h 0 θ x = P y = 0 x ; θ) h 1 θ x = P y = 1 x ; θ) h n θ x = P y = n x ; θ) i Резултат = max i (h θ x )
14 Алгоритъм Първоначална избираме един клас, а всички останали отделяме в друг клас. Решаваме бинарна класификационна задача. Повтаряме това за всеки възможен клас. Накрая избираме прогнозата с най-висока вероятност.
15 Пример за класификация с 3 възможни класа
16 Обобщение Обучаваме хипотеза с логаритмична регресия (логаритмичен класификатор) h θ (x) за всеки възможен клас i определяме вероятността за y=i За да определим към кой клас принадлежи неизвестна променлива x, избираме класа с максимална h θ (x)
Машинно обучение - въведение
Линейна регресия с една променлива Доц. д-р Ивайло Пенев Кат. Компютърни науки и технологии Пример 1 Данни за цени на къщи Площ (x) Означения: Цена в $ (y) 2104 460 000 1416 232 000 1534 315 000 852 178
ПодробноМашинно обучение Лабораторно упражнение 9 Класификация с множество класове. Представяне на невронна мрежа Упражнението демонстрира класификация в множ
Машинно обучение Лабораторно упражнение 9 Класификация с множество класове. Представяне на невронна мрежа Упражнението демонстрира класификация в множество класове чрез методи логаритмична регресия и невронни
ПодробноМашинно обучение Лабораторно упражнение 4 Линейна регресия и градиентно спускане Целта на упражнението е да се реализира линейна регресия, в която фун
Машинно обучение Лабораторно упражнение 4 Линейна регресия и градиентно спускане Целта на упражнението е да се реализира линейна регресия, в която функцията на цената се минимизира чрез градиентно спускане.
ПодробноI
. Числено решаване на уравнения - метод на Нютон. СЛАУ - метод на проста итерация. Приближено решаване на нелинейни уравнения Метод на допирателните (Метод на Нютон) Това е метод за приближено решаване
Подробноmunss2.dvi
ОТГОВОРИ И РЕШЕНИЯ 3(x + y)(x xy + y )y(x y) 1. (Б) Преобразуваме: (x y)(x + y)(x + y ) x(x xy + y ) = 3y (x + y)(x y) x = (x + y ) 3 y x y x x + y = 3 y x (x y ) 1 ( x y ) + 1 = 3 ( 3 ) 1 9 3 ( 3 ) +
ПодробноMicrosoft Word - stokdovo saprotivlenie.doc
Движения при наличие на Стоксово съпротивление При един често срещан вид движения неподвижно тяло започва да се движи под действие на сила с постоянна посока Ако върху тялото действа и Стоксова съпротивителна
ПодробноАнализ и оптимизация на софтуерни приложения
Анализ и оптимизация на софтуерни приложения Александър Пенев Васил Василев Съдържание 1. Какво е векторизация? 2. Примери 3. на цикли 4. Масиви от структури или структури от масиви 5. на при различни
ПодробноВариант 1 Писмен Изпит по Дискретни Структури 14/02/2018 г. Оценката се образува по следния начин: 2 + бр. точки, Наредени двойки бележим с ъглови ско
Вариант Писмен Изпит по Дискретни Структури 4/02/208 г. Оценката се образува по следния начин: 2 + бр. точки, Наредени двойки бележим с ъглови скоби, напр., b. Зад.. Намерете: а) (0.25 т.) подмножествата
ПодробноМашинно обучение - въведение
Машинно обучение - въведение Доц. д-р Ивайло Пенев Кат. Компютърни науки и технологии Примери за машинно обучение Извличане на данни (database mining) натрупване на данни от web, напр. действия на потребители
ПодробноMicrosoft Word - VM22 SEC55.doc
Лекция 5 5 Диференциални уравнения от първи ред Основни определения Диференциално уравнение се нарича уравнение в което участват известен брой производни на търсената функция В общия случай ( n) диференциалното
ПодробноMicrosoft Word - VM-2-7-integrirane-na-racionalni-funkcii-seminar.doc
7. Интегриране на рационални функции Съдържание. Пресмятане на неопределен интеграл от елементарни дроби. Интегриране на правилни рационални функции. Интегриране на неправилни рационални функции ТЕОРИЯ
ПодробноKontrolno 5, variant 1
N P - П Ъ Л Н И З А Д А Ч И КОНТРОЛНО 5 ПО ДИЗАЙН И АНАЛИЗ НА АЛГОРИТМИ СУ, ФМИ ( ЗА СПЕЦИАЛНОСТ КОМПЮТЪРНИ НАУКИ, 1. ПОТОК; 3 МАЙ 018 Г. ) Задача 1. Разглеждаме задачата за разпознаване LongestCycle:
ПодробноПредефиниране на оператори. Копиращ конструктор. Оператор за присвояване Любомир Чорбаджиев Технологическо училище Електронни системи Технически униве
Предефиниране на оператори. Копиращ конструктор. Оператор за присвояване Любомир Чорбаджиев Технологическо училище Електронни системи Технически университет, София lchorbadjiev@elsys-bg.org Revision :
ПодробноMicrosoft Word - Sem02_KH_VM2-19.doc
Семинар Действия с матрици. Собствени стойности и собствени вектори на матрици. Привеждане на квадратична форма в каноничен вид. Матрица k всяка правоъгълна таблица от k-реда и -стълба. Квадратна матрица
ПодробноПЛОВДИВСКИ УНИВЕРСИТЕТ
. Интерполиране с алгебрични полиноми - полином на Лагранж. Оценка на грешката. Метод на най-малките квадрати. Програмиране на методите и визуализация. Интерполационен полином на Лагранж Това е метод за
ПодробноMicrosoft Word - VM-LECTURE06.doc
Лекция 6 6 Уравнения на права и равнина Уравнение на права в равнината Тук ще разглеждаме равнина в която е зададена положително ориентирана декартова координатна система O с ортонормиран базис i и j по
Подробно16. Основни методи за интегриране. Интегриране на някои класове функции Интегриране по части. Теорема 1 (Формула за интегриране по части). Ако
6. Основни методи за интегриране. Интегриране на някои класове функции. 6.. Интегриране по части. Теорема (Формула за интегриране по части). Ако функциите f(x) и g(x) садиференцируеми в интервала (a, b)
ПодробноУправление на перална машина с размита логика Пералните машини в наши дни са обикновен уред в дома. Най-голяма изгода, която потребителя получава от п
Управление на перална машина с размита логика Пералните машини в наши дни са обикновен уред в дома. Най-голяма изгода, която потребителя получава от пералната машина е, че имат почистване, центрофугиране
ПодробноОсновен вариант за клас Задача 1. (4 точки) На графиката на полином a n x n + a n 1 x n a 1 x + a 0, чиито коефициенти a n, a n 1,..., a 1
Основен вариант за 10 12 клас Задача 1. (4 точки) На графиката на полином a n x n + a n 1 x n 1 + + a 1 x + a 0, чиито коефициенти a n, a n 1,..., a 1, a 0 са цели числа, са отбелязани две точки с целочислени
Подробноmunss2.dvi
ОТГОВОРИ И РЕШЕНИЯ 1. (В) Даденото неравенство няма смисъл, в случай че някой от знаменателите на двата дробни израза е равен на нула. Тъй като x 4 = (x+)(x ), то x 4 = 0 за x = и за x =. Понеже x +3 >
ПодробноРекурсия Трифон Трифонов Увод в програмирането, спец. Компютърни науки, 1 поток, спец. Софтуерно инженерство, 2016/17 г. 21 декември 2016 г. 4 януари
Рекурсия Трифон Трифонов Увод в програмирането, спец. Компютърни науки, 1 поток, спец. Софтуерно инженерство, 2016/17 г. 21 декември 2016 г. 4 януари 2017 г. Трифон Трифонов (УП 16/17) Рекурсия 21.12.16
ПодробноИнформатика
ХИМИКОТЕХНОЛОГИЧЕН И МЕТАЛУРГИЧЕН УНИВЕРСИТЕТ - СОФИЯ ИНФОРМАТИКА част първа лектор: доц. д-р Атанас Атанасов Катедра Програмиране и използване на компютърни системи Лекция 3 ЛОГИЧЕСКИ ОСНОВИ НА КОМПЮТЪРНИТЕ
ПодробноHomework 3
Домашно 3 по дисциплината Дискретни структури за специалност Информатика I курс летен семестър на 2015/2016 уч г в СУ ФМИ Домашната работа се дава на асистента в началото на упражнението на 25 26 май 2016
ПодробноMicrosoft Word - IGM-SER1111.doc
Лекция Редове на Фурие поточкова сходимост Теорема на Дирихле Тук ще разглеждаме -периодична функция ( ) която ще искаме да бъде гладка по части Това означава че интервала ( ) може да се раздели на отделни
ПодробноГлава 5 Критерий за субхармоничност Да разгледаме някои общи свойства на полу-непрекъснатите отгоре функции, преди да се съсредоточим върху онези от т
Глава 5 Критерий за субхармоничност Да разгледаме някои общи свойства на полу-непрекъснатите отгоре функции, преди да се съсредоточим върху онези от тях, които са субхармонични. Лема-Определение 5.1. Нека
Подробно8 клас
............ трите имена на ученика клас училище Прочетете внимателно указанията, преди да започнете решаването на теста! Формат на теста Тестът съдържа 7 задачи по математика. 7 задачи от двата вида:
Подробногодишно разпределение по математика за 8. клас 36 учебни седмици по 3 учебни часа = 108 учебни часа I срок 18 учебни седмици = 54 учебни часа II срок
годишно разпределение по математика за 8. клас 36 учебни седмици по 3 учебни часа = 08 учебни часа I срок 8 учебни седмици = 54 учебни часа II срок 8 учебни седмици = 54 учебни часа на урок Вид на урока
ПодробноSlide 1
Списъци. Структура и синтаксис. Създаване и показване. Основни операции(добавяне, изваждане на елемент или цял подсписък; подреждане). Трансформации. проф. дмн С. Христова Списъци Списъците / list са основна
ПодробноСеминар 5: Обикновени диференциални уравнения (ОДУ)
Семинар 5 Обикновени диференциални уравнения Обикновени диференциални уравнения с разделящи се променливи: dy dy =X)Yy) =X) + C Yy) Ако е зададено гранично условие, то намираме частно решение (ЧР): y )
ПодробноГлава 4 Раздуване на комплексно многообразие в точка. Векторни разслоения. Нека M е комплексно многообразие с размерност dim p M = n в точка p M. Разд
Глава 4 Раздуване на комплексно многообразие в точка. Векторни разслоения. Нека M е комплексно многообразие с размерност dim p M = в точка p M. Раздуването на M в p заменя точката p с проективно пространство
ПодробноBULGARIAN PARTICIPATION IN THE SPS AND PS EXPERIMENTS
Молекулно-динамични симулации в различни термодинамични ансамбли Каноничен ансамбъл като Ако малката система е състои от една частица Брой на клетките във фазовото пространство, където може да се намира
ПодробноПроектиране на непрекъснат ПИД - регулатор. Динамичните свойства на системите за автоматично регулиране, при реализация на първия етап от проектиранет
Проектиране на непрекъснат П - регулатор инамичните свойства на системите за автоматично регулиране, при реализация на първия етап от проектирането им, могат да се окажат незадоволителни по отношение на
Подробно(не)разложимост на полиноми с рационални коефициенти Велико Дончев Допълнителен материал за студентите по Висша алгебра и Алгебра 2 на ФМИ 1 Предварит
(не)разложимост на полиноми с рационални коефициенти Велико Дончев Допълнителен материал за студентите по Висша алгебра и Алгебра 2 на ФМИ 1 Предварителни сведения и твърдения Както е ясно от основната
ПодробноГлава 15 Въпрос 15: Оператор на Рейнолдс. Крайна породеност на пръстена от инвариантни полиноми на крайна матрична група. Навсякъде в настоящия въпрос
Глава 15 Въпрос 15: Оператор на Рейнолдс. Крайна породеност на пръстена от инвариантни полиноми на крайна матрична група. Навсякъде в настоящия въпрос полето k е с характеристика char(k = 0. За произволни
ПодробноMicrosoft Word - VypBIOL-06-rabota.doc
ВЪПРОС 6 МЕХАНИЧНА РАБОТА И МОЩНОСТ КИНЕТИЧНА И ПОТЕНЦИАЛНА ЕНЕРГИЯ Във въпроса Механична работа и мощност Кинетична и потенциална енергия вие ще се запознаете със следните величини, понятия и закони,
ПодробноПРОЧЕТЕТЕ ВНИМАТЕЛНО СЛЕДНИТЕ УКАЗАНИЯ:
М И Н И С Т Е Р С Т В О Н А О Б Р А З О В А Н И Е Т О И Н А У К А Т А ДЪРЖАВЕН ЗРЕЛОСТЕН ИЗПИТ ПО МАТЕМАТИКА 6 май 9 г. Вариант УВАЖАЕМИ ЗРЕЛОСТНИЦИ, Тестът съдържа 8 задачи по математика от два вида:
ПодробноExam, SU, FMI,
Поправителен изпит по Дискретни структури задачи СУ ФМИ 29. 08. 2016 г. Име: ФН: Спец.: Курс: Задача 1 2 3 4 5 Общо получени точки максимум точки 20 20 35 30 30 135 Забележка: За отлична оценка са достатъчни
ПодробноM10_18.dvi
СЪДЪРЖАНИЕ Тема. Начален преговор Началенпреговор.Алгебра... 7 Началенпреговор.Геометрия... Тема. Ирационални изрази. Ирационални уравнения. Ирационални изрази.... 5. Преобразуване на ирационални изрази...
ПодробноScan Tailor Кратко ръководство за работа Преди време описах как се работи с програмата Scan Kromsator. Сега искам да Ви представя една друга програма,
Scan Tailor Кратко ръководство за работа Преди време описах как се работи с програмата Scan Kromsator. Сега искам да Ви представя една друга програма, която набира популярност сред любителите на електронните
ПодробноMicrosoft PowerPoint - tema_5,PM_web.ppt
Дефиниция: Казваме, че сл.в. Х е непрекъсната, ако съществува интегруема функция f, дефинирана в R такава, че за всяко реално х Плътност на непрекъсната случайна величина F e F f s ds Функция на разпределение
Подробно