Логаритмична регресия

Размер: px
Започни от страница:

Download "Логаритмична регресия"

Препис

1 Логаритмична регресия Доц. д-р Ивайло Пенев Кат. Компютърни науки и технологии

2 Функция на хипотезата h θ x = g θ T x = e θt x

3 Функция на цената J θ = 1 σ m i=1 m Cost(h θ x i, y i ), където Cost(h θ x i, y i = log h θ x за y = 1 Cost(h θ x i, y i = log 1 h θ x за y = 0

4 J(theta) J(theta) Графично представяне на J θ 2,5 При y=1 2,5 При y= ,5 1 1,5 0, ,2 0,4 0,6 0,8 1 1,2 htheta(x) 0, ,2 0,4 0,6 0,8 1 1,2 htheta(x)

5 Обяснение Cost(h θ x), y = 0, ако h θ x = y Cost(h θ x), y, ако y = 0 и h θ (x) 1 Cost(h θ x), y, ако y = 1 и h θ (x) 0 Ако при обучението коректният резултат е y = 0, то цената ще бъде 0 при h θ (x)=0 (т.е. при прогноза 0). Ако прогнозата е поголяма от 0, то цената ще се увеличава (Cost(h θ x), y ) Ако при обучението коректният резултат е y = 1, то цената ще бъде 0 при h θ (x)=1 (т.е. при прогноза 1). Ако прогнозата е помалка от 1, то цената ще се увеличава (Cost(h θ x), y )

6 Контролен въпрос В логаритмичната регресия функцията на цената има следният вид: Cost(h θ x), y = log h θ x за y = 1 Cost(h θ x), y = log 1 h θ x за y = 0 Отбележете всички верни отговори: а) Ако h θ x = y, то cost(h θ x), y = 0 за y=0 и y=1 б) Ако y=0, то cost(h θ x), y при h θ (x) 1 в) Ако y=0, то cost(h θ x), y при h θ (x) 0 г) Ако h θ x = 0.5, то cost(h θ x), y > 0 за y=0 и y=1

7 Опростена функция на цената Двата случая на ф-та на цената (за y=0 и y=1) могат да бъдат обединени: Cost(h θ x), y = ylog h θ x 1 y log(1 h θ x ) При y=1 => Cost(h θ x), y = ylog h θ x При y=0 => Cost(h θ x), y = 1 y log(1 h θ x ) Следователно ф-та на цената може да се представи: m J θ = 1 m i=1 [y i log(h θ x i + 1 y i log(1 h θ x i )]

8 Векторна форма на функцията на цената Ако ф-та на цената за всички обучителни примери е: m J θ = 1 m [y i log(h θ x i + 1 y i log(1 h θ x i )] i=1, то във векторна форма ф-та може да се запише така: h = g Xθ J θ = 1 m. ( yt log h 1 y T log 1 h )

9 Градиентно спускане Общ вид: Повтаряй: { θ j = θ j α J(θ) θ j } След диференцирането на J(θ) се получава: Повтаряй: { m θ j = θ j α m i=1 } (h θ x i y i )x j (i)

10 Контролен въпрос Прилагаме градиентно спускане в логаритмична регресия за намиране на стойностите на параметрите θ. Как ще проверим дали сме избрали подходяща стойност на скоростта на обучение α и дали градиентното спускане работи правилно? а) Чертаем графиката на ф-та J θ = 1 σ m i=1 m (h θ x (i) y (i) ) 2, като по абсцисната ос нанасяме броя на итерациите. Проверяваме дали стойността на J θ намалява на всяка следваща итерация б) Чертаем графиката на ф-та J θ = 1 σ m i=1 m [y i log(h θ x i + ൫1

11 Контролен въпрос При градиентно спускане на всяка итерация се изпълняват следните операции: m θ 0 = θ 0 α m i=1 m θ 1 = θ 1 α m i=1... m (h θ x i y i )x 0 (i) (h θ x i y i )x 1 (i) θ n = θ 1 α m (h θ x i y i (i) )x n i=1 Искаме да направим векторна реализация на алгоритъма във вида θ = θ αβ, където β е вектор. Изберете правилния вариант на векторната имплементация: а) θ = θ α 1 σ m i=1 m [ h θ x i y i. x (i) ] б) θ = θ α 1 [σ m i=1 m (h θ x i y i ]. x (i) в) θ = θ α 1 m x(i) [σ m i=1 (h θ x i y i ] г) Всички изброени

12 Векторна форма на градиентното спускане θ θ α m XT (g Xθ Ԧy)

13 Класификация за множество класове Обобщаваме класификационната задача за случаи, в които имаме повече от две възможности за y, т.е вместо y = {0,1} възможните изходи са y = 0,1,, n Можем да разделим задачата на n + 1 бинарни класификационни задачи, във всяка от които предсказваме вероятността y да принадлежи на всеки от n класа, т.е.: y = 0,1,, n h 0 θ x = P y = 0 x ; θ) h 1 θ x = P y = 1 x ; θ) h n θ x = P y = n x ; θ) i Резултат = max i (h θ x )

14 Алгоритъм Първоначална избираме един клас, а всички останали отделяме в друг клас. Решаваме бинарна класификационна задача. Повтаряме това за всеки възможен клас. Накрая избираме прогнозата с най-висока вероятност.

15 Пример за класификация с 3 възможни класа

16 Обобщение Обучаваме хипотеза с логаритмична регресия (логаритмичен класификатор) h θ (x) за всеки възможен клас i определяме вероятността за y=i За да определим към кой клас принадлежи неизвестна променлива x, избираме класа с максимална h θ (x)

Машинно обучение - въведение

Машинно обучение - въведение Линейна регресия с една променлива Доц. д-р Ивайло Пенев Кат. Компютърни науки и технологии Пример 1 Данни за цени на къщи Площ (x) Означения: Цена в $ (y) 2104 460 000 1416 232 000 1534 315 000 852 178

Подробно

Машинно обучение Лабораторно упражнение 9 Класификация с множество класове. Представяне на невронна мрежа Упражнението демонстрира класификация в множ

Машинно обучение Лабораторно упражнение 9 Класификация с множество класове. Представяне на невронна мрежа Упражнението демонстрира класификация в множ Машинно обучение Лабораторно упражнение 9 Класификация с множество класове. Представяне на невронна мрежа Упражнението демонстрира класификация в множество класове чрез методи логаритмична регресия и невронни

Подробно

Машинно обучение Лабораторно упражнение 4 Линейна регресия и градиентно спускане Целта на упражнението е да се реализира линейна регресия, в която фун

Машинно обучение Лабораторно упражнение 4 Линейна регресия и градиентно спускане Целта на упражнението е да се реализира линейна регресия, в която фун Машинно обучение Лабораторно упражнение 4 Линейна регресия и градиентно спускане Целта на упражнението е да се реализира линейна регресия, в която функцията на цената се минимизира чрез градиентно спускане.

Подробно

I

I . Числено решаване на уравнения - метод на Нютон. СЛАУ - метод на проста итерация. Приближено решаване на нелинейни уравнения Метод на допирателните (Метод на Нютон) Това е метод за приближено решаване

Подробно

munss2.dvi

munss2.dvi ОТГОВОРИ И РЕШЕНИЯ 3(x + y)(x xy + y )y(x y) 1. (Б) Преобразуваме: (x y)(x + y)(x + y ) x(x xy + y ) = 3y (x + y)(x y) x = (x + y ) 3 y x y x x + y = 3 y x (x y ) 1 ( x y ) + 1 = 3 ( 3 ) 1 9 3 ( 3 ) +

Подробно

Microsoft Word - stokdovo saprotivlenie.doc

Microsoft Word - stokdovo saprotivlenie.doc Движения при наличие на Стоксово съпротивление При един често срещан вид движения неподвижно тяло започва да се движи под действие на сила с постоянна посока Ако върху тялото действа и Стоксова съпротивителна

Подробно

Анализ и оптимизация на софтуерни приложения

Анализ и оптимизация на софтуерни приложения Анализ и оптимизация на софтуерни приложения Александър Пенев Васил Василев Съдържание 1. Какво е векторизация? 2. Примери 3. на цикли 4. Масиви от структури или структури от масиви 5. на при различни

Подробно

Вариант 1 Писмен Изпит по Дискретни Структури 14/02/2018 г. Оценката се образува по следния начин: 2 + бр. точки, Наредени двойки бележим с ъглови ско

Вариант 1 Писмен Изпит по Дискретни Структури 14/02/2018 г. Оценката се образува по следния начин: 2 + бр. точки, Наредени двойки бележим с ъглови ско Вариант Писмен Изпит по Дискретни Структури 4/02/208 г. Оценката се образува по следния начин: 2 + бр. точки, Наредени двойки бележим с ъглови скоби, напр., b. Зад.. Намерете: а) (0.25 т.) подмножествата

Подробно

Машинно обучение - въведение

Машинно обучение - въведение Машинно обучение - въведение Доц. д-р Ивайло Пенев Кат. Компютърни науки и технологии Примери за машинно обучение Извличане на данни (database mining) натрупване на данни от web, напр. действия на потребители

Подробно

Microsoft Word - VM22 SEC55.doc

Microsoft Word - VM22 SEC55.doc Лекция 5 5 Диференциални уравнения от първи ред Основни определения Диференциално уравнение се нарича уравнение в което участват известен брой производни на търсената функция В общия случай ( n) диференциалното

Подробно

Microsoft Word - VM-2-7-integrirane-na-racionalni-funkcii-seminar.doc

Microsoft Word - VM-2-7-integrirane-na-racionalni-funkcii-seminar.doc 7. Интегриране на рационални функции Съдържание. Пресмятане на неопределен интеграл от елементарни дроби. Интегриране на правилни рационални функции. Интегриране на неправилни рационални функции ТЕОРИЯ

Подробно

Kontrolno 5, variant 1

Kontrolno 5, variant 1 N P - П Ъ Л Н И З А Д А Ч И КОНТРОЛНО 5 ПО ДИЗАЙН И АНАЛИЗ НА АЛГОРИТМИ СУ, ФМИ ( ЗА СПЕЦИАЛНОСТ КОМПЮТЪРНИ НАУКИ, 1. ПОТОК; 3 МАЙ 018 Г. ) Задача 1. Разглеждаме задачата за разпознаване LongestCycle:

Подробно

Предефиниране на оператори. Копиращ конструктор. Оператор за присвояване Любомир Чорбаджиев Технологическо училище Електронни системи Технически униве

Предефиниране на оператори. Копиращ конструктор. Оператор за присвояване Любомир Чорбаджиев Технологическо училище Електронни системи Технически униве Предефиниране на оператори. Копиращ конструктор. Оператор за присвояване Любомир Чорбаджиев Технологическо училище Електронни системи Технически университет, София lchorbadjiev@elsys-bg.org Revision :

Подробно

Microsoft Word - Sem02_KH_VM2-19.doc

Microsoft Word - Sem02_KH_VM2-19.doc Семинар Действия с матрици. Собствени стойности и собствени вектори на матрици. Привеждане на квадратична форма в каноничен вид. Матрица k всяка правоъгълна таблица от k-реда и -стълба. Квадратна матрица

Подробно

ПЛОВДИВСКИ УНИВЕРСИТЕТ

ПЛОВДИВСКИ УНИВЕРСИТЕТ . Интерполиране с алгебрични полиноми - полином на Лагранж. Оценка на грешката. Метод на най-малките квадрати. Програмиране на методите и визуализация. Интерполационен полином на Лагранж Това е метод за

Подробно

Microsoft Word - VM-LECTURE06.doc

Microsoft Word - VM-LECTURE06.doc Лекция 6 6 Уравнения на права и равнина Уравнение на права в равнината Тук ще разглеждаме равнина в която е зададена положително ориентирана декартова координатна система O с ортонормиран базис i и j по

Подробно

16. Основни методи за интегриране. Интегриране на някои класове функции Интегриране по части. Теорема 1 (Формула за интегриране по части). Ако

16. Основни методи за интегриране. Интегриране на някои класове функции Интегриране по части. Теорема 1 (Формула за интегриране по части). Ако 6. Основни методи за интегриране. Интегриране на някои класове функции. 6.. Интегриране по части. Теорема (Формула за интегриране по части). Ако функциите f(x) и g(x) садиференцируеми в интервала (a, b)

Подробно

Управление на перална машина с размита логика Пералните машини в наши дни са обикновен уред в дома. Най-голяма изгода, която потребителя получава от п

Управление на перална машина с размита логика Пералните машини в наши дни са обикновен уред в дома. Най-голяма изгода, която потребителя получава от п Управление на перална машина с размита логика Пералните машини в наши дни са обикновен уред в дома. Най-голяма изгода, която потребителя получава от пералната машина е, че имат почистване, центрофугиране

Подробно

Основен вариант за клас Задача 1. (4 точки) На графиката на полином a n x n + a n 1 x n a 1 x + a 0, чиито коефициенти a n, a n 1,..., a 1

Основен вариант за клас Задача 1. (4 точки) На графиката на полином a n x n + a n 1 x n a 1 x + a 0, чиито коефициенти a n, a n 1,..., a 1 Основен вариант за 10 12 клас Задача 1. (4 точки) На графиката на полином a n x n + a n 1 x n 1 + + a 1 x + a 0, чиито коефициенти a n, a n 1,..., a 1, a 0 са цели числа, са отбелязани две точки с целочислени

Подробно

munss2.dvi

munss2.dvi ОТГОВОРИ И РЕШЕНИЯ 1. (В) Даденото неравенство няма смисъл, в случай че някой от знаменателите на двата дробни израза е равен на нула. Тъй като x 4 = (x+)(x ), то x 4 = 0 за x = и за x =. Понеже x +3 >

Подробно

Рекурсия Трифон Трифонов Увод в програмирането, спец. Компютърни науки, 1 поток, спец. Софтуерно инженерство, 2016/17 г. 21 декември 2016 г. 4 януари

Рекурсия Трифон Трифонов Увод в програмирането, спец. Компютърни науки, 1 поток, спец. Софтуерно инженерство, 2016/17 г. 21 декември 2016 г. 4 януари Рекурсия Трифон Трифонов Увод в програмирането, спец. Компютърни науки, 1 поток, спец. Софтуерно инженерство, 2016/17 г. 21 декември 2016 г. 4 януари 2017 г. Трифон Трифонов (УП 16/17) Рекурсия 21.12.16

Подробно

Информатика

Информатика ХИМИКОТЕХНОЛОГИЧЕН И МЕТАЛУРГИЧЕН УНИВЕРСИТЕТ - СОФИЯ ИНФОРМАТИКА част първа лектор: доц. д-р Атанас Атанасов Катедра Програмиране и използване на компютърни системи Лекция 3 ЛОГИЧЕСКИ ОСНОВИ НА КОМПЮТЪРНИТЕ

Подробно

Homework 3

Homework 3 Домашно 3 по дисциплината Дискретни структури за специалност Информатика I курс летен семестър на 2015/2016 уч г в СУ ФМИ Домашната работа се дава на асистента в началото на упражнението на 25 26 май 2016

Подробно

Microsoft Word - IGM-SER1111.doc

Microsoft Word - IGM-SER1111.doc Лекция Редове на Фурие поточкова сходимост Теорема на Дирихле Тук ще разглеждаме -периодична функция ( ) която ще искаме да бъде гладка по части Това означава че интервала ( ) може да се раздели на отделни

Подробно

Глава 5 Критерий за субхармоничност Да разгледаме някои общи свойства на полу-непрекъснатите отгоре функции, преди да се съсредоточим върху онези от т

Глава 5 Критерий за субхармоничност Да разгледаме някои общи свойства на полу-непрекъснатите отгоре функции, преди да се съсредоточим върху онези от т Глава 5 Критерий за субхармоничност Да разгледаме някои общи свойства на полу-непрекъснатите отгоре функции, преди да се съсредоточим върху онези от тях, които са субхармонични. Лема-Определение 5.1. Нека

Подробно

8 клас

8 клас ............ трите имена на ученика клас училище Прочетете внимателно указанията, преди да започнете решаването на теста! Формат на теста Тестът съдържа 7 задачи по математика. 7 задачи от двата вида:

Подробно

годишно разпределение по математика за 8. клас 36 учебни седмици по 3 учебни часа = 108 учебни часа I срок 18 учебни седмици = 54 учебни часа II срок

годишно разпределение по математика за 8. клас 36 учебни седмици по 3 учебни часа = 108 учебни часа I срок 18 учебни седмици = 54 учебни часа II срок годишно разпределение по математика за 8. клас 36 учебни седмици по 3 учебни часа = 08 учебни часа I срок 8 учебни седмици = 54 учебни часа II срок 8 учебни седмици = 54 учебни часа на урок Вид на урока

Подробно

Slide 1

Slide 1 Списъци. Структура и синтаксис. Създаване и показване. Основни операции(добавяне, изваждане на елемент или цял подсписък; подреждане). Трансформации. проф. дмн С. Христова Списъци Списъците / list са основна

Подробно

Семинар 5: Обикновени диференциални уравнения (ОДУ)

Семинар 5: Обикновени диференциални уравнения (ОДУ) Семинар 5 Обикновени диференциални уравнения Обикновени диференциални уравнения с разделящи се променливи: dy dy =X)Yy) =X) + C Yy) Ако е зададено гранично условие, то намираме частно решение (ЧР): y )

Подробно

Глава 4 Раздуване на комплексно многообразие в точка. Векторни разслоения. Нека M е комплексно многообразие с размерност dim p M = n в точка p M. Разд

Глава 4 Раздуване на комплексно многообразие в точка. Векторни разслоения. Нека M е комплексно многообразие с размерност dim p M = n в точка p M. Разд Глава 4 Раздуване на комплексно многообразие в точка. Векторни разслоения. Нека M е комплексно многообразие с размерност dim p M = в точка p M. Раздуването на M в p заменя точката p с проективно пространство

Подробно

BULGARIAN PARTICIPATION IN THE SPS AND PS EXPERIMENTS

BULGARIAN PARTICIPATION IN THE SPS AND PS EXPERIMENTS Молекулно-динамични симулации в различни термодинамични ансамбли Каноничен ансамбъл като Ако малката система е състои от една частица Брой на клетките във фазовото пространство, където може да се намира

Подробно

Проектиране на непрекъснат ПИД - регулатор. Динамичните свойства на системите за автоматично регулиране, при реализация на първия етап от проектиранет

Проектиране на непрекъснат ПИД - регулатор. Динамичните свойства на системите за автоматично регулиране, при реализация на първия етап от проектиранет Проектиране на непрекъснат П - регулатор инамичните свойства на системите за автоматично регулиране, при реализация на първия етап от проектирането им, могат да се окажат незадоволителни по отношение на

Подробно

(не)разложимост на полиноми с рационални коефициенти Велико Дончев Допълнителен материал за студентите по Висша алгебра и Алгебра 2 на ФМИ 1 Предварит

(не)разложимост на полиноми с рационални коефициенти Велико Дончев Допълнителен материал за студентите по Висша алгебра и Алгебра 2 на ФМИ 1 Предварит (не)разложимост на полиноми с рационални коефициенти Велико Дончев Допълнителен материал за студентите по Висша алгебра и Алгебра 2 на ФМИ 1 Предварителни сведения и твърдения Както е ясно от основната

Подробно

Глава 15 Въпрос 15: Оператор на Рейнолдс. Крайна породеност на пръстена от инвариантни полиноми на крайна матрична група. Навсякъде в настоящия въпрос

Глава 15 Въпрос 15: Оператор на Рейнолдс. Крайна породеност на пръстена от инвариантни полиноми на крайна матрична група. Навсякъде в настоящия въпрос Глава 15 Въпрос 15: Оператор на Рейнолдс. Крайна породеност на пръстена от инвариантни полиноми на крайна матрична група. Навсякъде в настоящия въпрос полето k е с характеристика char(k = 0. За произволни

Подробно

Microsoft Word - VypBIOL-06-rabota.doc

Microsoft Word - VypBIOL-06-rabota.doc ВЪПРОС 6 МЕХАНИЧНА РАБОТА И МОЩНОСТ КИНЕТИЧНА И ПОТЕНЦИАЛНА ЕНЕРГИЯ Във въпроса Механична работа и мощност Кинетична и потенциална енергия вие ще се запознаете със следните величини, понятия и закони,

Подробно

ПРОЧЕТЕТЕ ВНИМАТЕЛНО СЛЕДНИТЕ УКАЗАНИЯ:

ПРОЧЕТЕТЕ ВНИМАТЕЛНО СЛЕДНИТЕ УКАЗАНИЯ: М И Н И С Т Е Р С Т В О Н А О Б Р А З О В А Н И Е Т О И Н А У К А Т А ДЪРЖАВЕН ЗРЕЛОСТЕН ИЗПИТ ПО МАТЕМАТИКА 6 май 9 г. Вариант УВАЖАЕМИ ЗРЕЛОСТНИЦИ, Тестът съдържа 8 задачи по математика от два вида:

Подробно

Exam, SU, FMI,

Exam, SU, FMI, Поправителен изпит по Дискретни структури задачи СУ ФМИ 29. 08. 2016 г. Име: ФН: Спец.: Курс: Задача 1 2 3 4 5 Общо получени точки максимум точки 20 20 35 30 30 135 Забележка: За отлична оценка са достатъчни

Подробно

M10_18.dvi

M10_18.dvi СЪДЪРЖАНИЕ Тема. Начален преговор Началенпреговор.Алгебра... 7 Началенпреговор.Геометрия... Тема. Ирационални изрази. Ирационални уравнения. Ирационални изрази.... 5. Преобразуване на ирационални изрази...

Подробно

Scan Tailor Кратко ръководство за работа Преди време описах как се работи с програмата Scan Kromsator. Сега искам да Ви представя една друга програма,

Scan Tailor Кратко ръководство за работа Преди време описах как се работи с програмата Scan Kromsator. Сега искам да Ви представя една друга програма, Scan Tailor Кратко ръководство за работа Преди време описах как се работи с програмата Scan Kromsator. Сега искам да Ви представя една друга програма, която набира популярност сред любителите на електронните

Подробно

Microsoft PowerPoint - tema_5,PM_web.ppt

Microsoft PowerPoint - tema_5,PM_web.ppt Дефиниция: Казваме, че сл.в. Х е непрекъсната, ако съществува интегруема функция f, дефинирана в R такава, че за всяко реално х Плътност на непрекъсната случайна величина F e F f s ds Функция на разпределение

Подробно