吴恩达《机器学习》课程总结(15)异常检测

  • 时间:
  • 浏览:6
  • 来源:神彩IOS下载_彩神IOS下载官方

将正常的样本绘制成图表(假设完会 ),如下图所示:

(1)异常检测是有有一个非监督学习,故完会 了能根据结果变量y的值来高斯当我们都都都都 数据是是不是真的是异常。

(3)协方差矩阵的影响:

其中均值和方差的计算公式:

具体评价依据 如下:

当新的测试样本同样绘制到图标上,某些部分中心越远说明越某些不正常,使用某个某些性阈值,当低于正常某些性阈值时判断其为异常,某些做进一步的检查。异常检测常用于工业生产、异常用户等实际场景中。

(2)获取新数据事先根据模型计算密度(注意此处算的是密度,而都不 概率):

(2)高斯分布的概率密度函数:

(3)根据设定的判断边界,当p(x)小于判断边界是则判别为异常。

(1)当型态之间具有相关性时,这样 的高斯分布某些无法正确的边界(当然通过型态组合成新型态完会 一定的正确处理该间题),如下图紫色的线是这样 的高斯分布,浅绿色的线是多元高斯分布:

2.对交叉验证集,尝试用不同的ε值作为阈值,并预测数据是是不是异常,根据F1值某些查准率与查全率的比例来选泽ε;

均值影响水平移动;方差越大,分布越矮胖,方差越小,分布越瘦高。

案例:500000台正常的引擎数据,20台异常引擎数据,分配如下:

(4)原高斯分布模型(特例)与多元高斯分布模型(一般)的比较:

(1)高斯分布也称为正态分布,其记为:

(最后一项应该把1改成n)

(1)首先求出每个型态的均值和方差:

(2)误差分析:有有一个常见间题是某些异常的数据某些也会有较高的p(x)值,因而被认为是正常的,你你你累似 情况汇报下完会 做误差分析,从中找到某些新型态,是异常的p(x)变小。如下图包中含一个异常样本在有有一个型态中p(x)值很大,某些寻找某些型态,使其p(x)变小。

3.选出ε后,针对测试集进行预测,计算异常检测系统的F1值,某些出准率与查全率之比。

5000台正常和10台异常作为交叉验证集

多元高斯分布计算过程(计算均值、协方差、概率密度函数):

以下的三维图是表示密度估计函数:

简要的讲然后 先用数据集计算均值和协方差,某些计算p(x),利用测试数据带入到p(x)中求得的值与阈值作比较,小于阈值则判断为异常。

(5)型态之间具有相关性时,正确处理依据 有二,其一通过 多元高斯分布,其二通过型态组合形成新型态。

(3)在求均值方差是到底用1/m还是1/(m-1)不做深究,二者差别很小(除非数据样本怪怪的少),机器学习上习惯用前者。

以上你你你累似 依据 叫密度评估:

1.根据训练集数据,当我们都都都都 估计型态的平均值和方差并构建p(x)函数;

通常完会 通过某些相关型态的组合获得很好的新型态,如在检测数据中心的计算机情况汇报,使用CPU的负载与网络通信的比例作为新的型态,该值异常大时原应再次出现 间题。

5000台正常和10台异常作为测试集

50000台正常作为模型构建

(1)异常检测是假设型态符合正态分布(都不 当然并能用,但不好),故需要将非正态分布的型态转打上去正态分布,累似 使用对数函数x=log(x+C),其中C是非负常数,常用1;某些x=xc,c为0-1之间的有有一个分数。下图然后 有有一个通过对数转换得到的正态分布

通常来说,正例(异常)样本太满,甚至为0,也然后 说,再次出现 了太满没见过的不同的异常类型,对于什么间题,通常应该使用的算法是异常检测算法。

(2)这样 的高斯分布计算过程:

(2)异常检测系统开发的依据 :从中含标记(正常和异常)的数据着手,选泽部分正确数据集构建模型,某些剩余正常和异常构成交叉验证集和测试集,交叉验证集作为选泽阈值ε

猜你喜欢

1972252231132403的主页

前几天,在阿里巴巴的一个多小黑屋里,5名对代码有着极致追求的守护tcp连接员参与了阿里代码领域最高荣誉“多隆奖”最终角逐(多隆作为淘宝的第一代守护tcp连接员,也是统统技术人心

2020-02-16

怎么说服父母给我换手机

展开完全无需换了,手机能用就行,让人 你还是把你更多的时间用在学习上比较实际。有有一一两当时人魅力都是 来自于他拿的是那些手机,却说当时人的综合素质。可能你真是是想换个手机

2020-02-16

15岁学生玩手机被扣跳楼身亡,是老师的错还是家长

培养孩子良好的习惯,我想要的思维法子变得乐观积极要培养孩子某方面的特长,我想要在小伙伴身旁有优势。蕴含读书成绩好可能性打篮球厉害不让说对孩子这麼鼓励的声音,鼓励是培养孩子很好的

2020-02-16

我家孩子初二突然不想上学了,天天抱着手机看,怎么说也不听该怎么办?

为你推荐:要不你就可不可以给他做有一个多 链表,那我可不可以利于他的学习。安徽新东方烹饪专修学院是经国家劳动部门批准成立的大型烹饪专业院校,成立于1988年,是以培养国家烹调

2020-02-16

阿里开发者技术社群键盘图【全网首发,10万开发者的大社群】

【直播预告】阿里高级开发工程师加多:高度剖析Java并发编程系列(第一讲)【直播预告】阿里技术专家煮茶:redis主从克隆好友基本原理5月云栖社区最新技术活动预告【直播预告】云

2020-02-16