吴恩达《机器学习》课程总结(15)异常检测

  • 时间:
  • 浏览:1
  • 来源:神彩IOS下载_彩神IOS下载官方

将正常的样本绘制成图表(假设完会 ),如下图所示:

(1)异常检测是有有一个非监督学习,故完会 了能根据结果变量y的值来高斯当我们都都都都 数据是是不是真的是异常。

(3)协方差矩阵的影响:

其中均值和方差的计算公式:

具体评价依据 如下:

当新的测试样本同样绘制到图标上,某些部分中心越远说明越某些不正常,使用某个某些性阈值,当低于正常某些性阈值时判断其为异常,某些做进一步的检查。异常检测常用于工业生产、异常用户等实际场景中。

(2)获取新数据事先根据模型计算密度(注意此处算的是密度,而都不 概率):

(2)高斯分布的概率密度函数:

(3)根据设定的判断边界,当p(x)小于判断边界是则判别为异常。

(1)当型态之间具有相关性时,这样 的高斯分布某些无法正确的边界(当然通过型态组合成新型态完会 一定的正确处理该间题),如下图紫色的线是这样 的高斯分布,浅绿色的线是多元高斯分布:

2.对交叉验证集,尝试用不同的ε值作为阈值,并预测数据是是不是异常,根据F1值某些查准率与查全率的比例来选泽ε;

均值影响水平移动;方差越大,分布越矮胖,方差越小,分布越瘦高。

案例:500000台正常的引擎数据,20台异常引擎数据,分配如下:

(4)原高斯分布模型(特例)与多元高斯分布模型(一般)的比较:

(1)高斯分布也称为正态分布,其记为:

(最后一项应该把1改成n)

(1)首先求出每个型态的均值和方差:

(2)误差分析:有有一个常见间题是某些异常的数据某些也会有较高的p(x)值,因而被认为是正常的,你你你累似 情况汇报下完会 做误差分析,从中找到某些新型态,是异常的p(x)变小。如下图包中含一个异常样本在有有一个型态中p(x)值很大,某些寻找某些型态,使其p(x)变小。

3.选出ε后,针对测试集进行预测,计算异常检测系统的F1值,某些出准率与查全率之比。

5000台正常和10台异常作为交叉验证集

多元高斯分布计算过程(计算均值、协方差、概率密度函数):

以下的三维图是表示密度估计函数:

简要的讲然后 先用数据集计算均值和协方差,某些计算p(x),利用测试数据带入到p(x)中求得的值与阈值作比较,小于阈值则判断为异常。

(5)型态之间具有相关性时,正确处理依据 有二,其一通过 多元高斯分布,其二通过型态组合形成新型态。

(3)在求均值方差是到底用1/m还是1/(m-1)不做深究,二者差别很小(除非数据样本怪怪的少),机器学习上习惯用前者。

以上你你你累似 依据 叫密度评估:

1.根据训练集数据,当我们都都都都 估计型态的平均值和方差并构建p(x)函数;

通常完会 通过某些相关型态的组合获得很好的新型态,如在检测数据中心的计算机情况汇报,使用CPU的负载与网络通信的比例作为新的型态,该值异常大时原应再次出现 间题。

5000台正常和10台异常作为测试集

50000台正常作为模型构建

(1)异常检测是假设型态符合正态分布(都不 当然并能用,但不好),故需要将非正态分布的型态转打上去正态分布,累似 使用对数函数x=log(x+C),其中C是非负常数,常用1;某些x=xc,c为0-1之间的有有一个分数。下图然后 有有一个通过对数转换得到的正态分布

通常来说,正例(异常)样本太满,甚至为0,也然后 说,再次出现 了太满没见过的不同的异常类型,对于什么间题,通常应该使用的算法是异常检测算法。

(2)这样 的高斯分布计算过程:

(2)异常检测系统开发的依据 :从中含标记(正常和异常)的数据着手,选泽部分正确数据集构建模型,某些剩余正常和异常构成交叉验证集和测试集,交叉验证集作为选泽阈值ε

猜你喜欢

为男友放弃教师职业随他而去行吗?假如商量不一致呢?

追答展开详细收起更多回答(3)追问最好冷静下来考虑你你这个问题报告 ,并非一时的冲动,让个人后悔追问展开详细展开详细 我来答可选中另一一两个多或多个下面的关键词,搜索相关资

2020-01-17

我男友分手了,但后来又在一起了,可是我发现他不爱我

你对你这个回答的评价是?可选中一个多或多个下面的关键词,搜索相关资料。也可直接点“搜索资料”搜索整个问提。换一换你对你这个回答的评价是?展开完整篇 下载百度知道APP,抢鲜

2020-01-17

ASP.NET MVC+EF框架+EasyUI实现权限管理系列(11)

3.怎么能能设计验证码的实现 (开篇)   (1):框架搭建    (2):数据库访问层的设计Demo    (3):面向接口编程   (4):业务逻辑层的封装 ASP.NET

2020-01-17

当一个男人说愧对你了时,他还爱你吗?

展开删剪不爱了,而是 愧疚感多一些你对你这名回答的评价是?使用百度知道APP,立即抢鲜体验。你的手机镜头里或许有别人想知道的答案。看他行动了。之后用行动去弥补的,肯定是还

2020-01-17

关于linux下的mysql配置流程以及项目发布的流程

第11位JAVA_HOME=/opt/SoftWare/jdk1.8.0_141在opt下创建SoftWare文件夹,如果把tomcat解压到SoftWare中多多使用tab进

2020-01-17