申请专栏作者
投稿发布
您的当前位置:主页 > yabo体育平台注册页 > 正文

机器学习的流程是怎样的呢?如何应用到实践中

来源: 时间:2019-03-05
请点击下面的广告后浏览!

机器学习是一种能够实现人工智能的技术,可以通过大量的yabo88滚球,训练出来一个处理yabo88滚球的模型。本文笔者将与大家分享:机器学习的相关实践应用。 可思yabo88滚球-www.sykv.cn,sykv.com

可思yabo88滚球sykv.com

我所理解的机器学习是一种能够实现人工智能的技术,建立能从经验(yabo88滚球)中进行学习的模型,从而使这个模型可以达到自行处理此类yabo88滚球的能力。

可思yabo88滚球sykv.com,sykv.cn

也可以理解为:通过大量的yabo88滚球,训练出一个能处理此类yabo88滚球的模型。使得这个模型可以根据已知的yabo88滚球,准确率很高的判断出未知的yabo88滚球,从而使得人类能够采取正确的方法去处理某些事情。

可思yabo88滚球-www.sykv.cn,sykv.com

想要了解机器学习你需要知道以下几点: 内容来自可思yabo88滚球sykv.com

一、机器学习的流程

从实际的应用场景出发,要训练出来一个能够适应某场景的模型需要经过以下几步: 可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

图1

可思yabo88滚球-人工智能资讯平台sykv.com

1. 场景解析

场景解析就是将业务逻辑,抽象成为通过算法能够解决的问题。

本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

比如:做一个心脏病预测系统,那么就可以抽象为二分类问题——要么有心脏病,要么没有。然后,根据已有的yabo88滚球看看有没有目标值,可以判断出:是监督学习还是无监督学习,还是半监督学习。从而,选择出能够处理好此类yabo88滚球的算法。

内容来自可思yabo88滚球sykv.com

(不同场景采用的算法是不同的)高频的有以下几种类型的场景:

可思yabo88滚球-人工智能资讯平台sykv.com

  1. 分类场景:广告投放预测,网站用户点击预测。
  2. 聚类场景:人群划分,产品种类划分。
  3. 回归场景:商品购买量预测和股票成交额预测。
  4. 文本分析类场景:新闻的标签提取,文本自动分类和文本关键信息抽取。

关系图算法:社交网络关系,网络关系挖掘和金融风险控制。

可思yabo88滚球-人工智能资讯平台sykv.com

模式识别:语音识别,图像识别和手写文字识别。

可思yabo88滚球sykv.com,sykv.cn

2. yabo88滚球预处理

场景解析完,选择适合处理此类yabo88滚球的算法后,需要对yabo88滚球进行预处理——就是对yabo88滚球进行清洗工作,对空值,乱码进行处理。

可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

yabo88滚球预处理的主要目的就是:减少噪音yabo88滚球对训练yabo88滚球的影响。

可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

3. 特征工程

特征工程是机器学习中最重要的一部分,因为根据已有的训练yabo88滚球,可选用的算法是有限的,那么在同样的算法下特征的选取是不同的,100个人对一件事情会有100种看法,也就有100种特征,最后特征的质量决定模型的好坏。特征工程需要做的包括:特征抽象,特征重要性的评估,特征衍生,特征降维。 可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

4. 模拟训练

在经过以上过成后,进入训练模块,生成模型。 内容来自可思yabo88滚球sykv.com

5. 模型评估

对生成模型的成熟度进行评估。

可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

6. 离线/在线服务

在实际运用过程中,需要配合调度系统来使用。

内容来自可思yabo88滚球sykv.com

案例场景:每天将用户当日新增的yabo88滚球量流入yabo88滚球库表里,通过调度系统启用离线训练服务,生成最新的离线模型,然后通过在线预测服务进行实时预测。 可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

二、yabo88滚球源结构

结构化yabo88滚球:机构化yabo88滚球是指以矩阵结构储存的yabo88滚球。 可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

yabo88滚球库里的yabo88滚球就是以这种结构存在,可以通过二维结构来显示,如下图:图2

可思yabo88滚球sykv.com,sykv.cn

结构化yabo88滚球中,有两个重要的概念需要介绍一下:特征列和目标列。

可思yabo88滚球-人工智能资讯平台sykv.com

上图里age,sex,cp列都是特征列,ifhealth是目标列。

可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com
  1. 非结构化yabo88滚球:典型的非结构化yabo88滚球是图像,文本,语音等文件。这些yabo88滚球不能以矩阵的结构储存,目前的做法也是通过把非结构化的yabo88滚球转化为二进制储存格式。
  2. 半结构化yabo88滚球:半结构化yabo88滚球是指按照一定的结构储存,但不一定是二维的yabo88滚球库行存储形态的yabo88滚球。还有一种是以二维yabo88滚球形态储存的,但某些字段是文本类型,某些字段是数值类型的。如下图:

图3

本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

三、算法分类

监督学习:是指每个进入算法的训练样本yabo88滚球都有对应的目标值。 可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

如上图2所示,Ifhealth为目标值。 可思yabo88滚球-人工智能资讯平台sykv.com

常见的监督学习算法: 可思yabo88滚球-www.sykv.cn,sykv.com

图4 可思yabo88滚球sykv.com,sykv.cn

无监督学习:就是训练样本的yabo88滚球里没有目标列,不依赖于打标好的机器学习算法。 可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

那么,这样的yabo88滚球可能对一些分类和回归的场景就不太适合了。

本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

无监督学习主要是来解决一些聚类场景的问题。 可思yabo88滚球sykv.com,sykv.cn

可思yabo88滚球sykv.com,sykv.cn

图5 内容来自可思yabo88滚球sykv.com

半监督学习:

本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

通过上面的监督学习和无监督学习的概念,再来看半监督学习就比较好理解了。 可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

也就是说,训练yabo88滚球里只有部分yabo88滚球是打标的。目前,半监督学习的算法,都是监督学习算法的变形。 可思yabo88滚球sykv.com,sykv.cn

强化学习:

可思yabo88滚球-www.sykv.cn,sykv.com

强化学习是一种比较复杂的机器学习种类。强调的是:系统与外界不断的交换,获得外界的反馈,然后决定自身的行为。 可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

如:无人驾驶,阿尔法狗下围棋就是强化学习的应用。 可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

四、过拟合问题(欠拟合这里不做详细的介绍)

过拟合是yabo88滚球挖掘(通过大量yabo88滚球,训练模型的过程也称为yabo88滚球挖掘)领域中最常见的问题,是指:通过训练集训练了一个模型,这个模型对于训练集的预测准确率很高,可以达到95%以上,但是换一份儿yabo88滚球集进行预测,准确率大幅度下降。

可思yabo88滚球sykv.com,sykv.cn

出现这种情况的原因可能是:训练的过拟合现象。 可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

导致过拟合问题的原因有以下三种: 可思yabo88滚球-www.sykv.cn,sykv.com

  1. 训练yabo88滚球集样本单一。
  2. 训练样本噪音yabo88滚球干扰过大。
  3. 模型过于复杂。

五、结果评估

机器学习最终的目的是生成模型。 可思yabo88滚球sykv.com,sykv.cn

模型生成后需要一些指标来评估这个模型的好坏。

可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

常用到的概念有:精确率,召回率,F1值,ROC和AUC几种。

可思yabo88滚球sykv.com,sykv.cn

首先介绍一下精确率,召回率和F1值。这3个指标是由:TP,TN,FP,FN这4个值计算而来的(这里不做解释了)。 可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

  • 精确率=TP/(TP+FP)
  • 召回率=TP/(TP+FN)
  • F1=(2*精确率*召回率)/(精确率*召回率)

可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

图6 可思yabo88滚球sykv.com

ROC曲线是常用的二分类场景的模型评估算法曲线,下图齿状弧形曲线就是ROC曲线。 可思yabo88滚球-www.sykv.cn,sykv.com

如图所示:

内容来自可思yabo88滚球sykv.com

可思yabo88滚球sykv.com,sykv.cn

图7

本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

通过ROC曲线可以清晰的展示出来,只要模型曲线越来越接近左上角就说明模型的效果越好。 内容来自可思yabo88滚球sykv.com

AUC的值是ROC与横轴所围起来的面积(图中带阴影的部分),这个AUC的值越大说明模型的效果越好。

本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

AUC的值取0~1之间,通常大于0.5,当AUC的值大于0.9以上时,证明这个模型的效果比较好。

可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

以上对机器学习的流程,和一些概念做了解释。但距离真正可以上手操作还有很远的距离。如非结构化yabo88滚球和半结构化yabo88滚球,如何转化为结构化yabo88滚球?特征抽象,特征衍生,特征降维如何操作?等等,实际的操作问题,还需要一定的篇幅来介绍。 可思yabo88滚球-人工智能资讯平台sykv.com

网友评论:

发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:点击我更换图片 匿名?

关于我们?? 免责声明?? 广告合作?? 版权声明?? 联系方式?? 原创投稿?? 网站地图??

Copyright?2005-2019 Sykv.com 可思yabo88滚球 版权所有 ?? ICP备案:京ICP备14056871号

人工智能资讯?? 人工智能资讯?? 人工智能资讯?? 人工智能资讯

?扫码入群
咨询反馈
扫码关注

微信公众号

返回顶部
关闭