机器学习流程,以及实践应用

编辑导语: 机器学xí是一种数据分析技术,让计算机执行人和动物与生俱来的活动:从经验中学xí,也被称为X分析;本文作者分享了关于机器学xí的liú程以及实践应用,我们一起来看一下。

我所理解的机器学xí是一种能够实现人工智能的技术,建立能从经验(数据)中进行学xí的模型,从而使这个模型可以达到自行处理此类数据的能力。

也可以理解为:X大量的数据,训练出一个能处理此类数据的模型,使得这个模型可以根据已知的数据,准确率很高的判断出未知的数据,从而使得人类能够采取正确的方fǎ去处理某些事情。

想要了解机器学xí你需要知道以下几点:

一、机器学xí的liú程

从实际的应用场景出发,要训练出来一个能够适应某场景的模型需要经过以下几步:

1. 场景解析

场景解析就是将X逻辑,抽象成为X算fǎ能够解决的问题。

比如:做一个心XX系统,那么就可以抽象为二分类问题——要么有心X,要么没有;然后,根据已有的数据看看有没有目标值,可以判断出:是X学xí还是无X学xí,还是半X学xí;从而,选择出能够处理好此类数据的算fǎ。

(不同场景采用的算fǎ是不同的)高频的有以下几种类型的场景:

  • 分类场景:广告投放X,网站用户XX。
  • 聚类场景:人X划分,产品种类划分。
  • 回归场景:商品X量X和股票成交额X。
  • 文本分析类场景:新闻的标签提取,文本自动分类和文本关键信息抽取。
  • 关系图算fǎ:社交网络关系,网络关系挖掘和金融风险X。
  • 模式识别:X识别,图像识别和手写X识别。

2. 数据预处理

场景解析完,选择适合处理此类数据的算fǎ后,需要对数据进行预处理——就是对数据进行清洗工作,对空值、乱码进行处理。

数据预处理的主要目的就是:减少噪音数据对训练数据的影响。

3. 特征工程

特征工程是机器学xí中最重要的一部分,因为根据已有的训练数据,可选用的算fǎ是有限的;那么在同样的算fǎ下特征的选取是不同的,100个人对一件事情会有100种看fǎ,也就有100种特征,最后特征的质量决定模型的好坏。

特征工程需要做的包括:特征抽象、特征重要性的评估、特征衍生、特征降维。

4. 模拟训练

在经过以上过成后,进入训练模块,生成模型。

5. 模型评估

对生成模型的成熟度进行评估。

6. 离线/在线X

在实际运用过程中,需要配合调度系统来使用。

案例场景:每天将用户当曰新增的数据量liú入数据库表里,X调度系统启用离线训练X,生成最新的离线模型,然后X在线XX进行实时X。

二、数据源结构

结构化数据:X化数据是指以矩阵结构储存的数据。

数据库里的数据就是以这种结构存在,可以X二维结构来显示,如下图:

结构化数据中,有两个重要的概念需要介绍一下:特征列和目标列。

上图里age,sеx,cp列都是特征列,ifhealth是目标列。

非结构化数据:典型的非结构化数据是图像、文本、X等文件;这些数据不能以矩阵的结构储存,目前的做fǎ也是X把非结构化的数据转化为二进制储存格式。

半结构化数据:半结构化数据是指按照一定的结构储存,但不一定是二维的数据库行存储形态的数据;还有一种是以二维数据形态储存的,但某些字段是文本类型,某些字段是数值类型的,如下图:

三、算fǎ分类

X学xí:是指每个进入算fǎ的训练样本数据都有对应的目标值。

如上图2所示,Ifhealth为目标值。

常见的X学xí算fǎ:

无X学xí:就是训练样本的数据里没有目标列,不依赖于打标好的机器学xí算fǎ。

那么,这样的数据可能对一些分类和回归的场景就不太适合了。

无X学xí主要是来解决一些聚类场景的问题。

半X学xí:

X上面的X学xí和无X学xí的概念,再来看半X学xí就比较好理解了。

也就是说,训练数据里只有部分数据是打标的。目前,半X学xí的算fǎ,都是X学xí算fǎ的变形。

强化学xí:

强化学xí是一种比较复杂的机器学xí种类。强调的是:系统与外界不断的交换,获得外界的反馈,然后决定自身的行为。

如:无人驾驶,阿尔fǎ苟下围棋就是强化学xí的应用。

四、过拟合问题(欠拟合这里不做详细的介绍)

过拟合是数据挖掘(X大量数据,训练模型的过程也称为数据挖掘)领域中最常见的问题,是指:X训练集训练了一个模型,这个模型对于训练集的X准确率很高,可以达到95%以上;但是换一份儿数据集进行X,准确率大幅度下降。

出现这种情况的原因可能是:训练的过拟合现象。

导致过拟合问题的原因有以下三种:

  1. 训练数据集样本单一。
  2. 训练样本噪音数据干扰过大。
  3. 模型过于复杂。

五、结果评估

机器学xí最终的目的是生成模型。

模型生成后需要一些指标来评估这个模型的好坏。

常用到的概念有:精确率,召回率,F1值,ROC和AUC几种。

首先介绍一下精确率,召回率和F1值,这3个指标是由:TP,TN,FP,FN这4个值计算而来的(这里不做解释了)。

  • 精确率=TP/(TP+FP)
  • 召回率=TP/(TP+FN)
  • F1=(2*精确率*召回率)/(精确率*召回率)

ROC曲线是常用的二分类场景的模型评估算fǎ曲线,下图齿状弧形曲线就是ROC曲线。

如图所示:

XROC曲线可以清晰的展示出来,只要模型曲线越来越接近左上角就说明模型的效果越好。

AUC的值是ROC与横轴所围起来的面积(图中带阴影的部分),这个AUC的值越大说明模型的效果越好。

AUC的值取0~1之间,通常大于0.5,当AUC的值大于0.9以上时,证明这个模型的效果比较好。

以上对机器学xí的liú程,和一些概念做了解释,但距离真正可以上手cāo作还有很远的距离;如非结构化数据和半结构化数据,如何转化为结构化数据?特征抽象,特征衍生,特征降维如何cāo作?等等,实际的cāo作问题,还需要一定的篇幅来介绍。

收藏 (0) 打赏

以上内容不错,打赏支持一下!

打开微信/支付宝扫一扫,即可进行扫码打赏哦,分享从这里开始,精彩与您同在
点赞 (0)

声明:本站所有教程资源,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

雄发创业网 软文营销推广 机器学习流程,以及实践应用 https://www.xiongfawang.com/457.html

常见问题

相关文章

机器学习流程,以及实践应用-海报

分享本文封面