当前位置: > 投稿>正文

鲁棒性是什么意思,语言的鲁棒性是什么意思(数据分析师必知的统计学概念)

03-05 互联网 未知 投稿

关于【鲁棒性是什么意思】,语言的鲁棒性是什么意思,今天向乾小编给您分享一下,如果对您有所帮助别忘了关注本站哦。

1、数据分析师必知的统计学概念:5个经典概念分享

本文讲述了数据分析师应当了解的五个统计基本概念:统计特征、概率分布、降维、过采样/欠采样、贝叶斯统计方法。

从高的角度来看,统计学是一种利用数学理论来进行数据分析的技术。像柱状图这种基本的可视化形式,会给你更加全面的信息。但是,通过统计学我们可以以更富有信息驱动力和针对性的方式对数据进行操作。所涉及的数学理论帮助我们形成数据的具体结论,而不仅仅是猜测。

利用统计学,我们可以更深入、更细致地观察数据是如何进行精确组织的,并且基于这种组织结构,如何能够以最佳的形式来应用其它相关的技术以获取更多的信息。今天,我们来看看数据分析师需要掌握的5个基本的统计学概念,以及如何有效地进行应用。

特征统计

特征统计可能是数据科学中最常用的统计学概念。它是你在研究数据集时经常使用的统计技术,包括偏差、方差、平均值、中位数、百分数等等。理解特征统计并且在代码中实现都是非常容易的。请看下图:

鲁棒性是什么意思,语言的鲁棒性是什么意思(数据分析师必知的统计学概念)

上图中,中间的直线表示数据的中位数。中位数用在平均值上,因为它对异常值更具有鲁棒性。第一个四分位数本质上是第二十五百分位数,即数据中的25%要低于该值。第三个四分位数是第七十五百分位数,即数据中的75%要低于该值。而最大值和最小值表示该数据范围的上下两端。

箱形图很好地说明了基本统计特征的作用:

  • 当箱形图很短时,就意味着很多数据点是相似的,因为很多值是在一个很小的范围内分布

  • 当箱形图较高时,就意味着大部分的数据点之间的差异很大,因为这些值分布的很广

  • 如果中位数接近了底部,那么大部分的数据具有较低的值。如果中位数比较接近顶部,那么大多数的数据具有更高的值。基本上,如果中位线不在框的中间,那么就表明了是偏斜数据

  • 如果框上下两边的线很长表示数据具有很高的标准偏差和方差,意味着这些值被分散了,并且变化非常大。如果在框的一边有长线,另一边的不长,那么数据可能只在一个方向上变化很大

概率分布

我们可以将概率定义为一些事件将要发生的可能性大小,以百分数来表示。在数据科学领域中,这通常被量化到0到1的区间范围内,其中0表示事件确定不会发生,而1表示事件确定会发生。那么,概率分布就是表示所有可能值出现的几率的函数。请看下图:

鲁棒性是什么意思,语言的鲁棒性是什么意思(数据分析师必知的统计学概念)鲁棒性是什么意思,语言的鲁棒性是什么意思(数据分析师必知的统计学概念)鲁棒性是什么意思,语言的鲁棒性是什么意思(数据分析师必知的统计学概念)

常见的概率分布,均匀分布(上)、正态分布(中间)、泊松分布(下):

  • 均匀分布是其中最基本的概率分布方式。它有一个只出现在一定范围内的值,而在该范围之外的都是0。我们也可以把它考虑为是一个具有两个分类的变量:0或另一个值。分类变量可能具有除0之外的多个值,但我们仍然可以将其可视化为多个均匀分布的分段函数。

  • 正态分布,通常也称为高斯分布,具体是由它的平均值和标准偏差来定义的。平均值是在空间上来回变化位置进行分布的,而标准偏差控制着它的分布扩散范围。与其它的分布方式的主要区别在于,在所有方向上标准偏差是相同的。因此,通过高斯分布,我们知道数据集的平均值以及数据的扩散分布,即它在比较广的范围上扩展,还是主要围绕在少数几个值附近集中分布。

  • 泊松分布与正态分布相似,但存在偏斜率。像正态分布一样,在偏斜度值较低的情况下,泊松分布在各个方向上具有相对均匀的扩散。但是,当偏斜度值非常大的时候,我们的数据在不同方向上的扩散将会是不同的。在一个方向上,数据的扩散程度非常高,而在另一个方向上,扩散的程度则非常低。

如果遇到一个高斯分布,那么我们知道有很多算法,在默认情况下高斯分布将会被执行地很好,因此首先应该找到那些算法。如果是泊松分布,我们必须要特别谨慎,选择一个在空间扩展上对变化要有很好鲁棒性的算法。

降维

降维这个术语可以很直观的理解,意思是降低一个数据集的维数。在数据科学中,这是特征变量的数量。请看下图:

鲁棒性是什么意思,语言的鲁棒性是什么意思(数据分析师必知的统计学概念)

上图中的立方体表示我们的数据集,它有3个维度,总共1000个点。以现在的计算能力,计算1000个点很容易,但如果更大的规模,就会遇到麻烦了。然而,仅仅从二维的角度来看我们的数据,比如从立方体一侧的角度,可以看到划分所有的颜色是很容易的。通过降维,我们将3D数据展现到2D平面上,这有效地把我们需要计算的点的数量减少到100个,大大节省了计算量。

另一种方式是我们可以通过特征剪枝来减少维数。利用这种方法,我们删除任何所看到的特征对分析都不重要。例如,在研究数据集之后,我们可能会发现,在10个特征中,有7个特征与输出具有很高的相关性,而其它3个则具有非常低的相关性。那么,这3个低相关性的特征可能不值得计算,我们可能只是能在不影响输出的情况下将它们从分析中去掉。

用于降维的最常见的统计技术是PCA,它本质上创建了特征的向量表示,表明了它们对输出的重要性,即相关性。PCA可以用来进行上述两种降维方式的操作。

过采样和欠采样

过采样和欠采样是用于分类问题的技术。例如,我们有1种分类的2000个样本,但第2种分类只有200个样本。这将抛开我们尝试和使用的许多机器学习技术来给数据建模并进行预测。那么,过采样和欠采样可以应对这种情况。请看下图:

鲁棒性是什么意思,语言的鲁棒性是什么意思(数据分析师必知的统计学概念)

在上面图中的左右两侧,蓝色分类比橙色分类有更多的样本。在这种情况下,我们有2个预处理选择,可以帮助机器学习模型进行训练。

欠采样意味着我们将只从样本多的分类中选择一些数据,而尽量多的使用样本少的分类样本。这种选择应该是为了保持分类的概率分布。我们只是通过更少的抽样来让数据集更均衡。

过采样意味着我们将要创建少数分类的副本,以便具有与多数分类相同的样本数量。副本将被制作成保持少数分类的分布。我们只是在没有获得更多数据的情况下让数据集更加均衡。

贝叶斯统计

完全理解为什么在我们使用贝叶斯统计的时候,要求首先理解频率统计失败的地方。大多数人在听到“概率”这个词的时候,频率统计是首先想到的统计类型。它涉及应用一些数学理论来分析事件发生的概率,明确地说,我们唯一计算的数据是先验数据(prior data)。

鲁棒性是什么意思,语言的鲁棒性是什么意思(数据分析师必知的统计学概念)

假设我给了你一个骰子,问你掷出6点的几率是多少,大多数人都会说是六分之一。

但是,如果有人给你个特定的骰子总能掷出6个点呢?因为频率分析仅仅考虑之前的数据,而给你作弊的骰子的因素并没有被考虑进去。

贝叶斯统计确实考虑了这一点,我们可以通过贝叶斯法则来进行说明:

鲁棒性是什么意思,语言的鲁棒性是什么意思(数据分析师必知的统计学概念)

在方程中的概率P(H)基本上是我们的频率分析,给定之前的关于事件发生概率的数据。方程中的P(E|H)称为可能性,根据频率分析得到的信息,实质上是现象正确的概率。例如,如果你要掷骰子10000次,并且前1000次全部掷出了6个点,那么你会非常自信地认为是骰子作弊了。

如果频率分析做的非常好的话,那么我们会非常自信地确定,猜测6个点是正确的。同时,如果骰子作弊是真的,或者不是基于其自身的先验概率和频率分析的,我们也会考虑作弊的因素。正如你从方程式中看到的,贝叶斯统计把一切因素都考虑在内了。当你觉得之前的数据不能很好地代表未来的数据和结果的时候,就应该使用贝叶斯统计方法。

End.

作者:George Seif

来源:CSDN

本文为转载分享,如侵权请联系后台删除

长按下方海报添加微信领取【统计学学习导图】

鲁棒性是什么意思,语言的鲁棒性是什么意思(数据分析师必知的统计学概念)

· 爱数据每周免费直播 ·

直播主题:大厂热招数据领域岗位解析

直播内容:

  • 技术岗?产品岗?运营岗?当前大厂在招什么岗?

  • 北上广深等一线城市薪资如何?有哪些入职机会?

  • BAT等大厂基本业务&拓展业务介绍

  • 大厂数据岗位招聘JD解读


直播时间:6月11日明晚20:30准时直播分享

鲁棒性是什么意思,语言的鲁棒性是什么意思(数据分析师必知的统计学概念)

2、鲁棒性是什么意思

鲁棒性是什么意思?

鲁棒性是指系统在不确定性的扰动下,具有保持某种性能不变的能力。如果对象的不确定性可用一个集合描述,考察控制系统的某些性能指标,如稳定性品质指标等,设计一个控制器,如果该控制器对对象集合中的每个对象都能满足给定的性能指标,则称该控制器对此性能指标(特性)是鲁棒的。

品质鲁棒性:一个控制器如果对集合P中的每一个对象都能保证系统稳定和一种特定品质则认为是品质鲁棒的。系统设计鲁棒控制系统的设计有多种方法,包括根轨迹法、频率响应法和ITAE。鲁棒控制系统设计要完成的两个基本任务是确定控制器结构和调节控制器参数,以获得“最优”系统性能在鲁棒控制系统的设计过程中,通常以假定对受控对象有全面了解为前提的,并且通常是以线性时不变连续模型来描述受控对象。控制器结构的选择一般总是以使系统响应能够满足某种性能判据为出发点。

什么是鲁棒性?

鲁棒性(robustness)就是系统的健壮性。它是在异常和危险情况下系统生存的关键。

算法健全,考虑周到,不会因为意外输入,而引起算法错误。所谓“鲁棒性”,是指控制系统在一定(结构,大小)的参数摄动下,维持某些性能的特性。根据对性能的不同定义,可分为稳定鲁棒性和性能鲁棒性。以闭环系统的鲁棒性作为目标设计得到的固定控制器称为鲁棒控制器。

拓展资料鲁棒性问题与控制系统的相对稳定性和不变性原理。有着密切的联系,内模原理的建立则对鲁棒性问题的研究起了重要的推动作用。当系统中存在模型摄动或随机干扰等不确定性因素时能保持其满意功能品质的控制理论和方法称为鲁棒控制。

早期的鲁棒控制主要研究单回路系统频率特性的某些特征,或基于小摄动分析上的灵敏度问题。现代鲁棒控制则着重研究控制系统中非微有界摄动下的分析与设计的理论和方法。

怎么解释「鲁棒性」?

所谓“鲁棒性”,是指控制系统在一定(结构,大小)的参数摄动下,维持其它某些性能的特性。鲁棒是Robust的音译,也就是健壮和强壮的意思。

它是在异常和危险情况下系统生存的关键。比如说,计算机软件在输入错误、磁盘故障、网络过载或有意攻击情况下,能否不死机、不崩溃,就是该软件的鲁棒性。根据对性能的不同定义,可分为稳定鲁棒性和性能鲁棒性。以闭环系统的鲁棒性作为目标设计得到的固定控制器称为鲁棒控制器。

2021年10月8日,为防止未成年人沉迷网络游戏,维护未成年人合法权益,文化和旅游部印发通知,部署各地文化市场综合执法机构进一步加强网络游戏市场执法监管。据悉,文化和旅游部要求各地文化市场综合执法机构会同行业管理部门。重点针对时段时长限制、实名注册和登录等防止未成年人沉迷网络游戏管理措施落实情况,加大辖区内网络游戏企业的执法检查频次和力度;加强网络巡查,严查擅自上网出版的网络游戏;加强互联网上网服务营业场所、游艺娱乐场所等相关文化市场领域执法监管,防止未成年人违规进入营业场所。

本文关键词:鲁棒性是什么意思,神经网络鲁棒性是什么意思,模型鲁棒性是什么意思,控制鲁棒性是什么意思,算法的鲁棒性是什么意思。这就是关于《鲁棒性是什么意思,语言的鲁棒性是什么意思(数据分析师必知的统计学概念)》的所有内容,希望对您能有所帮助!更多的知识请继续关注《犇涌向乾》百科知识网站:http://www.029ztxx.com!

版权声明: 本站仅提供信息存储空间服务,旨在传递更多信息,不拥有所有权,不承担相关法律责任,不代表本网赞同其观点和对其真实性负责。如因作品内容、版权和其它问题需要同本网联系的,请发送邮件至 举报,一经查实,本站将立刻删除。

猜你喜欢