大数定律

大策 发布于 2016-02-03 + 823 次浏览 + 0 条评论

概率论历史上第一个极限定理属于伯努利,后人称之为“大数定律”。概率论中讨论随机变量序列的算术平均值向随机变量各数学期望的算术平均值收敛的定律。
大数定律(law of large numbers),是一种描述当试验次数很大时所呈现的概率性质的定律。但是注意到,大数定律并不是经验规律,而是在一些附加条件上经严格证明了的定理,它是一种自然规律因而通常不叫定理而是大数“定律”。而我们说的大数定理通常是经数学家证明并以数学家名字命名的大数定理,如伯努利大数定理。
在随机事件的大量重复出现中,往往呈现几乎必然的规律,这个规律就是大数定律。通俗地说,这个定理就是,在试验不变的条件下,重复试验多次,随机事件的频率近似于它的概率。比如,我们向上抛一枚硬币,硬币落下后哪一面朝上本来是偶然的,但当我们上抛硬币的次数足够多后,达到上万次甚至几十万几百万次以后,我们就会发现,硬币每一面向上的次数约占总次数的二分之一。偶然中包含着某种必然。[1] 
大数定律分为弱大数定律和强大数定律。
中文名
大数定律
外文名
Law of Large Numbers
别    称
弱大数理论
表达式
Sn/n->SE/n
提出者
伯努利
提出时间
1713
应用学科
数学
适用领域范围
应用数学

目录

  1. 1 发展历史
  2. 2 表现形式
  3.  初等概率
  1.  现代概率
  2. 3 举例说明
  3. 4 数学家
  1.  拉普拉斯
  2.  德莫佛
  3. 5 常见类型

发展历史编辑

伯努利是第一个研究这一问题的数学家,他于1713年首先提出后人称之为“大数定律”的极限定理。后来泊松、切比雪夫、马尔科夫、格涅坚科等众多的数学家都有重大成就,弱大数定律的研究已经趋于完善,最好的结果是属于格涅坚科,他找到了弱大数定律成立的充要条件,而且没有任何独立性或同分布的要求。在二十世纪初,博雷尔引入测度论的方法之后,将伯努利大数定理推广到强大数定律开创了强大数定律的研究,之后工作最有成就的属于柯尔莫哥洛夫,他不但完成了概率的公理化,还找到了独立同分布下的强大数定律的充要条件。如今,对强大数定律的研究仍然是难题,数学家们在向着不独立随机变量序列服从强大数定律的条件努力。

表现形式编辑

大数定律有若干个表现形式。这里仅介绍高等数学概率论要求的常用的三个重要定律:
  • 切比雪夫大数定理
  
是一列相互独立的随机变量(或者两两不相关)[2]  ,他们分别存在期望
  
和方差
  
。若存在常数C使得:
 
则对任意小的正数 ε,满足公式一:
将该公式应用于抽样调查,就会有如下结论:随着样本容量n的增加,样本平均数将接近于总体平均数。从而为统计推断中依据样本平均数估计总体平均数提供了理论依据。
特别需要注意的是,切比雪夫大数定理并未要求
  
同分布,相较于后面介绍的伯努利大数定律和辛钦大数定律更具一般性。
  • 伯努利大数定律
设μ是n次独立试验中事件A发生的次数,且事件A在每次试验中发生的概率为P,则对任意正数ε,有公式二:
该定律是切比雪夫大数定律的特例,其含义是,当n足够大时,事件A出现的频率将几乎接近于其发生的概率,即频率的稳定性。
在抽样调查中,用样本成数去估计总体成数,其理论依据即在于此。
  • 辛钦大数定律
辛钦大数定律:常用的大数定律
  
为独立同分布的随机变量序列,若
  
数学期望存在,则服从大数定律:
即对任意的ε>0,有公式三:
大数定律的四种证法
对于一般人来说,大数定律的非严格表述是这样的:
  
是独立同分布随机变量序列,均值
  
,则
  
收敛到u.
如果说“弱大数定律”,上述收敛是指依概率收敛(in probability),如果说“强大数定律”,上述收敛是指几乎必然收敛(almost surely/with probability one)。
大数定律通俗一点来讲,就是样本数量很大的时候,样本均值和真实均值充分接近。这一结论与中心极限定理一起,成为现代概率论、统计学、理论科学和社会科学的基石。(有趣的是,虽然大数定律的表述和证明都依赖现代数学知识,但其结论最早出现在微积分出现之前。而且在生活中,即使没有微积分的知识也可以应用。例如,没有学过微积分的学生也可以轻松利用excel或计算器计算样本均值等统计量,从而应用于社会科学。)
最早的大数定律的表述可以追溯到公元1500年左右的意大利数学家Cardano。1713年,著名数学家James (Jacob) Bernouli正式提出并证明了最初的大数定律。不过当时现代概率论还没有建立起来,测度论实分析的工具还没有出现,因此当时的大数定律是以“独立事件的概率”作为对象的。后来,历代数学家如Poisson(“大数定律”的名字来自于他)、Chebyshev、Markov、Khinchin(“强大数定律”的名字来自于他)、Borel、Cantelli等都对大数定律的发展做出了贡献。直到1930年,现代概率论奠基人、数学大师Kolmogorov才真正证明了最后的强大数定律。
下面均假设
  
是独立同分布随机变量序列,数学期望为u。独立同分布随机变量和的大数定律常有的表现形式有以下几种。

初等概率

(1) 带方差的弱大数定律:若
  
小于无穷,则
  
依概率收敛到0。
证明方法:Chebyshev不等式即可得到。这个证明是Chebyshev给出的。
(2) 带均值的弱大数定律:若u存在,则
  
依概率收敛到0。
证明方法:用Taylor展开特征函数,证明其收敛到常数,得到依分布收敛,然后再用依分布收敛到常数等价于依概率收敛。

现代概率

(3). 精确弱大数定律:若xP(|X|>x) 当x趋于无穷时收敛到0,则
  
依概率收敛到0,其中
  
。(在这个定理里,不需要u存在。)
证明方法:需要用到截断随机变量
  
. 然后要用的三角阵列的依概率收敛定理和Fubini定理分析积分变换。
(4). 带4阶矩的强大数定律:若
  
小于无穷,则
  
几乎必然收敛到0.
证明方法:与(1)类似,先用Chebyshev不等式。然后因为4阶矩的存在,得到
  
对任意常数t的收敛速度足够快,满足Borel-Cantelli的要求,用Borel-Cantelli引理得到大数定律。
(5). 带方差的强大数定律:若
  
小于无穷,则
  
几乎必然收敛到0.
证明方法:用Kolgoromov三级数定理和Kronecker定理。
(6). 精确强大数定律:若u存在,则
  
几乎必然收敛到0.
证明方法:这个大数定律的证明确实有几种不同的方法。最早的证明是由数学大师Kolmogorov给出的。Durrett (2010)的书上用的是Etemadi (1981)的方法,需要截断X,用到现代概率论的知识如Borel-Cantelli引理、Kolmogorov三级数定理、Fubini定理等。(感谢读者指出,Durrett的书在倒向鞅一章中给出了大数定律的倒向鞅方法证明,只需要用到倒向鞅的知识和Hewitt-Savage 0-1律,不过这也是现代概率论的知识。)
此外,还有很多不同的大数定律,不同分布的,不独立的序列等。定律也不一定是关于随机变量的,也可以是关于随机函数的,甚至随机集合的等等。以数学家命名的也有Khinchin大数定律(不独立序列的强大数定律)、Chebyshev大数定律(弱大数定律(1))、Poisson大数定律(不同概率的随机事件序列的大数定律)、Bernoulli大数定律(随机事件的大数定律)、Kolmogorov大数定律(强大数定律(6))等等……
以上(1-6)是常见的独立同分布序列的大数定律。其中,(3)和(6)是最严格也是最精妙的结果,证明所涉及的高等概率论知识也最多。它们成立的条件不仅是充分条件,也是必要条件,因此它们算是完结了大数定律的发展。大数定律的发展符合数学的一般规律:想证明某一结论,条件越弱(弱大数定律:2阶矩条件->1阶矩条件->没矩条件;强大数定律:4阶矩条件2阶矩条件→1阶矩条件),证明也就变得越难。
虽然只有(3)和(6)是最精确的结果,但是必须认识到,数学的发展是一个循序渐进的过程,如果没有前面那些更强条件下的定理,也无法得到最后的大数定律。
从最开始的自然界观察到大数定律的存在,到最后证明最终形式,历时数百年,现代概率论也在这个过程中建立起来。此外,虽然(3)和(6)比前面的(1)和(5)强很多,但是(1)和(5)的条件仅仅是2阶矩(或方差)的存在,因此他们在几百年间早就被广泛使用,对于一般的社会科学问题、统计问题等已经足足够用了。
总之,大数定律包含概率论里核心的知识。“大数定律的四种证法”尽管表述模糊,原意也充满调侃,但并不是真如《孔乙己》里"回字四种写法"所暗示的那样迂腐或毫无价值。作为概率或统计专业的研究生,弄懂这些定理表述的区别和证明方法的区别和联系,了解前代数学家的工作,对于深刻理解现代概率论是很有好处的。当然,任何人也不应去死记硬背这些证法,只要能理解、弄清其中微妙即可。

举例说明编辑

例如,在重复投掷一枚硬币的随机试验中,观测投掷了n次硬币中出现正面的次数。不同的n次试验,出现正面的频率(出现正面次数与n之比)可能不同,但当试验的次数n越来越大时,出现正面的频率将大体上逐渐接近于1/2。又如称量某一物体的重量,假如衡器不存在系统偏差,由于衡器的精度等各种因素的影响,对同一物体重复称量多次,可能得到多个不同的重量数值,但它们的算术平均值一般来说将随称量次数的增加而逐渐接近于物体的真实重量。
几乎处处收敛与依概率收敛不同。生活例子:开始上课了,慢慢地大家都安静下来,这是几乎处处收敛。绝大多数同学都安静下来,但每一个人都在不同的时间不安静,这是依概率收敛。

数学家编辑

拉普拉斯

拉普拉斯,1749年3月23日生于法国西北部卡尔瓦多斯的博蒙昂诺日,曾任巴黎军事学院数学教授,1795年任巴黎综合工科学校教授,后又在高等师范学校任教授。1799年他还担任过法国经度局局长,并在拿破仑政府中任过6个星期的内政部长,1816年被选为法兰西学院院士,1817年任该院院长,1827年3月5日卒于巴黎。
拉普拉斯在研究天体问题的过程中,创造和发展了许多数学的方法,以他的名字命名的拉普拉斯变换拉普拉斯定理拉普拉斯方程,在科学技术的各个领域有着广泛的应用。[3] 

德莫佛

德莫佛,法文原名 Abraham de Moivre,(1667.05.26法国-1754.11.27英国伦敦),法国数学家。德莫佛对数学最著名的贡献是德莫佛公式(de Moivre Formula)和德莫佛-拉普拉斯中心极限定理,以及他对正态分布和概率理论的研究。德莫佛还写了一本概率理论的教科书,The Doctrine of Chances,据说这本书被投机主义者(gambler)高度赞扬。德莫佛是解析几何和概率理论的先驱之一;他还最早发现了一个二项分布的近似公式,这一公式被认为是正态分布的首次露面。[4] 
大数法则又称“大数定律”或“平均法则”。人们在长期的实践中发现,在随机现象的大量重复中往往出现几乎必然的规律,即大数法则。此法则的意义是:风险单位数量愈多,实际损失的结果会愈接近从无限单位数量得出的预期损失可能的结果。据此,保险人就可以比较精确的预测危险,合理的厘定保险费率,使在保险期限内收取的保险费和损失赔偿及其它费用开支相平衡。大数法则是近代保险业赖以建立的数理基础。保险公司正是利用在个别情形下存在的不确定性将在大数中消失的这种规则性,来分析承保标的发生损失的相对稳定性。按照大数法则,保险公司承保的每类标的数目必须足够大,否则,缺少一定的数量基础,就不能产生所需要的数量规律。但是,任何一家保险公司都有它的局限性,即承保的具有同一风险性质的单位是有限的,这就需要通过再保险来扩大风险单位及风险分散面。[5] 

常见类型编辑

由于随机变量序列向常数的收敛有多种不同的形式,按其收敛为依概率收敛,以概率 1 收敛或均方收敛,分别有弱大数定律、强大数定律和均方大数定律。
常用的大数定律[1]  有:伯努利大数定律辛钦大数定律、柯尔莫哥洛夫强大数定律和重对数定律。
设有一随机变量序列,假如它具有形如(1)的性质,则称该随机变量服从大数定律(见左上方图片)。
  • 伯努利大数定律
  
为n重伯努利实验中事件A发生的次数,p为每次实验中A出现的概率,则对任意的ε>0,有(2)成立。
  • 切比雪夫大数定律
设{
  
}为一列两两不相关的随机变量序列,若每个
  
方差存在,且有共同的上界,即Var(
  
)小于或等于c,则{
  
}服从大数定律,即对任意的ε>0,(1)式成立。
  • 马尔可夫大数定律
对随机变量序列{
  
},若(3)成立,则{
  
}服从大数定律,即对任意的ε>0,(1)式成立。
  • 辛钦大数定律
 
 
 
设{}为独立同分布的随机变量序列,若的数学期望存在,则{}服从大数定律,即对任意的ε>0,(1)成立。
  • 泊松大数定律
如果在一个独立试验序列中,事件A在第k次试验中出现的概率等于
  
,以
  
记在前n次试验中事件A出现的次数,则对任意
  
,都有
  
.

分类: 名词   本文标签: 大数定律

除非注明,文章均为本站原创!转载请保留本文链接: http://zhaoshance.cn/mingci/269.html


你应该会对下面的内容感兴趣:
  • Vi

  • 视觉营销

  • 快电商

  • UE

  • 非标产品

  • DM

  • 复合式营销

大数定律:等您坐沙发呢!

发表评论



33 + 88 =



------====== 本站公告 ======------
 有事您QQ我:14331195                         扫描下面二维码,关注我的微信公众号 扫描公众号,关注我!

标签云