别把随机当必然
Feb 21st, 2008 by Mr. SaturdayPosted by Mr. Saturday
前言
MMDays 成立至今也过了一年多的时间，回头审视自己曾经写过的文章，如果要我从当中选一篇自己最喜爱的出来，我想「别把随机当必然」这篇文章毫无疑问会是我的第一名。当时写完其实有点意犹未尽的感觉，所以我总是一直在找机会想要来个续集，或是把文章再写得更完整一点，不过懒散加上拖延，不知不觉一年就这样过去了。今天我终于找到一些时间整理自己过往的文章，所以在下面我把一些新的想法和例子又加入了原本的文章里面，其实这不应该算是续集，应该说是更新版吧！
瀑布中的一滴水滴，你知道它最终会流过河川、匯入大海，但是此时此刻，你却难以精确地预测这个水滴下一秒钟会是在河流或是瀑布中的什么位置。 这个观察告诉了我们，我们可以看得见长期的趋势，但是微观的下一秒钟，我们却怎么样也难以窥见其变化，因为需要考虑的因素太多：水的流量、地形的细微变 化、气候、温度等等都让我们对于一个水滴走向的预测无法精准。当因素太多太多，以至于我们无法掌握时，水滴在某一个瞬间的走向对我们来说就是随机的。我们只知道：不管这个水滴现在怎么走，最终它会进入大海。这就是我这边想要浅谈的随机现象。 随机现象在我们生活中处处可见，而且深深影响我们的生活，很多不同科学领域的尖端研究，现在都是在对付随机现象。研究物理的人研究到量子的层次，会发现这 个稳固的世界居然是由一些随机乱跑的粒子所堆砌而成。研究电脑科学的人，会发现随机方法竟然可以用来设计出简洁易懂的演算法，研究数学的人，会发现机率模 型竟然可以相当程度上帮助我们做出生活中的决策。那么随机现象对于我们现实生活中的启示又什么呢？以下我先举出一个电脑科学界的例子来阐述。
机器学习 (Machine Learning) 这一个有关人工智慧的学门是电脑科学界最近相当热门的一个研究领域，主要研究的方向和重点是结合演算法和统计资料，撷取出这些资料之内 所隐含的一些资讯，然后用这些撷取出来的资讯让电脑去对一些事情做预测，以此模拟出类似学习的行为。Machine Learning 在近年来取得了巨大的成功，让曾经一度委靡不振的人工智慧研究又开创了许多新的契机。市面上的各种搜寻引擎就有应用相当多机器学习的技巧 在里面，让这些搜寻引擎好像真的有智慧，去猜测你要搜寻甚么东西，然后回传精准的搜寻结果给你。在这个研究领域中，有一个很重要的现象是每个刚刚学习机器 学习的人都会接触到的：这个现象叫做 Overfitting。要讲解这个现象之前，我们先举一个最简单的例子来介绍机器学习。
如果你要教电脑去找出一个公式，用来计算出身高与体重的关系，那么你的第一件事情就是收集很多人身高与体重的资料(data)，然后跑一个线性迴归分析 (Linear Regression)，在身高与体重的平面上找出一条直线去 match 这些 data，这条直线电脑就拿来当作是计算身高体重的公式：你给了电脑身高，电脑就算出体重给你，反之亦然。这是机器学习最简单的一个例子。电脑所做的事情不过就是从资料看出身高与体重之间的大略关系。之所以说是大略关系，是因为我 们让电脑假设身高与体重的关系完全是线性的，所以我们找了一条直线去当作身高和体重的 model：身高越高，体重就越高。但是大家都知道身高和体重不可能 刚好是线性的关系，有些人很高但是体重却很轻，有些人很矮但是体重却很重。所以当我们用一条直线来解释这些资料的时候，实际上我们会有一些误差存在。但是我们知道，以统计上来讲，这个趋势是对的，身高越高的人通常体重会比较重，所以当我们知道了某个人的身高，然后用这条直线去预测那个人的体重时，大部分的时候我们预测出来的结果不会差太远。
现在有人觉得直线不是一种预测身高体重很好的 model，所以想要用比较复杂的曲线来 fit 这些 data，结果他找出了一条完美的曲线来解释这些 data，这条曲线毫无误差，可以在平面上完全穿过所有资料点。但是这个曲线会出现一个大问题：这条曲线完全没有办法拿来预测一个人的体重：你有一个人的 身高，然后拿这条曲线去预测这个人的体重，你会发现大部分的时候算出的体重都是相当离谱。而且这条曲线看起来会弯弯曲曲，完全没有办法看出身高与体重大致 上是呈现线性的关系。这种现象就称为Overfitting，从字面上的意思来看就是：我们对于资料做了过多的解释。Overfitting 这个现象，在统计学习理论上已经可以用数学来量化，在这边我们就略过不谈。Overfitting 给我们最大的启示就是，不要对你的资料和你看到的现象做过多的解释。
研究哲学的人都知道 Occam’s Razor 这个原则：当你对一个现象有许多种解释时，记得选择最简单的那一个。 这个指导原则在机器学习领域是相当重要的一个概念，很多统计学家和经济学家会建构相当复杂的模型来诠释他们的资料，试着去预测以后很多事物的走向。举例来 说 LTCM 想要做的就是这种事情，两个诺贝尔奖得主搞出了一套模型，可以保证长期下来，他们的投资绝对稳赚不赔，这群经济学家以为自己掌握了世界每一秒的 趋势，世界的金钱已经操弄在他们的经济模型之中，结果最后他们突然倒掉了。为什么？原因很简单：因为他们没有料到苏联解体后对于国债的意外处理方式。就这么一个他们没有料到的因素(其实当时谁又料得到呢？)，就让他们的模型整个崩溃了。同样地，搞出越复杂的模型，你就会发现常常这个模型对于解释新的现象时是不管用的。
反应在我们的生活之中，炒股票的人和那些老师，整天都在跟你讲明天股票是会涨还是会跌，他们在做的事情，就是在跟你讲瀑布中的水滴下一秒钟会流到什 么地方。你觉得他们猜得准吗？你还会相信他们吗？一群自称是趋势专家的人在电视上讲得口沫横飞，说出千万个理由分析给你听，要你去买什么什么股票。在我看来，他们只是用极有限的知识在跟随机现象对抗。像预测趋势这种连那些科学家和统计学家都还做不好的事情，你觉得这些老师做得好吗？一家公司的股价图对于人类现在有限的认知而言，完全就是随机的，你不可能准确预测下一秒钟准确的走向。股市甚至于连长期的趋势都难以预测，还记得我们的水滴例子吗？如果你连长期的趋势都看不清楚，想要微观地分析更是难上加难。即使这个世界上没有真正随机的事情，一切都是命中注定的，以人类现在有限的知识和电脑的运算能力来说，也还是无法完全掌握的。
同样的，在股票市场上你会常常看到一些靠股市成为百万或是千万富翁的人出书大谈自己的投资经，说明自己如何致富，讲得真是天花乱坠。我现在举一个简单的运算给大家看：假设以你现在的资本，在股市连续赌一支股票十次涨跌，十次都成功，你就可以成为百万富翁，这样的机率是多少？既然你每次都是闭上眼睛瞎猜，所以每次的成功率都是一半，连续十次成功就大约是千分之一。看起来连续十次成功真的很难，不过换个角度想，如果台湾有两百万人同时做这样的事情呢？你会发现平均来说，会有两千人在这十次赌博之中成为百万富翁，如果这两千人之中有一些人跑来出书或是上节目大谈自己的投资经验呢？没错，他们就变成老师了。 随机现象让这些人成为百万富翁，然后这些人以及周遭的人开始用过度解释和吹捧的方式来大谈他们赚钱的成功，最后的结果就是：大家都被随机现象给唬了。连这些老师自己都相信自己真有一套本领能在股市唿风唤雨。就像是现在发达的无名小站一样，被过度解释成台湾资讯界传奇，甚至连交大的校刊都特地写了一篇矫情的专文来吹捧无名小站。而我对于无名小站今天的发展只有简单的解释：运气加上不惜牺牲道德品行的经营方式。
曾经有一些学者找来一群猩猩做实验，这些学者把华尔街日报的股票版钉在墙上，让这些猩猩对那些股票名称射飞镖，当作是猩猩建议他们买的股票。结果矇着眼睛的猩猩，朝报纸股票版掷飞镖所射中的股票，并不比投资专家们的选股逊色。看到这个实验结果，你作何感想呢？
社会学在近年来，似乎也与随机现象扯上了一些关系。我们都必须承认，任何一个人都是一个难以预测的随机个体，我们无法看着一个人，说出他下一分钟会做出些什么。但是一群人下一分钟会做出些什么，或是之后会做出些什么，居然是有模式可循的！Thomas Schelling 是美国马里兰大学的教授，是 2005 年诺贝尔经济奖得主，他曾经针对种族隔离和种族歧视的关系做出研究，得出的结果令他非常惊讶。一般人直觉地会认为种族隔离的现象，肯定是由种族歧视所造成的，所以白人才会跟白人住在一起，黑人才会跟黑人住在一起。
但是 Thomas 做了一个实验，他用电脑模拟了一个棋盘，上面随机摆满了黑子以及白子，就是分别代表黑人以及白人，一开始大家是随便住，黑人与白人混杂，但是 Thomas 加入了一个条件之后，情况完全改观。他假设每一个人都不希望成为附近的少数民族，也就是说当一个白子发现周遭大部分都是黑子的时候，他就会搬家，直到附近大部分都是白子，黑子也是遵循一样的规则。然后 Thomas 就让这些黑子白子自己去演化、搬家，结果最后当大家都停止搬家之后，就形成了白子和黑子群聚的现象。
这显然跟种族歧视没什么关系，只是人们单纯地对于邻居的小小喜好，但没想到就造成这样一个种族隔离的结果。这就是 Thomas 提出的 Dynamic Models of Segregation。社会学上的现象，也因此与物理现象有着令人惊讶的巧合，虽然我们把人们看成一个一个随机的粒子，但是这些粒子群聚在一起时，却展现出有迹可寻的模式。
讲了以上这么多例子，并不是要告诉大家这个世界是随机的，所以我们做出再多努力也是枉然。人类真正可贵的地方，就在于对这些不确定性所做出的努力， 能够让人类的智识更推进一步，让我们更加了解这个世界。谈随机现象只是要提醒大家，很多我们想尽办法解释的现象，其实往往都是随机的结果，这是这个世界运 作的机率，确确实实存在，支撑着量子力学，也支撑着我们的现实生活。我们应该做的，是去看整体的趋势，而不是对于一个短期的现象，钻牛角尖地想尽办法去解 剖它。解剖的结果就会让你像量子物理学家一样，困惑地发现井然有序的世界，竟然是由一些到处乱跑的粒子组成。长期的趋势是可以透过努力研究在一定程度上达 到预测的效果，短期趋势是谁也说不准。
我一直有种感觉：微观的随机似乎是造物者阻止我们探究真理的一种方式，但巨观的秩序井然却又是造物者透露给我们的讯息，让我们在这条路上不至于像是在迷雾中前进。随机现象本身是一个相当深奥的议题，谈到最后往往都会沦为「上帝究竟丢不丢骰子？」的哲学议题，人类也许永远都无法了解这个世界是不是一切都命中注定，抑或是人总是可以随时透过外在力量改变一些事物的随机世界。无论是怎么样，努力之后得来的果实永远都是甜美的。只是要记住，别被一些人解释随机现象的嘴砲所唬了，好像这些随机现象真的像他们讲的那样完全可以预测。
http://mmdays.com/2008/02/21/randomness-2/ 这标题是不是和内容有些反？ 标题和内容没反啊。
做了这么久研究，我对本文深得共鸣，研究得太微观了就是与天为敌。
所以蒙特卡罗这种爆破的方法有时还真是解决问题的捷径。 原帖由 coolsun 于 2008-5-8 14:46 发表
标题和内容没反啊。
做了这么久研究，我对本文深得共鸣，研究得太微观了就是与天为敌。所以蒙特卡罗这种爆破的方法有时还真是解决问题的捷径。
对于内容是很认同。里面议论的是说许多看上去有板有眼的东西，其实底子里是随机的，不要被自己的眼睛糊弄了。但总觉得那标题的意思是：不要把一切现象都看成随机现象，即别把随机当必然。
[ 本帖最后由 野狐禅 于 2008-5-8 19:50 编辑 ] 大多数人把偶然当必然 :*22*: :*22*: 除了随机和必然这样确定的概念，应该还有中间区域。也就是，要能衡量随机的程度，进而发展出对策（解释、预测或控制）。否则只停留在了随机和确定性的哲学思辨上。当然概率论是一定可用的，它是站在系统外看效果的理论；实用但不令人愉快。
对随机定性或定量的度量，也不只是熵（如信息熵）或其它简单概念可以全面描绘。路漫漫…… 写的很好:*19*: 谢谢，有启发。 随机和必然、长期和短期界限的确定好难啊 #*d1*# 偶然发生之后就成必然了#*18*# 共同交流，共同进步！#*d1*# #*d1*# 研究报告www.xkj.cc
股票论坛 相信楼主的说，非常支持你
页:
[1]