20小说网

大数据时代的改变与思考（第1页）

大数据时代的改变与思考

——维克托·迈尔·舍恩伯格《大数据时代》导读我们生活在社会中，就不得不同数据打交道。

我们也是数据的一部分，不论我们想不想与大数据牵扯到一起，数据都会找到我们，覆盖我们。

大数据时代已经来临，如何从海量数据中发现知识，寻找隐藏在大数据中的模式、趋势和相关性，揭示社会现象与社会发展规律，以及可能的商业应用前景，值得我们深思。

作者简介······················《大数据时代》的作者维克托·迈尔·舍恩伯格，被誉为“大数据商业应用第一人”。他是十余年潜心研究数据科学的技术权威，是最早洞见大数据时代发展趋势的数据科学家之一，也是最受人尊敬的权威发言人之一。他曾先后任教于世界最著名的几大互联网研究学府，现任牛津大学网络学院互联网治理与监管专业教授。他的学术成果斐然，有一百多篇论文公开发表在《科学》《自然》等著名学术期刊上，他同时也是哈佛大学出版社、麻省理工出版社、通信政策期刊、美国社会学期刊等多家出版机构的特约评论员。他是备受众多世界知名企业信赖的信息权威与顾问。他的咨询客户包括微软、惠普和IBM等全球顶级企业，由他的公司开发的病毒通用程序，成为当时奥地利最畅销的软件产品。

1991年，舍恩伯格跻身奥地利软件企业家前5名之列，2000年被评为奥地利萨尔斯堡州的年度人物。所著《大数据时代》一书是开国外大数据系统研究的先河之作，而在这之前，他已经在《经济学人》上和数据编辑肯尼斯·尼尔-库克耶一起，发表了长达14页的大数据专题文章，这篇文章也成为最早洞见大数据时代趋势的文章之一。

写作背景

《大数据时代》这本书之所以面世，除了因为作者本身是大数据研究的先锋外，还因为传统的小数据思维已经不再适合当时的社会与生产力发展，经济的快速发展决定了对大数据的研究成为必然，同时，大数据的发展也会改变我们的思维与生活。就像维克托·迈尔·舍恩伯格在书中前瞻性地指出的一样，大数据带来的信息风暴正在变革我们的生活、工作和思维，大数据开启了一次重大的时代转型。

内容解读

下面来大概介绍一下本书的内容。首先说明什么是大数据。作者提出了大数据三原则：第一，大数据它不是随机样本，而是全体数据；第二，大数据不是精确性的，而是混杂性的；第三，大数据彼此不是因果关系，而是相关关系。

第一，什么是“不是随机样本，而是全体数据”？以往我们做一个大规模的统计，一般都是通过随机的方式。打个比方，我们小时候做的统计题会这么问：小明从一个池塘里随机捞了200条鱼，把这200条鱼全部做上标记后放回到了池塘里，过了两天小明又随机捞上来200条鱼，结果发现这200条鱼里只有2条有标记。请问，这个池塘里大约一共有几条鱼呢？

答案很简单，200乘200除2，那么可以证明这个池塘里边有2万条鱼，这个就是我们以往所使用的随机的调查方法。

在哪儿？首先，我们想把一个调查做到绝对随机是做不到的。此外，它的随机性究竟做得怎么样，没法验算。其次，随机误差就算再小，哪怕0。1%，对于一些研究也是致命的，比如研究房子会不会塌，需要的是百分之百的数据而非有误差的数据。最后，随机性调查是无法深入信息的，比如选举，我们可以说，有多少女性支持谁，有多少纽约人是支持这个，我们只能大概做到这么一个粗糙的范围了。再往下做，除非专门设计问卷。但如果去做一个大的问卷，把分门别类做得太细的话，就涉及一个很大的问题，就是随机性没了。没有了随机性，调查数据也就不准确了。所以这是一个悖论，我们在数据调查过程中，很容易出现无法细分的问题，因此我们无法深入数据本身。应该说随机性数据它只提供一张模糊的照片，要想细看非常困难。

大数据就排斥了这种方式，采用的是全体数据。书中有一个案例，就是美国两个计算机达人，通过十一年努力，分析了日本相扑比赛6。4万场，发现了一个惊天的秘密——相扑比赛有人在暗中操纵。日本大相扑影响很大，而且这个行业很封闭，都是师傅带徒弟，所以即使出现了腐败案件，别人一般人很难插手。而且这些人都很聪明，通过数据看，关键场次胜负是很正常的，大概也就是五五开。可是一些边缘场次就不一样，譬如说一个人应该一年打15场比赛，前14场他是7胜7负。另一个人前14场是8胜6负，这两个人比结果会如何？如果7胜8负，那可能他就要被淘汰，可能他就不能在这个大联盟中生存了。那么另一个人已经8胜6负了，所以他输了也无所谓。所以在这种情况下，往往就是7胜7负那个人获胜。

可能很多人就说，这个7胜7负那个人他有动力呀，他一定要赢啊，不赢明年他就没法参加大联赛了，只能参加低级联赛了，所以他要拼呢，这样他自然就胜率高一些。但是这个胜率能有多高啊？按这两个数据达人计算，即使双方斗志不一样，那么胜率的差距也不应该超过25%，这都是统计出来的。事实证明，双方这个差距很大，所以这样就揭出了一个惊天的秘密，导致整个日本相扑界发生了“大地震”，很多人引咎辞职。日本和美国隔着太平洋，这两个研究者也不懂相扑比赛，也没有实际去调查。只是通过数据分析，就证明了中间存在着黑幕，这个就是全数据的力量。

谷歌翻译。IBM做机器翻译做了将近10年，累计了300万句英语，可是没做成，最后不得不放弃了，因为太难了，由于语言有双关性，因此一个词不放到具体语境中就搞不懂。怎么去理解这个具体的语境，机器的智力是做不到的。谷歌采取了一个非常简单的方式，就是大量地提供语料，总共大概有950亿句。这是由网友提供的，每天大家都在问，其实你输入一个英文单词翻译成中文经常是不准确的，你很不满意，但是大家不断地把这些意见汇集起来，这个规则都是自动修改的。打一个最简单的比方，如果50%的人不满意，那所有的这个规则就算错的，如果说超过50%的人满意，那么这个规则就保存下来。因为积累了950亿句英语的句子，所以谷歌翻译在今天为止比我们已知的任何一个翻译软件都更准确，虽然它不是完全正确，但是已经做到我们能做到的极致了。这个就证明了精确性并不重要，混杂性才重要。

第三，什么是“不是因果关系，而是相关关系”？我们一般说的要有规律有逻辑性，其实这个就是所谓的因果关系。相关性则不需要逻辑，譬如说吃泡菜可能会引发胃癌，到目前为止没有原理解释，也没有充分的证明，但是可以通过一些数据来证明，吃泡菜的人中间可能有60%的人得了胃癌，那么不吃泡菜的人可能只有40%，通过对比得出结论：吃泡菜可能致癌，这就是所谓的相关性。相关性到目前为止很难用因果去解释，但它可能暗含某种因果关系。有一个案例，亚马逊刚开始创业的时候，为了推销书，组织了20个书评人，天天写书评，可是20个人能写多少？而且这个成本也太高了。所以亚马逊后来干脆看哪个书点击率高，直接按点击率来做推荐榜，而不再依靠书评人。书评人很不高兴，觉得这能够判断准确吗？

这个就被称为“人和鼠标的战争”。那么事实证明，鼠标赢了。自从亚马逊采取了这种方法以后，销量增加了100倍，其中13来自读者推荐系统。

我们过去希望一些专家提供专业意见，在这个时代，因为成本太高就没有价值了。

数据本身可能比规律还重要。提出这个观点的是达尔文的表弟高尔顿。

高尔顿是人类学家，他最早提出通过人的头骨大小就能判断他是优秀民族的身高和我们前臂长度有关。为什么会这样？他也解释不了，所以很长时间，大家认为这就是个笑话。可是我们如果从统计的角度看，就会发觉高尔顿这个说法是正确的，所以我们要明白，因果关系往往表现了一个人的洞察力，表现了一个人的智慧，这是人类理性的一个最高点，但是，因果关系是我们在数据不够的情况下，依据少量数据而形成的一种认知，这种认知正确不正确要通过实践反复去证明，这个就需要很多的钱，时间和精力。所以我们说，用因果的角度去思维问题，也容易给人类带来一种误导。

作者不仅向我们介绍了什么是大数据，还详细阐述了大数据时代会带来的好处与弊端，来告诉我们该以怎样的态度面对大数据时代的到来。

我们了解大数据，最重要的意义是帮助我们建立大数据思维。在今天社会中，可能大数据思维比大数据本身更有价值。比如Facebook，通过近10亿用户每天发出的几亿条微博，把人们的想法、情绪、沟通等数据化。

大数据还有很多很多的优势，比如说我们在大数据时代可以通过数据创新来给自己创造经济利益。

大数据时代还可能会对我们的生活产生更多消极的影响，比如说我们今天活在一个摄像头时代。到处都是摄像头，奥威尔在《一九八四》那本小说中，就说我们是活在一个被监视的社会中。

人类因为有了大数据，就可以预测犯罪。譬如说这个罪犯已经关在监狱了，刑满该释放了。于是有人就发明了一套大数据，通过罪犯在监狱的表现、生活等来预测他会不会再犯罪。这个数据最后证明，75%是准确的。

可这就涉及一个问题，还有25%不准确啊。如果说这个罪犯刑满了但被预测还有再犯罪的可能，然后就被继续关着了，那肯定不公平，毕竟人家没犯罪啊。

此外，大数据时代意味着个人隐私丧失，我们说大数据，绝大多数还是数据大亨把握着。如果国家没有一个法律，没有一个文化鼓励，特别是政府如果还没有带头做好数据开放的话，那么各公司也不做好。如果他们把握了一些大数据，把握了人们的隐私，就会给你添加无穷的麻烦，比如你到中介租房，那么就会有无数租房中介给你打电话，因为它把你这个数社会的博弈，只有好的社会、好的社会规则才能使大数据时代真正落实，让它变得好处大于害处。那么如何去进行博弈呢？本书的作者认为，个人可以适当放弃一点隐私权，只要这个大数据给我们带来的益处更多就行。

但是要防止它的坏处，只靠立法与规则是行不通的，它最终需要一个社会结构性的力量，比如说文化是否健康，是否存在着一个权力制衡的良好运行的体系等。只有这些体系是存在的，我们才可能更好地适应大数据的时代，才能更好激发出大数据时代给我们人类创造的机会。

评价与心得

读完本书我认为最有价值的一点，就是它提出一个很重要的问题——我们很多人是无法收集到大数据的，那么在大数据时代，我们是不是只是看客？其实不是的。因为大数据公司分三种，一种是收集数据，一种是处理数据，还有一种是可以利用大数据思维去很好地运用这些数据。如果信息开放，你不一定需要有最好的技术，也不需要有非常大的数据设计能力，你也可以从大数据时代中赚到钱。比如说淘宝，每天都诞生着几百万笔、甚至上千万笔的生意，如果你把它收集起来，进行数据挖掘，这个技术不需要很复杂，那么你就能够形成自己的服务方式。

大数据正把我们变成新的物种。首先，大数据改变了我们的思维方式，让我们从因果关系的串联思维变成了相关关系的并联思维。其次，大数据改变了我们的生产方式，物质产品的生产退居次位，信息产品的加工将成为主要的生产活动。最后，大数据改变了我们的生活方式，我们的精神世界和物质世界都将构建在大数据之上。大数据不仅仅是一门技术，更是一种全新的商业模式，它与云计算共同构成了下一代经济的生态系统。一切皆信息。