新媒体大数据研究分析报告

　I

　新媒体大数据研究

　分析报告

　II

　目录 第一章大数据背景与动态 ................................................................ 3 1.1 大数据的宏观价值与背景 ........................................................ 3 1.1.1 国家 ——保障数据安全，促进数据开放 ..................................... 3 1.1.2 政府 ——转变理念，集成信息，抓住机遇 ................................... 5 1.1.3 学术 ——科学的研究数据，用数据来研究科学 ............................... 6 1.1.4 产业 ——产业需要变革，行业需要互融互通 ................................. 7 1.1.5 公司 ——平台化竞争，特色应用化生存 ..................................... 8 1.1.6 投资 ——大数据将提供价值分析新视角 ..................................... 9 1.2 国内外大数据发展动态 ......................................................... 10 1.2.1 国外大数据发展动态 ..................................................... 10 1.2.2 我国大数据发展动态 ..................................................... 15 1.2.3 大数据相关社区 ......................................................... 18 1.2.4 我国大数据行业协会 ..................................................... 22 第二章新媒体大数据分析 ............................................................... 24 2.1 新媒体大数据应用现状 ......................................................... 24 2.2 基于大数据的收视率测量 ....................................................... 27 2.3 新媒体视频内容监管 ........................................................... 30 2.4 大数据指导节目内容生产 ....................................................... 32 2.5 新媒体大数据发展趋势 ......................................................... 34

　3

　第一章大数据背景与动态

　1.1 大数据的宏观价值与背景

　从大历史观来看，“大数据”的内涵远远超越物联网、云计算等信息技术的概念，它的意义可以比肩“活字印刷术”的发明，大范围的消除信息不对称的现象，释放巨大的生产力，深刻改变社会的面貌，提升国家治理，革新科学研究的思想，促进产业间的跨界、融合和颠覆，并将极大的促进文明的传播、凝聚、和升华。

　数据自古存在。乌龟壳、树皮、绸缎都曾经是记录数据的媒介，现在都已经退出了舞台；留声机、磁带机也曾经风靡一时，也已难觅踪影；现在当红的信息技术，像个人电脑、智能手机、 IPad 在不远的将来也将被陈列在博物馆。唯有数据，虽然不断的变换表现形态，将一直伴随人类走向未来。

　物联网本质上是器物层面的技术， 从大数据的视角而言， 是采集数据的终端。云计算本质上是IT

　服务交付手段的变革，并由此引发一系列技术基础架构的更新。物联网和云计算都是信息技术发展的一定阶段的自然延伸， 依然属于信息技术范畴。而大数据可以看成是数据积累到一定规模后， 引发的质变。

　大数据超越信息技术， 使人们重新界定国家竞争的主战场， 重新审视政府治理水平， 重新认识科学研究的新范式， 重新审视产业变迁的驱动因素， 重新理解投资的决策依据， 重新思考公司的战略和组织。

　综上所述，大数据将是保障国家安全、 社会治理和推动经济发展的恒久主题！

　1.1.1 国家——保障数据安全，促进数据开放

　2012 年 3 月份，奥巴马发布了美国版的 《大数据发展计划》，通过这个计划， 可以看出：

　国家层面大数据技术领域的竞争事关一国的安全和未来。

　国家数字主权体现为对数据的占有和控制。数字主权将是继边防、海防、空防之后，另一个

　大国博弈的空间。大数据必须上升为国家意志，落实为国家战略。欧盟、日本、

　新加坡等国家已经开始纷纷行动。

　4

　2013 年，美国人斯诺登给世人揭开了 “数据战争” 的冰山一角， 美国的“棱镜计划”事实上把所有国家、个人都可以玩弄于股掌之上。连其多年的盟友，德国总理默克尔的手机，都在 NSA（美国国家安全局）的监控之下。面对默克尔的 愤怒的质问， 奥巴马只能言辞闪烁的声称 “现在没有监控， 未来也保证不会监控您的手机！” 人们把战略核潜艇称为“国之重器” ，的确，神出鬼没的毁灭力量令人望之生畏。但是，如果导弹赖以导航的坐标数据被人为修改或者提前探知了呢？如果

　不具备保护这些核心数据的能力， 恐怕就会应了那句老话， 搬起石头砸自己的脚。

　参与棱镜计划的公司包括谷歌、 雅虎、Facebook、微软、苹果、思科、Oracle 、 IBM等科技巨头。

　可以看到， 大数据时代， IT 产业强大与否已经直接决定一个大国是否成为强国的最为关键的因素。

　没有数据安全， 就不会有国家安全， 没有强大的 IT 产业，就不会成为一流国家，也就谈不上中国梦！

　保护国家层面的数据安全，恰恰是以数据开放为基础的。开放是一种态度，

　更是一项能力。

　一些重大基础数据开放， 可以构成社会的数据基础， 按照大数据定律之一“数据之和的价值远远大于数据价值的和” 来推断， 来自不同领域的数据聚合在一起，开放给社会，将会产生类似核聚变一样的价值发现效应。

　现在，电子商务、社交网络、基础通信、国家各部委的数据，具备聚合的效

　应和产生核聚变价值的基础。

　国家统计局联合百度、 阿里巴巴， 已经做了一些探索性的尝试，这是非常好的开端。与此同时， “数据割据、拥数自重”的现象也是普遍存在的。譬如气象观测数据，这类数据对于研究大气变化、气候演变、农

　业指导等具备非常重要的科学意义。

　但目前来看， 类似此类的数据应用范围还有很大提升空间。再如住建部的购房数据， 这类数据对于防止腐败、 研究经济走势、人口迁移， 甚至制定国家决策都具有至关重要的数据。

　这类数据如果开放给社会各界，一定程度上会繁荣多学科、 跨领域交叉研究， 就此有可能会推动中国在各个方面的进步。

　开放的数据是基础，促使信息产业繁荣，才能诞生真正的数据驱动的企业，

　企业反过来在数据领域的技术进步， 才是确保国家数据安全的长治久安之策。

　很难想象， 如果没有谷歌、 微软、Facebook 这样的公司， 单凭美国政府一己之力， 难以实施如此庞大的“棱镜”计划。所以制定国家大数据战略，需要重新思考传

　5

　统的所谓的“国家机密”和国家安全的关系。应当把消除部门数据割据，建立公开、透明、共享的数据公共平台作为长期的战略目标。

　多年以后，回顾中国这段历史，也许今天的一些举措，将会是社会“数字文明”的起点。

　1.1.2 政府——转变理念，集成信息，抓住机遇

　近年来，继云计算、物联网之后，又一股技术革命理念席卷而来

　--- 大数据。海量、动态、多样的数据，如何让它具备“巨大价值”

　，是这次被称作“颠覆性技术革命” 的关键。传统的思维方式和行为方式将面临巨大挑战， 尤其在公共服务领域，它有效集成信息资源的能力，将会为政府管理理念和治理模式的转变，

　提供强大的技术支撑。当前世界上越来越多的国家开始从战略层面认识大数据，

　在政府治理领域融入大数据思维和技术。

　在此背景下， 我国政府也应顺应时代发展趋势，契合推进国家治理能力现代化的时代要求， 充分利用大数据提升国家治理能力。

　大数据时代政府治理能力将面临更多的机遇与挑战！进入 21 世纪，世界上 越来越多的国家开始重视和推进大数据的发展。英国 2006 年启动“数据权”运动，韩国 2011 年提出打造“首尔开放数据广场” ，美国 2012 年启动“大数据研究和发展计划”，联合国 2012 年推出“数据脉动”计划，日本 2013 年正式公布以大数据为核心的新 IT

　 国家战略。我国也已开始推动大数据发展，政府、企业和科研院所正在进行多方位布局。

　对于政府治理而言， 大数据时代在带来机遇的同时也充满挑战。

　大数据为政府治理能力的提升带来了发展机遇。

　首先是为推动政府治理理念和模式的变化带来机遇。在政府治理领域，通过让海量、动态、多样的数据有效

　集成为有价值的信息资源， 推动政府转变管理理念和治理模式， 进而加快治理体 系和治理能力现代化。

　其次是为推动政府治理决策精细化和科学化带来机遇。

　在 大数据时代， 互联网数据的价值随着海量积累而产生质变， 能够对经济社会运行规律进行直观呈现， 从而降低政府治理偏差概率， 提高政府治理的精细化和科学化。再次是为推动政府治理提高效率和节约成本带来机遇。

　利用大数据， 可以使政府治理所依据的数据资料更加全面， 不同部门和机构之间的协调更加顺畅， 进

　6

　1 而有效提高工作效率，节约治理成本。

　大数据对提升政府治理能力的重要性不言而喻， 但在实际工作中具体运用大数据却任重而道远。

　现阶段， 大数据在政府治理领域还未得到足够重视。

　我国政府部门目前几乎没有使用大数据技术， 很多政府部门并未对大数据提升业务能力 予以足够重视， 大数据资源管理的思维尚未建立。

　大数据在政府治理中的技术运用尚在探索。

　随着我国信息化技术应用不断扩展， 国家及企业层面产生了巨量大数据，但总体集成、掌握、整合、分析这些数据需要成熟的技术投入，目前如何

　利用大数据进行精细分析仍处于摸索阶段。大数据本身的管理还需要综合完善。

　如何管理大数据，我国各部门还缺乏统一标准，各部门的数据来源、数据架构、 数据体系各自为政，不能有效整合，大大降低了数据的使用效率 。

　1.1.3 学术——科学的研究数据，用数据来研究科学

　学术界在大数据时代有了更为广阔的舞台。

　某种程度而言， 近几年计算机领域的发展是谷歌、 亚马逊等一线的互联网公司所推动的。

　虽然学术界在算法方面具备无可替代的优势，但在算法工程应用领域，由于缺乏实践场景而裹足不前。

　之所以呼吁学术界像谷歌公司学习， 正是看到了学术界不能再走一条从文献到文献的封闭道路。

　在大数据时代，许多学科表面上研究的方向大不相同，但从数据的视角看， 其实是相通的。例如自然语言处理和生物大分子模型中都用到隐式马氏过程和动 态规划方法。

　其最根本原因是它们处理的都是一维的随机信号。

　再如用于图像处理的算法和用于压缩感知的算法也有着许多共同之处。

　以自然语言的机器翻译研究为例。

　最初科学家们试图为计算机建立一系列的语法规则，按照语法、词义，来翻译成另外一门语言。该思路非常直观，因为人 们就是如此理解学习语言的。

　但在实践中困难重重， 基于语法规则的翻译器， 几乎没有商用过。而当科学家们改弦易张， 计算每一个词， 每一句话的“合理概率” 时，复杂的机器翻译就简化成了文字的概率计算。通俗来讲就是：

　“如果大多数人都这么说，就认为是对的！

　” 这种思想在越来越多的领域得到应用， 宏观尺度研究的天体信息学、 社会行

　 1 作者：西北大学经济管理学院吴建树

　7

　为学、微观尺度上分析人类的基金组， 追踪物理学家们梦寐以求的 “上帝粒子”。随着社会的数字化程度逐步加深，越来越来多的学科在数据层面趋于一致。

　可以采用相似的思想来进行的统一的研究。

　而这恰恰是数学家的特长。

　因此数据科学在数学和实际应用之间建立起了一个直接的桥梁。

　而这些实际应用正是来自于像信息服务等现代产业中最为活跃的一部分。

　对数学来说， 这是一个千载难逢的机会。

　通过建立大数据实验室， 搭建产业界和学术界的桥梁， 为学术界优秀的算法 提供演练的舞台， 为产业界困扰的难题提供破解的机会。

　从而间接推动数据科学领域学科建设与人才培养的工作。

　1.1.4 产业——产业需要变革，行业需要互融互通

　产业需要变革，行业需要互通互融。所谓“大数据 +”，就是将大数据思维嫁接到不同的产业中，推动大数据在各行各业落地。

　大数据不仅仅只关系到 IT 行业。众多行业龙头公司，都已经意识到了大数 据新思维的巨大冲击。

　给企业家们带来冲击的并不是大数据本身， 而是一些新兴公司不可思议的跨界能力。

　行业之间的界限变得越来越模糊， 这些新兴公司所采用新的技术、新的模式，大规模采集数据，迅速形成预判，并迅速扩张到相关企

　业行业。譬如乐视网，已经涉及电视销售，电影拍摄；小米公司除手机销售外， 也开始涉及电视销售； 百度、360 等企业也都开始做各种硬件， 如百度影棒， 360 随身 WiFi 等。

　互联网金融行业发展快速， 该行业对传统金融行业造成的冲击非常之大， 彷佛一夜之间就成了传统金融业的公敌，阿里巴巴旗下的余额宝产品仅仅用了

　5 个多月的时间，累积申购金额就超过了 1000 亿元人民币。事实上，目前互联网 金融还是在发展的初级阶段， 仅仅是把线上渠道对接了线下金融资源， 但就是这种“对接”行为，已经引发了行业性的“地震” 。下一步将是线上渠道向智慧方向演进，这个阶段大数据才真正派上用场。正是：

　“互联网颠覆金融，大数据重构信用”！借此回顾阿里集团的战略排序是：平台、金融、数据。数据是在金融 之后的第三个发力点。

　类似案例将在各行业轮番上演。

　信息化程度越高的行业， 受大数据冲击的可

　8

　2 能性越高，被颠覆的可能性越大。

　所以，以大数据的视角来看， 任何产业中， 数据资产都将成为最核心的竞争

　力！

　传统产业、各行各业， 都面临在大数据和移动互联网时代如何彻底转型和再

　造的问题。

　产业整合， 将在大数据时代出现全新的整合逻辑和实现契机。

　传统产业、各行各业，都可能在大数据和移动互联时代，重现生机、焕发青春。当然，

　与此对应的是， 如果不能跟上这个时代步伐的企业和行业， 命运可能就将永久地走进过去，退出未来的舞台。

　1.1.5 公司——平台化竞争，特色应用化生存

　碎片还是平台？这是一个问题！

　诸如像小米公司和乐视网之间的竞争， 很可能会成为一种奠定产业格局的竞争，一旦格局奠定， 一些公司沦为炮灰或人家平台上的碎片化应用的可能性就非常大了。至于这两家公司是否可以最终胜出， 尚难下定论。

　但是这两家公司所代 表的商业模式，很可能造就出伟大的企业 。

　未来，各行业只有两类公司得以生存， 一类是平台，一类就是有特色的应用。这种“星空格局”将呈现众星拱月的景象。平台的竞争可能更加残酷，一个行业

　甚至只可能存在唯一一个压倒性的平台； 应用的竞争同样残酷， 产业成熟周期将缩短到 1 年，决胜期短至 2 个月。

　在星空格局之下，公司的竞争力更多的体现在“平台 +特种部队”的模式。就好比美军前线的一个小分队， 甚至单兵，可以直接指挥后方的导弹、 飞机一样。以星空格局作为产业演化的最终形态， 以特种部队作为业务竞争的基本单元， 那么公司的战略、组织、文化等方面需要彻底的重组。

　例如国内的某些公司，组织层级被高度压缩为两级，员工、合伙人。每个合

　伙人管理一方面的事务，譬如营销、采购、制造等等。但是合伙人直接管理许多

　员工（团队），完全颠覆了一般管理学上定义的， 管理跨度不要超过 7 人的界限。而另外有些公司 ,

　直接向公司最高管理层汇报的团队有多达数十个。在组织高度扁平化的公司里，企业文化必然有其独到的地方，关键词无外乎包括：

　“专注、

　2 上述两家公司的商业模式称为泛互联范式，详情可参考《大数据时代的历史机遇》第七章

　9

　极致、口碑、快速、用户体验、全面体察等” 。

　传统公司的确需要重新审视自己的战略，重构组织，再育文化。否则，胜利 的天平总是向这些类似泛互联网范式的公司倾斜。

　这也便是为什么要强调大数据思维的原因。

　1.1.6 投资——大数据将提供价值分析新视角

　由于各家公司的成立及上市时间不同，运营结构、体制机制也各具特色 , 如果单从某些指标着手 , 评价结果难免有失偏颇 , 导致投资价值评估不具备典型性 , 无法实现投资价值评估的目的 ,

　也无法向投资者正确反馈上市公司投资价值高低的信息。

　其中，“高科技”行业尤其难以研究。隔行如隔山，以软件公司为例，虽然

　都是软件公司，但是他们服务的行业不同， 采用的技术不同， 产业成熟周期不同， 最为关键的是， 产业成熟周期有越来越短的趋势。

　但是一旦发现机会， 就惊世核俗，成为产业的新标杆。谷歌公司仅仅用了 15 年的时间，跨入了千亿美元市值公司的行列；小米公司成立三年，估值已达到

　100 亿美元。如此高速的成长，在传统行业几乎是不可能发生的事情。

　长期研究分析发现， 以 TM（ T 电信、媒体、科技）为代表的高技术含量企业，

　虽然发展迅速，机会众多，但也随时可能出现潜在的风险，基于此，许多基金经 理因看不懂看不准而从不涉足。

　这的确是一个两难的问题。

　基金经理不了解， 资金就会投入的少，客观上对行业发展不利。用所谓的

　WACC方法评估 TMT公司价值，在当前来讲已经不那么现实了。

　虽然大数据的起源要归功于互联网与电子商务， 但大数据最大的应用前景却在传统产业。

　一是因为几乎所有传统产业都在互联网化， 二是因为传统产业仍然占据了国家 GDP 的绝大部分份额。随着数据逐渐成为企业的一种资产，对大量消费者提供产品或服务的企业、 做小而美模式的中长尾企业、 面临互联网压力之下急需转型的传统企业， 这三类企业的投资价值与市场发展前景愈发显得难以看透。

　针对这种情况， 有没有一个简单明了的逻辑， 可以帮助投资人发现公司的潜 在价值呢？答案是肯定的！

　大数据将提供分析公司价值的新视角。

　所谓公司的价

　10

　3 值与其拥有的数据资产的规模和活性成正比， 与其解释、运用数据的能力成正比。这里提出数据资产的概念， 并强调数据资产的两个属性规模、 活性。事实上 书中提出数据资产评估模型， 从五个维度来评估数据资产的商业价值。

　规模和活

　性仅仅其中的两个 。

　利用数据资产评估商业价值的这种思想， 获得了越来越多的投资人认可。

　大数据已经成为基金经理切入企业发展前景与价值评估的绝好视角和新型工具。

　产业界和资本市场沟通的 “纽带” 在大数据时代将显得越来越重要。

　需要让 越来越多的投资人理解大数据， 洞察行业发展趋势， 帮助产业界更好地开拓产融结合的路子。

　综上所述， 不能狭隘的看待大数据， 不能把它当数据挖掘的工具， 不能唯技术论，更不能一概斥之为炒作。从大历史观来看， “大数据”的内涵远远超越物联网、云计算等信息技术的概念，它的意义可以比肩“活字印刷术”的发明，在

　世界尺度上大范围的消除信息不对称的现象， 释放巨大的生产力， 深刻改变社会的面貌，革新科学研究的思想，促进产业间的跨界、融合和颠覆，并将极大的促

　进文明的传播、凝聚、和升华。

　1.2 国内外大数据发展动态

　1.2.1 国外大数据发展动态

　国际战略动态 总管世界各国的大数据策略可以发现存在着一下三个共同点：一是推动大数

　据全产业链的应用； 二是数据开放与信息安全并重； 三是政府与社会力量共同推动大数据应用。

　美国 美国从 2009 年至今全面开放了 40 万联邦政府原始数据集。日前 Data.gov （美国政府数据库）宣布采用新“开源政府平台”管理数据，代码将向各国开发者开放。奥巴马政府将“大数据战略”上升为最高国策，认为大数据是“未来的新石油”，将对数据的占有和控制作为陆权、海权、空权之外的另一种国家核心

　 3 引自《大数据时代的历史机遇》第三章赵国栋

　11

　能力。首批共有 6 个联邦部门宣布投资 2 亿美元，共同提高收集、储存、保留、管理、分析和共享海量数据所需核心技术的先进性， 并形成合力； 对信息技术研发投入推动超级计算和互联网的发展。

　目前，已有美国大学专门开设了研究大数据技术的课程， 培养下一代的 “数 据科学家” ，一些美国公司也在向大学提供教育研究资助， 并赞助与大数据有关的比赛， 扩大大数据技术开发和应用所需人才的供给， 提高美国的科学发展、 环境与生物医药研究、 教育和国家安全的能力； 美国国家卫生研究院开展的免费开放国际千人基因组计划， 它将创建的人类遗传变异研究数据集， 供研究人员自由访问和使用；美国国家科学基金会和美国国家卫生研究院对大数据进行联合招标， 改进核心科学与技术手段，

　提高从各种大型数据集中提取重要信息并对其进行有效管理、分析和可视化的能力； 美国国防部则计划每年投资

　2.5 亿美元左右， 在各个军事部门开展一系列研究计划， 以创新方式使用海量数据，

　通过感知、 认知和决策支持的结合，加强大数据决策能力；美国能源部则将斥资

　 2500 万美元建立可扩展数据管理与可视化研究所（

　SDAV），帮助科学家对数据进行有效管理，促进其生物和环境研究计划、美国核数据计划等的研究成果。

　此外，美国纽约州能源研究和发展管理局运用一系列的大数据技术来评估气 候变化对纽约州的影响， 并为农业、 公共卫生、 能源和交通运输等领域提供应对 气候变化的策略。这一应用也被引入美国疾病控制中心，它正与美国其他 10 个州和城市一起开展“阅读州和城市计划”，共同研究和应对气候变化，而大数据 技术是其中一个非常重要的组成部分。

　英国 2011 年 11 月，英国政府发布了对公开数据进行研究的战略政策，英国内阁部长弗朗西斯·莫德说，其实英国政府早有意带头建立“英国数据银行”，政府 想算清楚究竟这个国家或政府创造了什么； 英国不只是要成为世界首个完全公布政府数据的国家， 还应该成为一个国际榜样， 去探索那些公开数据在商业创新和刺激经济增长方面的潜力。

　2013 年 1 月，英国商业、创新和技能部宣布，将注资 6 亿英镑发展 8 类高 新技术，大数据独揽其中的 1.89 亿英镑，将近三成。

　2013 年 8 月 12 日，英国政府发布《英国农业技术战略》。该战略指出，英国今后对农业技术的投资将集

　中在大数据上，目标是将英国的农业科技商业化。

　12

　2013 年英国首个综合运用大数据技术的医药卫生科研中心在牛津大学成立， 这个研究中心总投资达 9000 万英镑，可容纳 600 名科研人员。中心通过搜集、存储和分析大量医疗信息， 确定新药物的研发方向， 减少药物开发成本， 同时为发现新的治疗手段提供线索。同时，以英国为首的欧洲核子中心（ CERN ）将在匈牙利科学院魏格纳物理学研究中心建设一座超宽带数据中心。

　建成后，魏格纳数据中心将成为连接 CERN且具有欧洲最大传输能力的数据处理中心，未来该设施

　在处理大型强子对撞机（

　LHC）的数据以及实验方面发挥重要作用。

　日本 日本面临着由于长期经济低迷导致国际地位下降、 人口老龄化以及日益增大的社会保险费用和社会基础设施老化等诸多问题。

　为了扭转这一现状， 日本政府决定通过大力发展 IT

　 产业，特别是大数据及开发数据和云计算，以发展开放公共数据和大数据为核心的日本新 IT

　国家战略，要把日本建设成为一个具有“世界最高水准的广泛运用信息产业技术的社会” ，并且将其发展成就扩展到国际范围内。

　加拿大 随着大数据在全球范围内继续火热，

　加拿大的大数据产业也在慢慢升温。

　例如，在科研领域， 加拿大政府科学、 技术与创新委员会已要求科研组织就与加拿大经济发展和社会福利密切相关的问题， 为加拿大政府提出基于证据的科技建议。

　2007 年，加拿大开始实施数字信息战略。

　2011 年 5 月加拿大广播电视和电信委员会（ CRTC）就发布了新的“国家宽带计划”，该计划显示，到 2015 年加拿大全体国民将享有 5Mbps的宽带接入速度。

　2012 年 9 月 IBM正式启动在加拿大国内兴建智能数据中心，该中心全称为 IBM加拿大领导数据中心（ IBM Canada Leadership Data Centre ）。

　法国 虽然法国在数学和统计学领域具有独一无二的优势， 但法国的大数据产业发展情况远不如美国、 英国等国家发展的火热。

　但近年来， 法国在智慧城市建设方面却投入了大量精力， 包括法国电信、 施耐德集团和达索集团等诸多法国知名企业都在旗下设立了专门从事智慧城市设计和研发的工作室或实验室， 在政府引导下积极投身智慧城市建设。

　2013 年 2 月，法国政府发布《数字化路线图》，列 出 5 项将会大力支持的战略性高新技术，其中一项就是大数据。

　2013 年 3 月，

　13

　法国国家教育部推出了四项数字化服务。

　2013 年 4 月，法国经济、财政和工业部宣布，将投入 1150 万欧元用于支持 7 个未来投资项目，目的在于“通过发展创新性解决方案，并将其用于实践，来促进法国在大数据领域的发展。” 德国 德国 IT 行业协会 BITKOM日前发表报告称，大数据业务在德国发展迅速， 2014年有望增长 59%，营业额达 61 亿欧元，到 2016 年有望再翻一番达到 136 亿欧元。同时因为严谨的名族习惯， 德国在数据保护方面做的非常出色， 据了解， 德国在保护个人信息方面的立法已有几十年历史， 现在的相关法律对互联网等领域中个 人数据的使用都做出了明确规定， 还提出设立专职信息保护人员的建议， 较好地维护了德国社会的信息安全。

　澳大利亚 澳洲政府关于数据制定了一系列政策措施， 其中包括澳洲公共服务大数据战略等， 2013 年更是出台了开放公共部门信息原则（ Open PSI），全文提出八条开放数据策略以及实施的难易程度，并提出了需开放数据的首要领域。

　印度 印度联邦内阁批准了国家数据共享和开放政策。

　在数据开放方面， 印度效仿美国政府的做法，制定了一个一站式政府数据门户网站

　data.gov.in

　，把政府收集的所有非涉密数据集中起来，包括全国的人口、经济和社会信息。

　国际业界动态 互联网、金融、电信、医疗、政府等是大数据运营的重点领域。而大多数领 域的大数据发展应用仍处在初级阶段， 在大数据应用的实践过程中也遇到了数据资产不明、应用需求不定、平台建设、技术路线、安全隐私问题等方面的挑战，

　但是，各领域在大数据应用方面还是做出了一些有益的探索， 并取得了一定的成绩。

　在电信行业，一些发达国家电信运营商一方面提升服务质量， 改善内部管理。包括客户维系、精准营销和网络运营与管理， 这三点的代表企业分别为法国电信、英国 O2、NTTDoCoM和o 沃达丰。法国电信开展针对用户消费的大数据分析评估， 借助大数据改善服务水平， 提升用户体验。英国 O2在英国推出了免费 WiFi 服务， 以积累更多的用户， 从而收集到更多的用户数据， 用在精准的媒体广告和营销服 务方面。

　NTTDoCoM通o 过制作精细化表格，收集用户详细信息，大大加强了 CRM

　14

　系统和知识库， 准确定位目标客户， 提高了业务办理的成功性。

　沃达丰爱尔兰公司的 Tellabs “洞察力分析” 服务是将通信网络中的大数据转化为可利用的情报。

　另一方面确立商业模式， 创造外部收益。

　包括直接出售数据获取收益和与第三方公司合作项目给运营商创造盈利，代表企业有

　 AT&T、西班牙电信、DynamicInsights 、Verizon 、德国电信和沃达丰。

　AT&T 将与用户相关的数据出售给政府和企业以获利。

　西班牙电信成立了动态洞察部门

　DynamicInsights 开展大数据业务，为客户提供数据分析打包服务。

　DynamicInsights

　与市场研究机构Gfk 进行合作，在英国、巴西推出了首款产品名为智慧足迹

　 (SmartSteps) 。Verizon 成立了精准营销部门 PrecisionMarketingDivisio

　 ，提供了精准营销洞察、精准营销、 移动商务等服务， 包括联合第三方机构对其用户群进行大数据分析，再将有价值的信息提供给政府或企业获取额外价值， 数据业务的盈利在其整个业务中占比非常高。德国电信和沃达丰主要尝试通过开放

　API，向数据挖掘公司等合作方提供部分用户匿名地理位置数据， 以掌握人群出行规律， 有效地与一些 LBS应用服务对接。

　在连锁零售业中，英国最大的连锁超市特易购（ TESC）

　O 已经开始运用大数 据技术采集并分析其客户行为信息数据集。

　特易购首先在大数据系统内给每个顾客确定一个编号， 然后通过顾客的刷卡消费、 填写调查问卷、 打客服电话等行为采集他们的相关数据， 再用计算机系统建立特定模型， 对每个顾客的海量数据进行分析， 得出特定顾客的消费习惯、

　近期可能的消费需求等结论， 以此来制定有针对性的促销计划并调整商品价格。

　这种有的放矢的营销和定价模式为特易购提供了更加高效的盈利方法。

　在交通运输方面，美国 Inrix 公司和新泽西州运输部之间的合作伙伴关系。

　Inrix 公司通过汽车和移动电话

　GPS装置上的信号和数据， 采集主干道上的车速数据，然后实时向新泽西州运输部警示任意主干道上的路况险情，

　同时向司机的车载 GPS装置或移动电话发送警示来提醒司机注意路况险情。

　在农业方面，美国气候公司 (The Climate Corporation) 是一家天气保险公 司，他们制作保单来弥补联邦农作物保险和因气候造成的农民损失之间的差额。

　该公司通过庞大的传感器网络分析和预测 2000 万美国农田的气温、降水、土壤湿度和产量。

　在知晓高温天的天数以及土壤湿度数据后， 建立的模型来帮助其预判农民需要的天气保险金额以及公司需要支付的保费。

　15

　在外包领域，大数据技术也已成为信息技术行业的 “下一个大事件” 。目前， 一些外包行业巨头也开始进军大数据市场， 试想瓜分这一块大蛋糕。

　印度全国软件与服务企业协会预计，印度大数据行业规模在 3 年内将达到 12 亿美元，是目 前规模的 6 倍，同时还是全球大数据行业平均增长速度的两倍。

　在信息安全行业， FireEye 和 Splunk 这类国际企业在大数据安全方面发展迅速，他们在大数据安全方面的技术也值得国内安企业借鉴。专做 DLP 产品的Websense公司，他们基于数据流的分析技术十分有利于大数据的分析、挖掘。

　1.2.2 我国大数据发展动态

　我国政府促进大数据发展的措施 2012 年 8

　月份国务院制定了促进信息消费扩大内需的文件，推动商业企业加快信息基础设施演进升级， 增强信息产品供给能力， 形成行业联盟， 制定行业标准，构建大数据产业链，促进创新链与产业链有效嫁接。同时，构建大数据研

　究平台，整合创新资源，实施“专项计划”，突破关键技术。广东率先启动大数

　据战略推动政府转型， 北京正积极探索政府公布大数据供社会开发， 上海也启动大数据研发三年行动计划。

　工业和信息化部为鼓励和推进大数据产业发展也制定了三大措施。

　一是已通过促进信息消费扩大内需的意见、 软件和信息技术服务业 “十二五” 规划等政策规划中，对大数据发展进行了部署。

　二是推动全国信息技术标准化技术委员会开展了大数据标准化的需求分析、 标准体系框架研究及相关标准研制工作，

　并向相关国际标准化组织提交了大数据研究提案。

　三是利用项目资金等手段进行了前沿部署，支持了关键技术产品的研发和产业化。

　这是工信部对大数据所做的一些安排。

　在政府部门数据对外开放， 由企业系统分析大数据进行投资经营方面， 上海 无疑是先行一步。

　2014 年 5 月 15 日，上海市自今年起推动各级政府部门将数据 对外开放，并鼓励社会对其进行加工和运用。根据上海市经信委印发的《 2014 年度上海市政府数据资源向社会开放工作计划》 ，目前已确定 190 项数据内容作为 2014 年重点开放领域，涵盖 28 个市级部门，涉及公共安全、公共服务、交通服务、教育科技、产业发展、金融服务、能源环境、健康卫生、文化娱乐等 11

　16

　个领域。其中市场监管类数据和交通数据资源的开放将成为重点， 这些与市民息息相关的信息查询届时将完全开放。

　这意味着企业运用大数据在上海 “掘金” 的时代来临，企业投资和上海民生相关的产业如交通运输、餐饮等，可以不再“盲 人摸象”。

　为推动数字福建（长乐）产业园、中国国际信息技术（福建）产业园加快建

　设成为全省大数据产业重点园区和 “数字福建” 建设的重要承载基地， 福建省政府将从完善园区发展规划、 引进培育产业龙头、 推动资源汇聚开发、 建设大数据创新平台、加强人才引进培养、做好园区用地保障、确保园区用电需求、强化园

　区网络支撑、实施财税优惠政策、提高安全保障能力等 10 个方面给予支持。在引进培育产业龙头方面，福建省将通过市场开放、资源开发、技术采购、服务外

　包等方式，大力引进大企业、大行业、大平台，吸引国家部委、央企、电信运营

　商、金融机构、知名IT

　 企业、互联网公司等入园建设新一代信息技术设计、研发、生产基地， 发展一批行业性大数据云平台； 吸引大数据产业链各个业务环节龙头企业入园，培育一批细分领域全国性领先的大数据服务提供商。

　我国大数据企业发展情况 中国移动提出了大数据时代全新的移动互联网战略， 即：构筑“智能管道”、搭建“开放平台”、打造“特色业务”与提供“友好界面”。这 16 字方针，体 现了中国移动在移动互联时代全面开启之际的全新战略定位。中国移动在 2014 年成立了苏州研发中心， 计划构建 3000-4000 人的研发团队和运营团队， 宗旨就是要进一步完善云计算和大数据产品体系， 尽快形成国际一流的云计算和大数据服务能力。中国移动构建了大云产业联盟，与技术提供商、集成商、高等院校、

　政府机构等超过 50

　 家单位，在核心模块合作、授权技术服务、应用开发技术攻关等产业不同层面开展了合作。

　百度、阿里、腾讯、 360 等互联网企业依靠自身的数据优势，均已将大数据 作为公司的重要战略。

　大数据正在从理论走向实践， 从专业领域走向全民应用的阶段。

　百度在大数据方面让人印象深刻的有百度迁徙这样的公益项目， 应用在民生和新闻等领域。最新动态是，百度网盟利用基于大数据的

　 CTR（广告内容匹配）数据，站长的平均收入提升 70％。

　17

　阿里则对外宣称已经拥有 100PB数据并以令人欣喜的速度增长， 马云最新的内部邮件将阿里战略阐述为云端＋大数据，阿里要进入数据时代。

　2014 年 10 月14 日，阿里巴巴集团宣布无线开放战略，启动百川计划。将全面分享阿里无线 资源，为移动开发者提供技术、数据、商业等全链条基础设施服务。百川计划作 为阿里无线开发的重要平台产生， 并将从技术、 数据和电商能力上， 面向移动开发者提供基础服务。其中，云技术层面将提供架构搭建、数据存储、安全防护等

　服务，并可有专业人员对 APP进行一对一的开发、维护、技术支持；大数据层面则将联合移动应用统计分析平台友盟， 帮助开发者完善数据精准挖掘分析及完善个性化推送体系。

　2014 年 10 月 10 日，360 举办首届数字世界大会， 并发布三个产品， 帮助广 告商利用大数据做更有效的营销。

　360 宣称今后将推出的实效平台、聚效平台和来店通等三款产品，就是把集合了数十亿用户信息的数据，免费分享给广告主。

　京东在无线领域也正进行着深层次的探索。

　首先是充分利用移动设备去拓展 人性化功能，例如多模式交互，通过京东 APP，用户可以通过移动设备的摄像头拍照、扫码进行购物；另外，京东移动端还在积极通过大数据技术挖掘用户需求， 提供更精准的服务。

　在能够带来巨大流量的微信方面， 举行京东微信购物的众筹活动，一个月参与的人数达到了 40 万人次。

　我国推动大数据产业园区发展

　大数据是继云计算、 物联网、移动互联网之后的又一个具有国家战略意义的 新兴产业， 正在成为业界概念炒作的焦点。

　现今， 大数据已经渗透到每一个行业 和业务职能领域，逐渐成为重要的生产因素，据预测，到 2020 年中国数据产业 市场将达到 2 万亿以上规模。但任何一个技术概念都需要“落地”，先进技术只 有与产业集合， 并切实推进经济的发展， 才能成为真正的生产力。

　只有实现真正 的产业落地， 才能真正推动经济的发展， 康发展的快车道。

　中国大数据产业才能挤掉泡沫， 驶入健 产业园区作为产业集群的重要载体和组成部分， 其经济效应已引起越来越多 人关注。产业园区能够有效地创造聚集力，通过共享资源、克服外部负效应，带 动关联产业的发展， 从而有效地推动产业集群的形成。

　大数据产业园作为大数据 产业的聚集区或大数据技术的产业化项目孵化区， 是大数据企业走向产业化道路

　18

　的集中区域。

　大数据产业园区可以通过自身的规模、 品牌、资源等价值为区域经济发展和企业资本扩张起到巨大的推动作用。主要体现在：

　（1）

　）

　提升企业效益 : 大数据产业园的建立会迅速聚集大数据企业发展所需要的 多种资源， 可以吸引众多互补型企业、 产业链上下游企业等， 为企业提供了一个良好的发展空间，是企业腾飞的重要平台。

　（2）

　）

　提升地区品牌 : 大数据产业园的建立必将带来大量高科技企业的入驻， 这 必将带动地区经济的快速发展，为区域经济建设提供高效助推器。另外， 随着国家对大数据等新兴技术产业的重视， 建立大数据产业园的地区将领先于国家的发展规划之前， 提升本地区的知名度， 并且可以借此吸引更多高新技术企业的投资。

　（3）

　）

　创造社会价值 : 大数据产业园区，由于建设规模较大，涉及投资建设金额 巨大，建成后，在年产值、税收等方面贡献巨大，并可直接解决部分当地

　失业人员的就业问题。除此之外，园区的生产生活配套设施，如住宿、餐

　饮、商业区等， 不仅可以满足园区内工作人员的个人需求问题， 还可以为地区和其他服务型企业带来巨大的经济利益。

　大数据产业园在为自己创造经济效益的同时，也获得了社会效益的大丰收。

　总之，通过建立大数据产业园， 能够更有效地组织和使用大数据， 人类也将得到更多的机会发挥科学技术对社会发展的巨大推动作用。

　国内外大数据发展对比分析 我国大数据产业起步较晚，同时由于互联网技术也有所滞后，使得我国的大

　数据发展较领先国家还尚有一段距离。

　同时，我国又有得天独厚的优势——庞大的用户群，每日有庞大的数据量不断生成，同时，受惠用户量也极为众多。从政

　策环境上看， 我国尚未出台完善的信息数据相关的法律法规， 对隐私的方面的问题没有明确可执行的规章制度。在政府数据开放方面也亟需进一步加强。

　1.2.3 大数据相关社区

　2014

　年已经迎来了大数据发展的黄金成长期，大数据以“降低信息不对称和提高决策有效性”为目标，几乎能应用于包括金融、互联网、医学、生物、教

　育在内的所有行业。

　然而随着数据量不断的剧增， 各个国家、 各组织被迫寻找创

　19

　新性的方法来管理、 控制并分析利用这些巨量的数据。

　但是， 数据孤岛现象却制约着大数据的发展， 各个组织之间的数据封闭， 甚至同一个组织之间各个部门之间的数据也不开放， 这些严重制约着大数据的发展。

　因此数据开放和共享成为大数据的核心和关键。

　为了推动数据开放和共享， 世界各国都在不断寻找新的突破口以推动大数据开放和共享。

　世界大数据相关社区 美国在 2009 年设立“ data.gov ”门户网站，将政府和主要州、城市等持有 的公共数据对外公开。

　2014 年 1 月美国的数据每户（ data.gov ）全面改版，截至到 2014 年 2 月 10 日，网站共开放了 88137 个数据集、 349 个应用程序、 140 个移动应用、参与的部门达到 175 个；同时还有 40 个州、44 个县市建立了单独的数据门户。

　英国在 2010 年开设的数据开放门户网站 （data.gov.uk ）上，政府规定各部委需公开重要公共数据， 政府财政支出、 犯罪高发区域、 市政工程施工等与市民生活密切相关的信息需优先公开共开放了

　13670 个公开的数据集以及 4170 个非公开的数据集。此外伦敦、曼彻斯特等地以及索尔福德市议会等

　 16 个地方和部门还建立了独立的开放数据门户。

　2011 年欧盟设立公共数据网站，提出了《欧盟开放数据战略》。

　新加坡的数据开放网站（ data.gov.sg ）实现了全国范围内的数据整合，是世界上发展最为完善的公共信息资源开放共享网站之一，目前已经汇集了来自

　68 个政府部门和机构的 8600 多个数据集。这些数据可以为企业和个人访问，发现机遇为这些人提供服务。

　印度政府建立一站式官方数据门户网站， 使其成为政府收集的所有数据的总 网站。该网站可以把政府收集的所有非涉密数据集中在一起，包括全国的人口、经济和社会信息。

　2011 年 9 月 20 日，开放政府合作伙伴（ OGP ，OpenGovernment Partnership ）成立，该组织由巴西、印度尼西亚、墨西哥、挪威、菲律宾、南非、英国、美国 等八个国家联合签署《开放数据声明》。截至 2014 年 2 月 10 日，全球已有 63 个国家加入开放政府合作伙伴。

　除政府部门外，民间团体也在积极推进公共数据的灵活利用。

　2012 年 7 月日本非盈利性机构 Open Knowledge Foundation

　（OKF）诞生，旨在促进公共数

　20

　据的有效利用，其开发的开源软件 CKAN对于构筑地方政府的公共数据门户网站起到重要支撑作用。

　中国大数据相关社区 中国政府同样也在做着开放、 共享数据的努力， 建立了类似英美政府的国家数据公开网站——国家数据网（

　data.stats.gov.cn

　）。我国各地也开始了公共信息资源的开放共享，北京、上海等地数据开放网站相继投入运行。

　北京市政务数据资源网通过原始数据（ WPS 、CSV）下载、带有地理坐标信息的空间数据（ SHAP）

　E 下载和在线调用 API 三种形式提供数据开放共享服务。开发者、分析研究人员、 普通用户通过互联网登录该网站可查询、 下载数据以及在线调用 API 开发服务。该网站已经整合了北京市 35 个政府部门的信息，为社会提供了土地使用、教育、旅游、交通、文化、医疗等 269 类、多达 36 万条的原始数据资源。

　上海市政府召开推进政府数据资源向社会开放工作会议， 要求在此前包括市公安局、市工商局、 市统计局、 市商务委员会等 9 家试点政府部门公开信息资源的基础上，所有政府部门在 2014 年内通过“上海政府数据服务网”向公众提供数据产品浏览、查询和下载等服务，具体涵盖公共安全、公共服务、交通服务、

　教育科技、产业发展、金融服务、能源环境、 健康卫生、文化娱乐等 11 个领域。

　中国香港均依托原有网站， 通过进一步增强网站服务功能或者增设网站栏目的办法，实现政府数据的开放。

　中国社会团体也纷纷自发成立数据共享中心， 以期借助大数据技术寻求新的 商机。其中有以推动数据开放为目的的数据开放平台； 也有为推动大数据技术进步而成立的大数据技术社区； 也有为推动大数据的商业化应用而成立的大数据平台。

　（1）

　）数据开放社区 百度数据开放平台 ，是以百度框计算先进技术理念为基础， 连接站长优质数据和百度搜索结果的开放平台。

　站长通过结构化优质数据， 获得百度搜索结果页“即搜即得”的搜索展现。

　全国可信网站数据库开放平台 ，是在国家主管部门的亲切关怀和指导下， 由 中网依托“可信网站” 验证数据库为基础搭建的全国最大的可信网站数据库开放平台。该平台收录对象先由网站自行申请或公众推荐（含合作伙伴等），然后由

　21

　中网按照“可信网站” 验证审核规则或流程对商家或网站的身份信息完成交互审核后予以收录。该平台将面向浏览器、搜索引擎、电子商务平台、微博等诸多领 域实现免费开放， 帮助各大互联网平台快速、 高效的实现平台上各类商家、 网站的真实身份验证， 形成无所不在的商家、 网站身份验证查询途径， 方便网民按照上网习惯快速便捷的甄别网站真伪，识破网络钓鱼骗局。

　百度开放研究社区 4 提供了 100G的百度真实的数据集以及由 250 台服务器组 成的开放研究云平台， 并利用网络社区没有地域限制、 自由、灵活、快捷等特点， 为科研人员提供一个互动交流的平台， 让技术沟通和海量的数据分析变得简洁而高效。

　开放爬虫系统 主要面向高校和科研单位的大数据研究团队， 提供个性化、 定...