认识达内从这里开始

认真做教育专心促就业

中国大数据诞生

发布：达内
来源：互联网
时间：2017-12-26 16:38

    一、大数据诞生的历史背景
    “大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业早已存在，却因为近年来互联网和信息行业的发展而引起人们关注。大数据已成为作为云计算、物联网之后 IT 行业又一大颠覆性的技术革命。
    大数据时代
    大数据的应用和技术在互联网，起点可追溯到2000年前后。当时互联网网页爆发式增长，每天新增约700万个网页，到 2000 年底全球网页数达到40亿，用户检索信息越来越不方便。谷歌等公司率先建立了覆盖数十亿网页的索引库，开始提供较为精确的搜索服务，大大提升了人们使用互联网的效率，这是大数据应用的起点。当时搜索引擎要存储和处理的数据，不仅数量之大前所未有，而且以非结构化数据为主，传统技术无法应对。为此，谷歌提出了一套以分布式为特征的全新技术体系，即后来陆续公开的分布式文件系统（GFS,Google File System）、分布式并行计算（Map Reduce）和分布式数据库（Big Table）等技术，以较低的成本实现了之前技术无法达到的规模。这些技术奠定了当前大数据技术的基础，可以认为是大数据技术的源头。
    大数据的三个特征
    伴随着互联网产业的崛起，这种创新的海量数据处理技术在电子商务、定向广告、智能推荐、社交网络等方面得到应用，取得巨大的商业成功。这启发全社会开始重新审视数据的巨大价值，于是金融、电信等拥有大量数据的行业开始尝试这种新的理念和技术，取得初步成效。与此同时，业界也在不断对谷歌提出的技术体系进行扩展，使之能在更多的场景下使用。
    最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。在 2012 年瑞士达沃斯举行的世界经济论坛上，大数据是框定的主题之一。该论坛的一份报告《大数据，大影响》，宣告了数据成为一种新型的经济资产，就像货币或者黄金一样。
    麦肯锡、世界经济论坛等知名机构在2011年对这种数据驱动的创新进行了研究总结，随即在全世界兴起了一股大数据热潮。
    二：大数据的特征
    大数据技术是一种新一代技术和构架，它以较低的成本、快速的采集、处理和分析技术，从各种超大规模的数据中提取价值数据，以IOC体系（OracleIBM EMC）为核心物传统数据计算存储和读写方式越来越不能满足目前互联网和物联网发展带来海量数据分析的需求，而Hadoop被认为是适应未来大数据应用的全新架构体系，同时Hadoop也成为大数据的代名词。
    理想的大数据架构
    2005年Hadoop项目诞生，Hadoop其最初作为雅虎公司为解决网页搜索问题的项目之一，后来因其技术的高效性，被Apache Software Foundation 公司引入并成为开源应用。Hadoop本身不是一个产品，而是由多个软件产品组成的一个生态系统，这些软件产品共同实现全面功能和灵活的大数据分析。
    Hortonworks与Cloudera和MapR三家被看做是大数据技术市场的领头羊，三家都围绕Hadoop框架进行产品开发。

三：大数据受益产业链及公司

大数据

    大数据时代的超大数据体量和超过80%比例非结构化数据的存在，已经超越了传统数据库的管理能力，大数据技术将是IT领域新一代的技术与架构，它将帮助人们从大体量，高复杂的数据中提取价值。大数据时代的来临为诸多转型企业提供了一个难得的弯道超车机会，如果能够基于Hadoop 成功开发出一款高质量数据分析产品，它将在大数据时代迅速抢得先机，目前多部委联合行动促进政务大数据应用，政府推动政务大数据发展，将从数据开放着手，梳理大数据受益产业链及公司
    各个大数据关键技术在大数据处理生命周期的位置
    3.1 数据源受益公司
    数据中介是关键环节。大数据分析的重要意义在于数据资源的外部性，即把数据交付给最能产生价值的应用企业，这其中伴随数据中介的诞生，数据中介的本质在于实现数据供需的对接，为所有者找到数据资产价值变现的出口，以及使需求方获得自身业务发展所需的数字资源。数据资产类型各数据中介需要做的工作包括数据清洗、格式化以及必要的应用场景开发，即把原始数据经过处理变成数据资产。数据中介的这一环节是整个数据源产业提取和挖掘高价值数据的前提，同时也是大数据技术发展和应用开拓的核心驱动力。
    数据中介是数据资产的关键环节
    3.2 基础设施公司
    基础设施公司主要提供大数据的存储、管理以及服务，为后续的分析和挖掘提供基础。大数据的发展离不开云计算的海量存储和运算能力，我国在基础设施领域的整体实力仍然比较薄弱，这一领域内的技术基本由国外公司主导，代表公司为 Cloudera.创建于2008 年，利用 Hadoop 这一开源技术帮助公司构建大数据平台，为企业等组织型客户提供大数据服务的基础，也做解决方案咨询和认证培训。
    在 Hadoop 生态领域，Cloudera 是规模最大、知名度高的企业，也当前数据领域强有力解决方案服务商之一。 Hadoop 快速占据主流市场并成为企业数中心的核，这要求需具备灵活的部署模型、高安全性强大管理系统以及敏捷开发工具才能得实现。 Cloudera 的创始团队包括前谷歌、 Facebook、Yahoo 以及 Oracle 的员工和高级程师。使用整套系统的客户包括迪士尼、AOL 以及摩根士丹利等。
    3.3 数据分析公司
    数据分析工具的产品属性较强，所以拥有技术优势的企业更容易胜出。数据分析子领域众多，国外的技术分析公司并没有追求多点开花，而基本都选择了深耕技术，为客户专业的分析工具。以全球估值最高的大数据初创企业 Palantir 为例，其客户主要为政府，在解决安防、反恐等问题上贡献卓着，公司最显着的特点是全部为研发人员，没有一名销售人员，公司是硅谷极客公司的典型代表。
    Splunk 是大数据处理领域第一家上市公司，公司成立于 2003 年，于 2012 年 4 月 19 日在纳斯达克成功上市，并在首个交易日以 109%的涨幅撑开了人们对大数据的想象空间。作为一家商业智能软件提供商，其软件平台可以实时对任何 APP、服务器或者网络平台的机器数据进行索引、监控和分析，并将结果生产图形化报表，在此基础上帮助客户避免服务性能降低或中断。
    3.4 数据应用公司
    相比国外公司在基础设施和分析领域的技术和先发优势，我国公司在大数据领域更有可能在数据应用的领域有所突破。强烈建议关注拥有核心软件技术开发能力，具备较强转型意愿企业的投资机会。

更多大数据相关资讯，请扫描下方二维码

大数据