认识达内从这里开始

认真做教育专心促就业

从三方面了解大数据

发布：达内
来源：互联网
时间：2017-12-26 14:33

    人们每天都在吃饭，睡觉，工作，玩耍和制作数据 - 大量的数据。据IBM称，人类产生2.5百万兆（25十亿十亿）个字节的数据每一天。这相当于一堆到达月球和背面的DVD,并包含我们发送的文本和我们上传的工业传感器指标和机器对机器通信的照片。
    这就是为什么“大数据”成为如此常见的口头禅的一个重要原因。简而言之，当人们谈论大数据时，就意味着能够大量分析这些数据，进行分析并将其转化为有用的数据。
    [也在InfoWorld上：什么是数据挖掘？分析如何揭示洞察力。|利用Hadoop的力量- 查看InfoWorld深度潜水报告中的内容。|18个重要的Hadoop工具来处理大数据。|开始使用Apache Spark.]
    究竟是什么大数据？
    但是大数据远不止于此。是关于：
    通常来自多个来源的大量数据
    而不仅仅是大量的数据而是不同类型的数据 - 通常是同时存在多种数据，以及随时间变化的数据 - 这些数据不需要首先转换成特定的格式或者保持一致
    并以允许为了不同目的对相同数据池进行持续分析的方式分析数据
    并且即使是实时地快速完成所有这些。
    在早期，业界想出了一个缩写词来形容这三个四个方面组成：VVV,对于体积（广大量），各种（不同类型的数据和事实，即随着时间的推移数据的变化），和速度（速度）。
    大数据与数据仓库
    什么是VVV首字母缩略词是关键的概念，数据不需要永久改变（转化）以便分析。非破坏性分析意味着组织既可以分析同一个数据库用于不同的目的，也可以分析从不同目的收集到的数据。
    相比之下，数据仓库是专门为特定目的而分析特定数据的，而且数据被结构化并转换为特定的格式，原始数据在这个过程中基本上被破坏，为了这个特定的目的，而没有其他的被称为提取，转换和加载（ETL）。数据仓库的ETL方法仅限于针对特定分析的特定数据进行分析。当你所有的数据都存在于你的交易系统中时，这很好，但在今天的互联网连接的世界里，来自任何地方的数据都没有那么多。
    但是，暂时不要认为大数据会使数据仓库过时。大数据系统让您可以在很大程度上处理非结构化数据，但是您所得到的查询结果的类型远不及数据仓库的复杂性。毕竟，数据仓库是为了深入研究数据而设计的，它可以做到这一点，因为它已经将所有数据转换为一致的格式，让您可以执行诸如构建用于深钻取的多维数据集之类的内容。数据仓库供应商已经花了很多年优化他们的查询引擎来回答典型的商业环境查询。
    大数据可以让您从更多来源获得更多的数据，但分辨率更低。因此，在未来一段时间，我们将同时拥有传统的数据仓库和新的风格。
    大数据背后的技术突破
    为了实现大数据量，多样化，无损使用和速度四个方面的要求，需要多项技术突破，包括分布式文件系统（Hadoop）的开发，动态感知不同数据的方法Google的MapReduce以及最近的Apache Spark）以及用于根据需要访问和移动数据的云/互联网基础设施。

直到十二年前，在任何时候都不可能操纵比较少量的数据。（当然，我们都认为我们的数据仓库在当时是非常庞大的，从那以后，随着互联网产生和连接数据，环境发生了巨大的变化。）数据存储量和位置的限制，计算能力和处理能力来自多个来源的不同数据格式使这项任务几乎不可能。

大数据

    然后，在2003年前后，Google的研究人员开发了MapReduce.这种编程技术通过首先将数据映射到一系列键/值对，然后在类似的键上执行计算以将它们减少到单个值，并行处理每个块的数百或数千个低成本机器。这种巨大的平行性使得Google能够从越来越多的数据中获得更快的搜索结果。
    大约在2003年，Google创造了两个突破，使大数据成为可能：一个是Hadoop,它由两个关键服务组成：
    使用Hadoop分布式文件系统（HDFS）进行可靠的数据存储
    高性能并行数据处理使用称为MapReduce的技术。
    Hadoop运行在一系列商品，无共享服务器上。您可以随意在Hadoop集群中添加或删除服务器；系统检测并补偿任何服务器上的硬件或系统问题。换句话说，Hadoop是自我修复的。它可以提供数据并运行大规模，高性能的处理工作，尽管系统发生了变化或失败。
    尽管Hadoop为数据存储和并行处理提供了一个平台，但真正的价值来自附加组件，交叉集成和自定义的技术实现。为此，Hadoop提供了一些子项目，为平台添加了功能和新功能：
    Hadoop Common:支持其他Hadoop子项目的常用工具。
    Chukwa:管理大型分布式系统的数据收集系统。
    HBase:可扩展的分布式数据库，支持大型表的结构化数据存储。
    HDFS:分布式文件系统，提供对应用程序数据的高吞吐量访问。
    Hive:提供数据汇总和临时查询的数据仓库基础架构。
    MapReduce:用于在计算集群上分布式处理大型数据集的软件框架。
    Pig:用于并行计算的高级数据语言和执行框架。
    ZooKeeper:分布式应用程序的高性能协调服务。
    Hadoop平台的大多数实现至少包括其中一些子项目，因为它们通常是利用大数据所必需的。例如，大多数组织选择使用HDFS作为主分布式文件系统，HBase作为数据库，可以存储数十亿行数据。而使用MapReduce或更新的Spark几乎是给定的，因为它们为Hadoop平台带来了速度和敏捷性。
    借助MapReduce,开发人员可以创建程序，在处理器或独立计算机的分布式集群上并行处理大量非结构化数据。MapReduce框架分为两个功能区域：
    映射，一种将工作划分到分布式集群中不同节点的功能。
    减少，整理工作并将结果解析为单个值的功能。
    MapReduce的主要优点之一是它具有容错性，它通过监视集群中的每个节点来实现；预期每个节点定期回报完成的工作和状态更新。如果一个节点保持沉默的时间长于预期的时间间隔，则主节点记录并将工作重新分配给其他节点。
    Apache Hadoop是一个以MapReduce为核心的开源框架，两年后开发完成。Hadoop最初是建立在索引现在晦涩难懂的Nutch搜索引擎的基础之上的，现在几乎用于各个主要行业，用于广泛的大数据工作。由于Hadoop的分布式文件系统和YARN（又一个资源谈判器），该软件可以让用户将大量数据集分散到数千个设备上，就好像它们都在一台巨大的机器上。
    2009年，加州大学伯克利分校的研究人员开发出Apache Spark作为MapReduce的替代品。由于Spark使用内存存储并行执行计算，所以它可以比MapReduce快100倍。Spark可以作为独立框架或Hadoop内部工作。
    即使使用Hadoop,您仍然需要一种方法来存储和访问数据。这通常是通过像MongoDB这样的NoSQL数据库完成的，如CouchDB或Cassandra,专门处理分布在多个机器上的非结构化或半结构化数据。与数据仓库不同的是，大量数据和类型的数据汇聚成一个统一的格式并存储在一个数据存储中，这些工具不会改变数据的基本性质或位置 - 电子邮件仍然是电子邮件，传感器数据仍然传感器数据 - 可以存储在任何地方。
    尽管如此，在一群NoSQL数据库中存储大量的数据之前，还不是很好，除非你对它做了些什么。这就是大数据分析的来源。像Tableau,Splunk和Jasper BI这样的工具可以让您解析数据来识别模式，提取含义并揭示新的见解。你从那里做什么取决于你的需求。

更多大数据相关资讯，请扫描下方二维码

大数据