数据库的发展史,所有软件人的记忆
当科技发展到了计算机时代后,上世纪70年代出现了数据库软件技术,国外的多家数据库厂商创建并发展,如世界上传统的数据库巨头Oracle.
数据库的发展也经历了几个重要的阶段,如我们熟识的Oracle、SQLServer、DB2、MySQL等都是关系型数据库,可以简单的理解为用于存储行列组成的表格,属性间由关系进行连接。
随着各类数据结构和关系变得越来越复杂,如一部电影中有不确定数量的演员,有电影描述,有相关影片类型等数据,并非二维表关系。为了存储诸如此种数据,出现了NoSQL(Not only SQL),如MangoDB、图数据库等。
并且想一下,原来电信运营商中国移动等存了太多数据,用Oracle等做数据分析查询,已经力不从心。为了解决这个问题又出现了分布式数据库,用很多台服务器来存储数据,实现分布式计算,比如Pivotal的Greenplum.
当年的数据库领域巨头
认为数据库技术很繁杂?那是因为你还不知道Hadoop
进入2000年,互联网又来了一轮蓬勃发展,Google等公司业务在全世界范围推广,数据量的增长可想而知,为了解决数据存储和计算问题,这位互联网老大内部鼓捣了很多新技术。
但在2003年谷歌可能觉得自己太孤独了,需要让世界其他企业一起玩一玩,几年时间陆续发布了GFS、MapReduce、Bigtable等论文。这下世界科技公司跟着沸腾了,以Google的论文为基础,作出了很多开源软件项目实现,其中最着名的就是Hadoop.
Hadoop来自Apache社区,是能水平扩展、高可用、容错的海量数据处理的分布式架构。最初包括分布式文件系统HDFS,集群资源管理(2.0是Yarn了),并行计算架构MapReduce,现在相关的技术越来越多,HBASE、SPARK、Impala等等。
围绕Hadoop生态的科技公司也有很多,如Cloudera,Hortonworks等等。
Google高手寂寞的几篇论文让世界大数据技术澎湃
Hadoop技术生态也是为了解决数据管理和利用的问题,就如当年的数据库一样,有需求就有新技术。
更多大数据相关资讯,请扫描下方二维码