上帝视角一览大数据开发体系

前言

不知道大家有没有过在百度搜索旅游的关键字，不久就可能收到机票的推销的经验。如今是大数据的时代，数据的价值越来越重要。数据即资产，想必大家都听说过。最近公司的项目中也用到了一些大数据的技术，本文对大数据相关的知识体系做了一个整体的梳理。

什么是大数据

大数据，你可能就简单理解为数据量大，那是多大才算大数据呢？如果只有数据量大是不是太片面单一了，实际上如果你说是从事大数据开发， 那么起码要满足下面的5大特征。

5大特征

1.数据量大

2.数据种类、来源多样化

3.低价值密度

4.速度快

5.数据的质量

数据分析方向

针对海量数据的分析，针对不同的业务场景，大致可以分为3个方向，离线分析，实时分析和预测分析。

离线分析

离线分析，也就是所谓的批处理，主要分析过去的历史数据，可以每周（T+7）或者每天（T+1）的方式分析历史的数据，找出隐藏在数据背后的深层次原因，从而做出调整优化。比如说分析过去一个月的用户操作数据等。

这种分析方式一般数据量非常大，通常采用Hadoop生态技术体系解决，比如HDFS、Yarn、Hbase等技术。

实时分析

实时分析，也叫流计算，主要是面向当下，实时处理分析数据，你可以想象成流水一样，源源不断的处理数据，对时效性要求比较高，可到秒级甚至毫秒级。比如说在金融领域中，你发起一笔交易，可以通过实时分析判断当前笔交易是否存在欺诈风险，从而保护资金安全。

目前Storm、Flink、SparkStreaming 都是比较流行的流式处理框架。

预测分析

预测分析，实际就是通过机器学习的手段，基于历史数据和当下产生的实时数据预测未来发生的事情。更侧重于数学算法的运用，如分类、聚类、关联、预测，但是也离开不了数据，需要通过历史的数据进行训练，得出可预测的模型，比较典型的应用比如说电商领域"猜你喜欢"。

数据分析步骤

我们都知道数据的重要性，那数据分析的整个生命周期是怎么样的呢？什么时候来，要做什么处理，都有什么步骤呢？

明确分析目的和思路数据收集

数据预处理数据分析数据展现报告撰写

大数据主流技术栈

前面讲解了大数据分析的整个过程，需要涉及到很多步骤，每个步骤都需要一些工具和方法支持，作为开发人员，我们可能更加关注用到的一些主流技术栈，目前最主流的还是基于Hadoop生态。

数据采集和传输层

Flume一个分布式、可靠的、高可用的用于数据采集、聚合和传输的系统，常用于日志采集系统中。

ELK中的一员，也常用于数据采集。

Sqoop主要通过一组命令进行数据导入导出的工具，主要用于Hadoop（如HDFS、Hive、HBase）和RDBMS（如mysql、oracle）之间的数据导入导出。

高性能的的消息队列，主要应用在数据缓冲、异步通信、汇集数据、系统解耦等方面。

数据存储层

分布式文件存储系统，HDFS非常适合大规模数据集上的应用，提供高吞吐量的数据访问，可部署在廉价的机器上。

是一款基于HDFS的数据库，是一种NoSQL数据库，主要适用于海量明细数据（十亿、百亿）的随机实时查询，如日志明细、交易清单、轨迹行为等。

HBase可以认为是HDFS的一个包装。他的本质是数据存储，是个NoSql数据库；HBase部署于HDFS之上，并且克服了HDFS不能随机读写的问题。

介于HDFS和HBase之间的基于列式存储的分布式数据库。兼具了HBase的实时性、HDFS的高吞吐，以及传统数据库的sql支持。

数据计算与分析层

分布式运算程序的编程框架，适用于离线数据处理场景。

Yarn是一个资源调度平台，负责为运算程序分配资源和调度，不参与用户程序内部工作。

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供HQL语句（类SQL语言）查询功能，存储依赖于HDFS。本质上是把好写的hive的sql转换为复杂难写的map-reduce程序。

Spark是一个快速、通用、可扩展、可容错的、内存迭代式计算的大数据分析引擎。目前生态体系主要包括用于批数据处理的SparkRDD、SparkSQL，用于流数据处理的SparkStreaming大数据方向，用于机器学习的Spark MLLib，用于图计算的Graphx以及用于统计分析的SparkR。

Flink是一个分布式的实时计算引擎，可以对有限数据流和无限数据流进行有状态的计算。

Storm是一个没有批处理能力的数据流处理计算引擎，是由Twitter开源后归于Apache管理的分布式实时计算系统。

构建在HBase之上的一个SQL层，能让我们通过标准的JDBC API操作HBase中的数据。

小结：

大数据生态组件众多，上面只是列出了其中一部分，目前一般会通过CDH等平台统一进行安装管理，如下图所示：

总结

本文讲解了从上帝视角看大数据分析，了解了数据分析的方向和步骤，同时整理了目前市面上常见的一些大数据组件，希望对大家入门大数据学习有一个初步的认识。

如果本文对你有帮助的话，请留下一个赞吧

本文正在参加「金石计划 . 瓜分6万现金大奖」

（编辑：百客网 - 百科网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!