小数据 vs. 大数据

文 | 潘爱民

来自 iSyscore Radio 的报道

随着互联网技术的发展，电脑、智能手机和其他各种智能设备产生了大量的数据，我们从信息时代进入了大数据时代。大数据的一个典型应用是，移动手机上的用户行为数据可被用做用户画像，从而优化移动应用的界面或功能设计。当前，几乎每一个行业都在迎接大数据时代的到来，然而，受限于现有的数据处理能力以及我们对于海量数据的认知能力，大数据能发挥的作用还非常有限。

"本文提出了物联网数据模型，解释了小数据和大数据的一些关键特征。

物联网数据模型

用小数据+大数据来理解物联网系统

物联网技术的发展让物理世界的数字化不断深入，这个过程中产生了大量的数据，形成了以设备为来源的数据集，如何从这些数据中挖掘出价值来，这需要回到场景中思考。对应于热门的“大数据”概念，业务场景中的数据集可称为“小数据”。小数据不仅代表了数据规模没有那么大更重要的是，这些数据是场景相关的，人的经验和知识可以充分理解这些数据，从而能够快捷地将行业专家想象得到的优化方案回馈到业务场景中。物联网数据模型分两层，如图1所示。

图1. 物联网数据模型

? 物联网设备连接到本地的一个小数据节点上，比如穿戴设备连接到手机，楼宇中的设备连接到本地服务器，它们不直接连接到云端。

? 小数据节点将数据传输到云端，形成大数据。针对这个模型，也可以用另一种方式来理解：小数据是人类可以充分认知的，而大数据则由机器去处理。两者结合起来，共同发挥数据的价值。

举例说明，北京写字楼的温湿度与杭州写字楼的温湿度，因为外部环境条件下人群体感会有不同，相应的调节策略也会有所不同。

另外，同样的空调应用于生活环境或生产环境，也可能会有较大的差异。

综上所述，能耗策略，只有放到具体的场景中去考虑才是合理的。当大量的数据汇聚到云端形成大数据以后，通过机器学习，可以分析出一些合理的关联性，比如温湿度与地理位置的关联性，再应用到场景中，可能形成一些策略或模型。

小数据与大数据

小数据与大数据并不是简单的数据量大小的差别，更重要的因素是复杂度。大致上，复杂度差异表现在以下三个方面：

?小数据往往与特定的业务场景关联，数据结构化程度比较高，数据的含义具有可解释性（数据内部包含大量因果关系）；而大数据的构成通常比较复杂，往往包含大量的非结构化数据，内部数据之间侧重关联关系，甚至这些关联关系并不清晰。

?小数据的价值密度高，往往与场景中的特征有直接或间接的关系；而大数据的价值密度低，可能包含大量冗余数据，甚至无价值数据，但有潜在的高价值值得挖掘。

?小数据处理成本相对可控，通常并不要求很强的计算能力，并且针对小数据的计算效率在工程上较容易保证；大数据对计算资源的要求很高，往往成本高，计算实时性难保证。小数据与大数据的特征差异如图2所示。

图2. 小数据与大数据特征差异

大数据的处理和计算需要通过云计算来做到，门槛较高，通常只有云计算厂商或者专业机构才能实现。典型的大数据案例有：政府部门汇总在一起的产业数据、大用户量商业环境下的行为数据、银行风险控制用到的各种客户数据，等等。

"小数据的处理和计算既可以在云端完成，也可以在本地服务器上完成。由于小数据的价值密度高，且数据易于理解，因此可结合专家经验与机器学习算法，将数据的价值在业务场景中发挥出来。"

小数据与大数据并非完全对立，它们也有紧密的联系。小数据汇聚在云端，就有可能形成大数据。在一些垂直领域，单个节点是小数据模型，当节点的数据汇聚到云端时，如果纯粹只是数据量的叠加，而没有引入更多维度数据的关联关系，那么，云端大数据的复杂性并没有显著增加。目前市场上很多大数据都是这种类型，本质上可以按照小数据模型来理解。

物联网操作系统

基于如图1所示的物联网数据模型，我们认为，在业务场景中需要一个操作系统，也就是对应于图中的小数据节点，它可以将场景中的设备连接起来，来采集和处理数据，并基于这些数据来优化服务于场景。小数据节点可以将数据同步到云端，进一步实现更大范围的大数据计算。

图1. 物联网数据模型

从系统安全性来看，小数据节点的存在是有意义的。若物联网设备直接连接云端，在安全防护做得不够的情况下，这些设备存在很大的安全隐患，近几年已经发生了很多起摄像头、智能音箱等设备被攻击的事件。而大多数情况下大数据比对，物联网设备的计算能力相对较弱，建立全方位的安全防护体系并不现实，所以，需要将它们的连接访问能力限制在较局部的范围内。

除了在特定的相对紧凑的场景中部署很多物联网设备以外，物联网系统还有一种变形的部署形式，即，大量同类型的设备部署在较大范围的空间中，比如智能路灯或者智能水表、电表等，它们用有线或无线的方式连接到一个网络节点，进而直接或间接地连接到服务器，形成一个物联网系统，如图3所示。这本质上也是一个小数据节点，需要一个物联网操作系统来采集和处理数据。

图3. 智能路灯的一种部署结构

THE END

◆ ◆ ◆

（编辑：百客网 - 百科网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!