2020年不可不知的十大大数据技术

作者 | Kenneth

编译 | 布加迪

来源 | 网络大数据

数字时代最先进的技术之一就是大数据技术。大数据不是一个流行的术语，而是用来描述规模庞大、随时间急剧变大的数据集合的术语。这意味着该数据很庞大，传统管理工具都无法分析、存储或处理它。

大数据不仅仅是个术语。它与机器学习、人工智能、区块链、物联网和增强现实等其他技术密切相关。因此，许多行业已经在大数据分析技术方面作了投入，比如银行、离散制造和流程制造等行业。

为了进一步了解这项数据技术，下面列出了你在2020年不可不知的十大大数据技术。

数据湖是个庞大的数据存储库，从不同来源收集数据，并以自然状态存储起来。切莫与数据仓库混为一谈，数据仓库基本上执行同样的功能，但不像数据湖那样以自然状态存储数据，而是对数据明确结构以便存储起来。

为了进一步了解两者之间的区别，不妨打个比方：数据湖如同未经过滤的河水，而数据仓库更像是一堆瓶装水。

Apache Hadoop可能不如以前那么流行，但说到大数据免不了要提到这项技术。这种开源框架用于大数据集的分布式处理。它已发展得很庞大，足以容纳相关软件的整个生态系统，许多商业大数据解决方案基于Hadoop。

数据库管理员经常查询、处理和管理存储在关系数据库管理系统(RDMS)中的结构化数据。

另一方面，NoSQL数据库存储非结构化数据并提供快速性能。这意味着它在处理众多类型的海量数据的同时提供了灵活性。NoSQL数据库的几个例子包括MongoDB、Redis和Cassandra。

Apache Spark是一种用于在Hadoop中处理大量数据的引擎，比Hadoop的标准引擎MapReduce快100倍。人们对这项技术的兴趣正变得越来越浓厚。

人工智能不是一项新技术，但这些年来它已证明了其实用性。在许多方面，大数据通过人工智能的两个分支：机器学习和深度学习在推动人工智能的发展方面发挥了作用。

众所周知，机器学习是指计算机无需繁琐的编程就能够学习。将这应用到大数据分析中，机器学习使系统能够查看历史数据、识别模式、构建模型、预测未来结果，并且主要与预测分析技术有关。

另一方面，深度学习是一种模仿人脑工作原理的机器学习，它创建人工神经网络，使用多层算法来分析数据。在大数据技术中，它让分析工具得以识别图像和视频中的内容，然后进行相应处理。

区块链主要用于支付和托管等功能，可以加快交易、减少欺诈并提高财务安全性。它也是比特币采用的分布式数据库技术。

由于高度安全，区块链对敏感行业的大数据应用系统而言是出色的选择。

如果大数据分析解决方案可以在内存中处理数据，而不是像传统数据库那样需要将数据存储在硬驱上，这可以大大改善性能。这个过程就是内存数据库的工作原理。许多领先的软件企业在采用这项技术，肯定会在2020年大行其道。

作为大数据分析的一个子集，预测分析试图通过历史数据预测未来的事件或行为。它通过数据挖掘、建模和机器学习技术来预测接下来会发生什么。

最近，人工智能领域的进步已结合了预测分析解决方案功能方面的广泛改进。这就是为什么越来越多的行业开始对这项技术进行投入。

R是一个开源项目，就像Hadoop生态系统。它是一种用于处理统计信息的编程语言和软件环境。Eclipse和Visual Studio等集成开发环境支持这种语言。

几家组织称，R已成为世界上最受欢迎的语言之一。

规范性分析为公司提供了建议，以帮助它们实现预期的结果。很少有企业对这种大数据技术进行了投入，不过许多分析师认为，规范性分析是下一个投入的领域，企业尝到该分析工具的甜头后更是如此。

什么是大数据技术？大数据的概念

大数据技术是指大数据的应用技术，涵盖各类大数据平台、大数据指数体系等大数据应用技术。

大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

随着云时代的来临，大数据也吸引了越来越多的关注。分析师团队认为，大数据通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。

大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

大数据的三个层面：

1、理论，理论是认知的必经途径，也是被广泛认同和传播的基线。在这里从大数据的特征定义理解行业对大数据的整体描绘和定性；从对大数据价值的探讨来深入解析大数据的珍贵所在；洞悉大数据的发展趋势；从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。

2、技术，技术是大数据价值体现的手段和前进的基石。在这里分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。

3、实践，实践是大数据的最终价值体现。在这里分别从互联网的大数据，政府的大数据，企业的大数据和个人的大数据四个方面来描绘大数据已经展现的美好景象及即将实现的蓝图。

数字技术，赋能千行百业（大数据观察）

来源：

拓宽应用领域，释放发展动能

数字技术，赋能千行百业（大数据观察）

山东金鼎矿业有限公司淄博矿区智慧矿山集中可视化管控平台。

本报记者 李 蕊摄

湖北省襄阳市襄州区智慧城管平台中控室内，工作人员在察看共享单车停放情况。

杨 东 江伟兵摄影报道

“江浙之巅”数字孪生应用抓拍到的黄茅尖景色。

百山祖国家公园龙泉保护中心供图

核心阅读

推动制造业数字化转型、提升城市治理效能、助力国家公园生态环境保护……数字孪生技术应用领域持续拓宽，有效赋能各行各业发展。

近日，记者走进浙江、山东、湖北三地，实地探访数字孪生技术为当地带来的新变化。

数字孪生技术，是指通过建立三维数字化模型，打通物理世界和数字世界，实现虚实融合的复合技术。推动制造业数字化转型、提升城市治理效能、助力国家公园生态环境保护……作为新兴的数字技术，数字孪生技术的蓬勃发展有效赋能千行百业的发展。随着应用场景持续探索拓宽，数字孪生技术将迎来新的发展机遇。

数字孪生技术在各地有哪些应用实践？记者进行了采访。

三维展示 “智”造升级

数字转型有了新抓手

走进山东金鼎矿业有限责任公司淄博矿区，指挥调度中心内，3名工作人员紧盯着眼前的一块屏幕。仔细一瞧，屏幕上13个矿井重点区域一目了然，井下设备、人员及安全生产状态等信息也一览无余。

3个人，不下井，何以监管这偌大的矿区？“秘诀就在于我们背后的‘虚拟矿区’。”海尔集团旗下卡奥斯装备行业业务负责人刘军解释道：“我们以数字孪生技术为支撑，为山东金鼎打造了一个和真实矿区一模一样的虚拟‘孪生兄弟’，简单而言，就是将井下场景建模、全景还原，使矿区以可视化效果呈现。”

“虚拟矿区”怎么用？“我们将数据集成到数字孪生可视化集中管控平台，以直观的三维可视化界面与真实矿区环境建立交互。”刘军说，透过一块屏幕，监管人员可全方位无死角地感知着矿区的“风吹草动”，响应各生产系统的预警和告警事件，调度相关生产单位及时处理，极大提高了管控效率。

近年来，山东打出数字赋能增效组合拳，深入实施制造业数字化转型三年行动。如今，数字孪生技术逐步推广应用，不但让企业的监管水平有了质的提升，还有效推动了“智”造升级。

2021年10月27日，在北京冬奥会开幕倒计时100天之际，中国自主设计、研发、制造的雪蜡车正式交付使用。这辆外表看似不起眼的雪蜡车，里面却“别有洞天”，包括了车载平台、新能源动力系统、智能控制系统……

此前，雪蜡车的核心技术长期被国外垄断。“雪蜡车设计之初，国内没有图纸可参考，没有经验可借鉴，时间紧、任务重，设计工作十分艰难。”卡奥斯物联科技股份有限公司副总经理谢海琴说，研制过程中数字孪生技术“派上了用场”。

“我们运用数字孪生等技术，迅速推演出雪蜡车的整体布局及功能分区，使首台雪蜡车的研发时间减少60%以上。”谢海琴介绍。

“云端”城市 实时感知

城市治理有了新突破

上午9时22分，湖北省襄阳市襄州区张湾街道办事处，综合执法中心工作人员张健的手机突然振动起来，“智慧城管”APP提醒他有一条市容环卫类督办工单待处理。

原来，智能AI摄像头抓拍到航空路怡美家园小区门口有几辆共享单车违规停放。骑上巡逻电动车，他马上赶赴现场。

与此同时，襄州区智慧城管平台中控室，操作员黄涛正在电脑上察看现场处置情况。9时34分，停车位传感器实时传回数据，在张健的归置下，屏幕上标红的共享单车一辆辆变绿，规范地停放在围栏内。

这是怎么实现的？

黄涛点击鼠标，中控室大屏幕上呈现出一座“虚拟襄州”。放大细看，城区的道路、楼房、商铺乃至路灯、井盖等都一一呈现。据了解，这是湖北省首个5G智慧城管数字孪生三维全景平台。

平台管理负责人江锐介绍，为确保“虚拟襄州”能够还原城市实景，当地与湖北省移动公司和省地质部门合作，通过5G+北斗高精度定位技术，对城市风貌进行数字扫描，并对160余种城市基础设施开展定期普查，让数字模型更新跟得上实体城市的发展脚步。

江锐说，数字孪生城市是基于建筑信息模型（BIM）、地理信息系统和物联网等技术构建的“有机综合体”，实体城市内接入的各类智能设备可与平台深度互动，赋能城市治理。

“以共享单车管理为例，在智慧城管平台，各类单车厂家、牌号、路段位置等信息一目了然，内容呈现也从二维升级到三维。”襄州区城管局副局长葛海兵说，依托数字孪生城市，散布在主城区的200多个智能AI高位摄像头可以做到准确定位，捕捉大街小巷的突发状况；全区12000多个路边停车泊位通过摄像头和地面磁钉等设备能实时掌握停车情况并自动计费；洒水车、环卫车可根据路况信息及时调整作业路线，避免影响行人和车辆……

一旦发现问题，平台大数据系统将立即下达处置指令等信息至相关部门和责任人，由他们第一时间赶到现场处置。“一般事件，1小时内可以处理完成，比传统人工处置效率提升1倍以上。平台操作员就像在‘云端’工作，整个城市情况尽收眼底，随时可管理调度；城管执法也从‘人防’转变为‘技防’，提高了社会治理效能。”葛海兵说。

目前，襄州区智慧城管平台正逐步探索社区安保、旅游服务等多领域应用场景。江锐介绍，平台已与襄阳市“一网统管”主平台对接，综合利用城管、气象、环保、交通、公安等部门的23.6亿条数据和5.8万余路视频资源，对城市24小时运行状态进行数字化呈现，提高了城市治理的精细化、智能化水平。

环境监测 科学管护

生态保护有了新思路

前不久，浙江丽水百山祖国家公园龙泉片区海拔近1800米的高山湿地中，一对棕褐色羽毛、橙黄脚掌的斑嘴鸭，正在草丛间的水域里散步觅食。

这一幕被野外摄像头拍摄下来，通过物联网监测设备和数字孪生应用平台，将时间、地点以及气象水文信息，一并传回了系统。

“这是自保护区成立以来，首次在高海拔地区监测到斑嘴鸭，为我们研究其迁徙规律、生活习性，提供了很多有价值的信息。”百山祖国家公园龙泉保护中心工程师叶立新说。

去年11月，龙泉市国家公园数字孪生应用“江浙之巅”正式上线。得益于卫星遥感、物联设备、无人机等前端感知感应设备，“江浙之巅”实现了对国家公园“天上看、空中探、地上查、网上管”的一体化智能感知。

在系统动态监测模块，记者看到了无人机在高山巡护时传回的实时画面，一只松鸦正在山林间游荡。目前，龙泉保护中心已经陆续监测到国家一级保护动物黑麂，以及黄腹角雉、穿山甲等多种野生动物，可随时查看视频和照片，并对物种出现频率、位置等进行统计分析。

不仅如此，依托感知监测体系，系统还可以实时回传现场的生态环境数据、电子围栏卡口监控数据及立体巡护数据。“江浙之巅”数字孪生应用管理员方万力介绍，系统可以整合多维度的数据，全面准确掌握公园情况，同时减少了人为活动干扰，维护了森林生态系统健康稳定。

自管理端应用上线以来，截至5月23日，已获取生物多样性数据17935条，监测百山祖国家公园内动物120种，其中重点保护动物30种；卡口记录车辆信息55543车次，人员信息7191人次；巡护系统在线巡护人员67人，巡护里程累计36989千米，巡护时长累计18723小时；获取空气质量、气象、水质、湿地监测数据300万余条。

如今，“江浙之巅”数字孪生系统已完成“一舱两端”应用体系构建，除了指挥驾驶舱和管理端应用场景外，面向公众的移动互联体验场景也随之上线。

“通过VR技术能沉浸式游览国家公园内的景点，还可以选择自己感兴趣的类别，查看科普内容。”杭州游客叶静怡拿着手机给记者展示，进入“浙里办”应用程序，在首页搜索“江浙之巅”，国家公园的游览路线、配套设施、旅游指数、气象风险等信息一应俱全。

“‘江浙之巅’数字孪生系统基于多源海量的数据分析，辅助国家公园管理人员科学决策。同时公众服务端全方位展示了园区自然科普信息，有助提高公众保护意识。”百山祖国家公园龙泉保护中心党组书记李先顶说。