云原生计算基金会引入技术雷达

除了以上关系、计数业务场景的定制优化，为了满足判断类业务场景需求，定制了 BloomFilter 服务;为了满足 feed 聚合业务场景需求，定制了 VerctorService 服务;为了降低服务成本，定制了 SSDCache 服务等。(小编：老板感动得流泪了)

服务化时代(2014 -)

Cache Service、SSD Cache

随着微博业务的快速增长，Redis 集群规模也在持续增加，目前微博 Redis 集群内存占用数十 TB，服务于数百个业务线，Redis 集群的管理依然面临很多的问题。

数据迁移问题

随着时间推移，越来越多的业务由于数据量的增加，单端口到内存占用已经达到上限，微博内部建议单端口内存不超过 20GB，因此需要重新拆分端口，这就涉及到数据迁移，目前迁移操作是通过内部开发的一个迁移工具来完成的，迁移操作的成本相对较高。

数据路由问题

目前的使用方式，需要在业务代码中实现数据路由规则，路由规则的变更需要重新上线代码，业务变更复杂度较高。同时节点配置采用 DNS 的方式，存在实时性和负载不均的问题，虽然使用过程中有对应的解决策略，但是需要一定的运维干预，运维复杂度较高。


 

分析大数据

物联网传感器持续接收来自大量连接的异构设备的数据。随着联网设备数量的增加，物联网系统需要具有可伸缩性，以适应数据的流入。分析系统处理这些数据并提供有价值的报告，这将使企业具有竞争优势。由于数据是基于其类型挖掘的，因此必须对数据进行分岔以充分利用数据。根据问题数据的类型，可以进行不同类型的分析。比较常见的有：

(1) 流分析(Streaming Analytics)

流分析结合了来自传感器的未排序的流数据和来自研究的存储数据，以发现熟悉的模式。这种方法的实时分析可以在车队跟踪和银行交易等用例中提供帮助。

(2) 地理空间分析(Geospatial Analytics)

另一类大数据分析方法是地理空间，其中IoT传感器数据和传感器的物理位置的组合可以为预测分析提供整体视角。物联网世界中的对象数量众多，其通过无线网络发送数据的能力有助于获得详细的数据转储，这些数据转储可用于促进洞察。

挑战

我们目前所处的阶段是，获取、分析和报告物联网数据是大多数企业的必修课。然而，由于这些技术仍处于发展阶段，这些组织面临着相当多的挑战。其中一些是：

(1) 集成

由于物联网数据通过多个渠道以不同的格式接收，因此收集和集成物联网数据具有挑战性。分析系统需要确保接收到的数据是一种可操作的格式，足以确定见解。文本挖掘和机器学习技术通常用于从传感器中提取文本数据。然而，提取非文本格式的数据，如图像、视频不能快速完成。

(2) 隐私

物联网系统通常具有敏感信息，需要加以保护以免受外部干扰。不断涌入的数据难以保护数据的每个部分并进行分析。这些系统由于容量有限而依赖于第三方基础结构，这将增加安全风险。因此，采用了诸如数据匿名性和加密之类的预防措施来加强数据安全性。

物联网是近十年来最具创新性的发展之一，它成功地融合了技术和数据，以制定更具建设性的战略。随着传感器和智能设备在过去十年的普及，准确处理大量高频数据对组织来说至关重要。在这个相互关联的世界中，一个能够吸收、分析和获得商业见解的集成平台是当前的需要和正确的策略。

（编辑：广元站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!