导航菜单

既快又经济 按“人类思维”分析数据的秘方是什么?

白金会

快速而经济根据“人类思维”分析数据的秘诀是什么?

现在,政府和企业都希望通过数字化转型提高竞争力。数字化不能从两个维度,应用程序和数据中分离出来。

毫无疑问,数据将成为改变传统的基础。流程优化,产品迭代和业务模型创新都将由数据驱动。

在应用程序中,从边缘到核心再到云,数据分析的价值比数据量更有趣。面对爆炸式增长数据,企业需要实时决策才能实现高效管理。

据IDC统计,到2025年,实时数据将达到29%。为了实现实时数据分析,英特尔发布了以数据为中心的技术创新战略,以开发,记录,传输,存储和处理数据。用户可以存储更多数据,尽可能快地传输数据,并处理从云端到边缘的所有内容。

如何摆脱“没有办法说出来”

进出海关时,通过指纹识别的自动通道将使我们更方便。事实上,在公共安全领域,指纹比较既高速又准确,例如指纹系统从现场采集的原始指纹数据,经过预处理和特征提取。将形成一个结构化的点集,然后将其与后端数据库中的数百万个指纹实例进行比较。

看似短暂的过程实际上需要背景的逻辑分支。因此,解决方案的性能将在很大程度上取决于内存资源的可用性,并且通用计算核心的性能要求也非常高。

类似的场景将会越来越多,如何设计高性价比的存储节点和计算节点,如何快速有效地适应软件和硬件,如何在云平台上实现海量数据的高性能比较。

最后,AI时代需要创新的存储架构来实现海量数据的实时,智能处理。

从SSD开始时的SLC到MLC,到即将到来的QLC的TLC,存储在单位区域中的数据越来越多,并且容量越来越大。

但是,性能提升并不明显。例如,目前主流的NVMe SSD具有大约600,000 IOPS的随机读取性能。当然,它具有更高甚至超过一百万的IOPS,但它并不常见,未来结合了3D NAND和QLC技术。 SSD,读取性能大致相同,但写入性能仍略有降低。

当然,界面带宽也有一些因素。在未来PCIe 4.0普及之后,可以预见更大容量的QLC SSD将不会比现有的SSD表现更好。 SSD的容量越来越大,但性能趋于稳定,类似于磁盘的开发路径。

件下,是不是更具成本效益?从成本角度来看,这是事实。

但是,从企业应用的角度来看,特别是对于非容量需求应用,相同的性能容量更大,这意味着每单位容量的性能更低,即每GB容量可以实现的IOPS降低。因此,对于需要更高性能但不需要大容量存储的应用,存在“无所作为”的感觉。

看看市场上主流的高性能SSD,容量通常很大,而容量小,性能高的SSD(例如500,000 IOPS供参考)几乎没有。

英特尔AoTengTM数据中心级永久内存解决方案(以下简称Optane)是一项全面的创新,是专为数据中心使用而设计的新型内存和存储技术,可在DRAM和SSD之间实现大型持久内存层。它也快速且经济实惠。

通过人类思维分析数据

企业需要完整的业务数据进行实时分析,但“实时”实际上可以有数值。

人类的“实时响应时间”诗是几百毫秒。为了使系统以毫秒为单位测量思考速度,必须以纳秒为单位测量提供数据的系统组件的延迟,以使组合延迟接近人类思维的下限(550毫秒)。

492062bb99fd45b58c94d392afead312.png

也就是说,将数据保存在内存中并接近CPU将使延迟保持在纳秒级。但是,在向存储发出请求后,延迟将从纳秒变为毫秒。

但英特尔希望以人类思维的节奏向用户提供数据。 Optane将更多数据移近处理器,从根本上改变了可以经济有效的方式放置在处理器附近的内存量,以实现实时访问,处理和分析。数据无需先从内存中检索数据,预计可以减少客户深入了解数据所需的时间。

cb849635185443789dbd6f38c486e045.jpeg

从技术角度来看,Optane不同于传统(NAND)SSD,与NAND SSD相比,它应该是SSD的另一个技术分支。 NAND SSD通过改变电子负载来实现数据存储。每次负载变化都意味着丢失,即SSD的PE数量。 SSD的寿命是众所周知的。当然,主流SSD中使用的均衡算法也可以实现长寿。影响。

与此同时,Optane的单芯片SSD容量仅为375GB,但它可以提供超过500,000 IOPS的随机读写性能,读写性能均衡,这也是Optane与NAND SSD之间的巨大差异, Optane比NAND SSD更适合编写密集的应用场景,如公共安全领域的指纹识别比较,石油,制造业和其他工业场景。

Optane采用了一种新材料,更类似于PCM(相变存储器,PCM)相变存储,原则上与NAND不同,自然拥有更好数量的PE。

此前,E企业研究院提供了NAND SSD作为基于MySQL的Qingyun QingCloud开发的分布式数据库RadonDB的数据库。与Optane(相同的单个磁盘375GB)相比,缓存与NAND SSD进行了比较以进行存储。测试结果还表明,与简单使用NAND SSD进行数据库存储相比,在OLTP模式下,加入Optane进行缓存后,RadonDB数据库性能是性能的4倍以上,且平均响应时间不到四分之一。

67db2b72bb6b4b1d998529afabaad62e.jpeg

在Qingyun的QingCloud分布式数据库环境中,在添加Optane进行缓存后,2节点RadonDB数据库的性能提高了约4倍,三个节点的性能提升了6倍。数据库的平均响应时间也将用于NAND SSD下的数据存储。四分之一和六分之一。

但是,这仍然不是一个孤立的案例。来自英特尔实验室的数据显示,在数据库环境中,将Optane添加到缓存后,数据库性能也提高了3倍,与之对应的延迟仅为三分之一。

862268fef2d44f829fe0d901aee9072e.jpeg

就基准数据而言,Optane和NAND SSD的性能并没有那么不同。为什么应用场景中会多次提升性能?

事实上,当使用基准测试工具检查Optane和NAND SSD的读写性能时,负载通常是纯净的,例如100%的读或写压力。同时在实验室环境中,基于应用程序的测试更接近实际负载,读取和写入IO模型更复杂,并且可能会发生变化。这使Optane能够快速累积写入性能和低延迟,从而实现与基准测试结果不成比例的性能提升。

e76347d57b5b4a1cab151c1ed2a7e092.jpeg

可以看出,在数据存储层面,英特尔正在使用Optane独特的内存技术来释放数据价值,使客户能够以更经济的方式存储数据,从边缘计算到核心数据中心,从基础设施到云,再到应用程序,从数据传输到供电软件和算法,英特尔已经超越了处理器市场,使数据更有价值。

- 结束 - ,看到更多