ZeroPoint的纳秒级内存压缩技术可以控制耗电量高的人工智能基础设施

人工智能只是对高性能计算的最新和最贪婪的需求,系统架构师们正在不停地努力挤取每一瓦特的性能。拥有550万欧元(550万美元)的新资金的瑞典初创公司ZeroPoint希望通过一种纳秒级的新型内存压缩技术来帮助他们,就像它听起来那样复杂。

这个概念是:在数据进入RAM之前无损压缩数据,之后再进行解压缩,通过向芯片添加一小部分,有效地将内存通道扩展了50%或更多。

压缩当然是计算中的基本技术;正如ZeroPoint首席执行官Klas Moreau(上图左,与联合创始人Per Stenström和Angelos Arelakis一起)指出的,“今天我们不会将数据存储在硬盘上,而不压缩它。研究表明,内存中70%的数据是不必要的。那么,为什么我们不在内存中压缩呢?”

答案是我们没有时间。对于存储大型文件进行压缩(或者当它是视频或音频时,进行编码)是一个可以根据您的需求花费几秒、几分钟或几小时的任务。但数据经过内存的时间只占一个微小的时间片,以CPU能够执行的最快速度进出。将一个数据包中的“不必要”位移除所需的微秒延迟对性能来说是灾难性的。

虽然超快速内存压缩已经得到了证明,但它会带来第二个问题:基本上,您必须以与压缩速度相同的速度对数据进行解压缩,将其恢复到原始状态,否则系统将不知道如何处理它。因此,除非您将整个架构转换为这种新的压缩内存模式,否则这是没有意义的。

ZeroPoint声称已经通过快速、低级内存压缩解决了这两个问题,不需要对计算系统的其余部分进行任何实质性的更改。您只需在芯片上添加他们的技术,就好像您已经将内存翻倍了。

尽管细节可能只有这个领域的人才能理解,但基本原理对于初学者来说也很容易理解,正如Moreau向我解释的那样。

“我们对少量数据进行压缩,有时是512位的缓存行,然后在其中识别模式,”他说。“这就是数据的本质,其中包含非常低效的信息,这些信息稀疏地分布在其中。这取决于数据:数据越随机,可压缩性就越低。但当我们查看大多数数据负载时,我们看到我们达到了2-4倍的数据吞吐量[比之前]。”

这不是内存的实际样子。但您明白这个概念。
图片来源:ZeroPoint

众所周知,内存可以被压缩。Moreau说,在大规模计算领域的所有人都知道这个可能性(他向我展示了一篇2012年的论文证明了这一点),但他们更多地将其视为学术问题,无法在规模上实施。但ZeroPoint解决了压缩的问题,使压缩后的数据更有效率,并保持透明性,因此这项技术不仅有效,而且在现有系统中运行非常顺畅。所有这一切都在几纳秒内完成。

“大多数压缩技术,无论是软件还是硬件,通常需要几千纳秒。CXL [计算表达链接,一种高速互连标准]可以将这个时间缩短到几百。”Moreau说:“我们可以将其减少到3或4。”

这里是CTO Angelos Arelakis自己的解释:

ZeroPoint的首次亮相显然是及时的,全球各地的公司都在寻求更快速、更便宜的计算方式来训练另一代人工智能模型。大多数超大规模计算企业都渴望任何可以让他们每瓦特获得更多电力或稍微降低电费的技术。

所有这一切的主要注意事项只是,正如前面提到的,这需要在芯片上包含并从底层集成起始——您不能只是在机架中插入一个ZeroPoint的设备。因此,公司正在与芯片制造商和系统集成商合作,将该技术和硬件设计授权给高性能计算的标准芯片。

当然,这包括您的英伟达和英特尔,但还包括Meta、谷歌和苹果等越来越多的公司,它们设计了定制硬件来内部运行他们的人工智能和其他高成本任务。ZeroPoint将其技术定位为一种成本节约,而不是高级:可以想象,通过有效地将内存翻倍,这项技术能够在不久的将来收回成本。

最近关闭的550万欧元A轮融资由Matterwave Ventures领投,Industrifonden担任当地北欧领投,现有投资者Climentum Capital和Chalmers Ventures也参与其中。

Moreau表示,这笔资金将使他们能够扩展到美国市场,并在他们已经追求的瑞典市场加大投入。