慧维智能

英伟达GH200超级芯片首秀

2023-09-19

英伟达GH200测试成绩的首次亮相！

相比于单张H100配合英特尔CPU，GH200的Grace CPU+H100 GPU的组合，在各个项目上都有15%左右的提升。

英伟达GH200超级芯片首秀

毫无疑问，英伟达的GPU在MLPerf Inference 3.1基准测试中表现是最亮眼的。

其中，最新发布的GH200 Grace Hopper超级芯片，也是首次在MLPerf Inference 3.1上亮相。Grace Hopper超级芯片将英伟达的Grace CPU与H100 GPU集成在一起，通过超高的带宽连接，从而比单个H100配合其他的CPU能提供更强的性能表现。

具体来说，它将一个H100 GPU和Grace CPU集成在一起，通过900GB/s的NVLink-C2C连接。而CPU和GPU分别配备了480GB的LPDDR5X内存和96GB的HBM3或者144GB的HBM3e的内存，集成了高达576GB以上的高速访问内存。

Salvator表示，「与测试中最好的x86 CPU相比，L4的性能也非常强劲，提高了6倍」。

参考资料：

https://developer.nvidia.com/blog/leading-mlperf-inference-v3-1-results-gh200-grace-hopper-superchip-debut/?ncid=so-twit-408646&=&linkId=100000217826658

https://mlcommons.org/en/inference-datacenter-31/

https://venturebeat.com/ai/mlperf-3-1-adds-large-language-model-benchmarks-for-inference/

关于慧维智能

慧维智能医疗科技有限公司成立于2019年6月，专业从事智能医疗产品的研发、生产与销售。我们的核心成员，均来自全球顶尖的科研机构和世界五百强企业。慧维智能以在“人工智能”和“边缘计算”领域的自主核心技术为驱动力，致力于为全球医疗机构提供“高水准、低成本、好体验”的医疗产品与服务，最大程度地帮助医生提高诊疗水平与效率。