AMD EPYC(小龙)处理器提供卓越的PCI-E和内存带宽,加快了大型强子对撞机的亚原子粒子研究
合作伙伴:CERN
产业:粒子物理研究
挑战:从大型强子对撞机的探测器中收集大量数据
解决方案:在探测器数据收集服务器上部署AMD EPYC 7742处理器
效果:较小的系统可以降低成本,将更多资金投入科学研究
AMD技术概述:64核AMD EPYC 7742处理器
合作伙伴:吉字节
科学是根据实验数据验证理论的过程。但是,如果测试设备包含欧洲核研究组织(CERN)大型强子对撞机(LHC)的粒子探测器,则远视碰撞数据每秒最多为40TB。很多冲突数据并不重要,所以首先要做的是在信息到达时过滤,提取最有可能提供重要洞察力数据的相关结果。这是非常苛刻的高性能计算任务,需要尽可能强大的服务器硬件。
CERN已经为2021年将进行的大型强子对撞机重启做了很长时间的准备,并且正在寻找能够满足大量数据吞吐量处理要求的硬件平台。“必须将每台服务器的数据存储在每台服务器上,”CERN LHCb在线计算项目负责人Niko Neufeld说。这就像拼图一样。拼完一幅图后,必须对所有传入的数据执行牙齿操作。这给I/O带来了棘手的挑战。因此,Neufeld选择了第二代AMD EPYC处理器,因为它提供了实验所需的处理性能、内存速度和带宽。
完成美丽的拼图
Neufeld做的实验称为LHCb。Neufeld解释说:“字母b代表beauty(美)。”这是自然界中六个茄子夸克之一,也是我们研究的主要目标之一。“夸克是一种基本粒子,是物质的基本组成部分。夸克结合形成了一种叫做强者的复合粒子,其中最稳定的元素是质子和中子。
LHCb实验旨在调查大爆炸后发生了什么,生存物质,形成我们今天所知道的宇宙。观察夸克衰变的行为有助于解释为什么宇宙主要由物质而不是反物质组成。Neufeld补充说:“在美夸克中,牙齿差异比其他夸克更明显。”"我想"
实验将强者和LHCb探测器相撞,制造出了美夸克,但寿命短,必须迅速收集数据才能检测其行为。原始数据流首先由用于初始解释的自定义FPGA卡处理。Neufeld表示:“每个服务器都映射到不同地理位置的探测器。探测器分为多个部分,每个服务器以点对点方式连接到探测器的牙齿部分。但是,所有数据片段必须放在一个位置才能进行有意义的计算。”
Neufeld继续说:“单个服务器无法完成数据处理任务,需要进行完整的数据交换。”。”。牙齿活动需要快速数据处理、高带宽访问大量内存,以及与负责服务器间连接的I/O设备的快速连接。在后一种情况下,LHCb的每个服务器使用4个Mellanox 200Gbit InfiniBand适配器,这些适配器必须通过最快的互连运行全部容量。Neufeld说:“数据徐璐来自其他方向,牙齿数据徐璐在其他服务器上处理,这些数据必须汇总在一起。”
“AMD EPYC(小长)CPU允许我们在几天内显示服务器上每秒超过1 TB的数据。像过去一样,不需要超级计算机,而是在服务器上实现牙齿过程,这是一大进步。”
Niko Neufeld,CERN LHCb在线计算项目主管
AMD EPYC处理器提供超高速I/O和内存
LHCb过去使用AMD皓龙处理器,Neufeld在工作流的最后阶段测试了第一代基于AMD EPYC处理器的服务器。收集器中的数据打包在一起,以供与LHCb实验相关的所有级别的研究机构使用。此次尝试提供了积极的经验,第二代AMD EPYC CPU改进了产品规格,成为了更密集数据收集阶段的诱人解决方案。
AMD EPYC CPU的核心数有助于数据处理,对128个PCI Express 4.0通道的支持是每个服务器运行4个Mellanox NIC而不存在瓶颈的卓越功能。Neufeld说:“通过AMD EPYC (Xiaolong) CPU,我们可以在几天内显示服务器上超过1 TB/s的数据。”像过去一样,不是需要超级计算机,而是在服务器上实现牙齿过程,这是一大进步。"我想"
“系统的总内存池也很重要,”Neufeld说。传入数据的杨怡很多。数据不能从FPGA卡直接传输到网络卡。相反,必须进入主内存并返回。还需要大量内存。单击“LHCb”,每个服务器使用512GB内存。Neufeld继续说:“我想。”Rome平台满足了这一需要,因为它提供了多个内存通道并支持非常快的带宽。这是一个非常均衡的平台。单击采用8TB 3200MHz DDR4的第二代AMD EPYC CPU完全满足与PCI Express总线类似的RAM要求。
AMD EPYC CPU的扩展空间
2019年5月至9月,CERN认证了第二代AMD EPYC CPU平台,并选择它作为LHCb实验的解决方案。“通过牙齿解决方案,我们将服务器数量减少了三分之一,”Neufeld说。这不仅可以降低成本,而且在构建快速、低延迟的网络时,减少服务器数量也是一个优点。更大的网络将面临更多的冲突问题。系统越紧越好。”
AMD EPYC CPU为LHCb提供执行其他试点测试所需的升级路径。“我们没有Google或Facebook的计算能力,但是通过AMD EPYC CPU,我们可以在相对小巧的系统中执行所需的处理任务。这在10-15年前不可能实现。现在我们有了扩展的空间。使用相同的EPYC技术,在相同的空间内实现双倍的容量。未来几年,我们的计划是增加探测器和传感器的数量。这会给我们提供很大的扩展空间。有了EPYC,我们可以做更多的事情。单击
“目前没有与AMD EPYC设计相媲美的商业替代设备,也没有具备Gen4功能的许多插槽和提供强大操作功能的其他平台。因此,第二代AMD EPYC CPU平台具有体系结构优势。”
Niko Neufeld,CERN LHCb在线计算项目主管
想知道AMD EPYC处理器如何帮助您吗?欢迎访问数据中心内容amd.com/epycsignup