跳至内容
深圳市捷比信实业有限公司 · 产品选型与采购咨询联系业务人员
合金电阻捷比信 · 专业器件主题站

共享浪潮AI服务器NF5488A5的测量数据,一台机器上的最大推理通道数量增加了88%

近日,在GTCChina元脑生态技术论坛上,Xtreme,Trending和Ruiyan Technology等元脑生态系统合作伙伴在多种情况下共享了浪潮AI服务器NF5488A5的实测数据。结果表明,浪潮NF5488A5大大提高了智能。语音,图像识别等AI模型的训练和推理性能促进了工业AI解决方案的开发和应用。 NF5488A5是浪潮开发的新一代AI服务器。它在4U空间中支持8个第三代NVLink全连接A100芯片。它可以为用户提供多达5 PetaFLOPS的AI计算性能和超高速带宽,提供各种AI应用方案强大的计算能力支持。 NF5488A5屡次打破世界权威AI测试列表MLPerf的记录。基于ImageNet的ResNet50基准测试表明,NF5488A5只需33.37分钟即可完成培训,在单机性能方面排名第一;推理性能达到每秒549,000张图像,是去年的三倍。推理列表中的服务器具有最佳性能。在本次GTC元瑙生态技术论坛上,生态合作伙伴展示了与浪潮的合作计划,并公布了NF5488A5的实测性能数据。中科星源开发的智能语音交互解决方案处于中国领先水平,广泛应用于教育,交通,呼叫中心,智能硬件等领域。这次,它在浪潮NF5488A5中得到了加速。 NF5488A5的高性能,高带宽和易于部署的功能极大地促进了智能语音模型训练和在线推理。测试数据表明,在相同的准确率下,与原始系统相比,NF5488A5将模型训练速度提高了50%,单台机器上的最大推理通道数量增加了88%,推理延迟增加了65%。趋势科技和浪潮共同创建了业界领先的集成GPU资源池解决方案。该测试使用TensorFlow框架的基准测试各种AI应用程序场景,例如小模型推断和大模型训练,并验证趋势科技针对浪潮NF5488A5的OrionXAI加速器资源池解决方案的兼容性和性能。结果表明,NF5488A5服务器具有出色的性能。部署资源池解决方案后,本地性能损失小于1%。与以前的服务器的GPU性能相比,数据增加了近50%。瑞彦科技推出的Alpine Swift工业视觉平台是针对工业生产场景而打造的智能多业务管理和安全生产管理平台,可实现远程检查,操作安全监督和区域安全等功能。该平台在计算层使用浪潮NF5488A5来加快训练和推理速度。实际测量结果表明,在相同的图像和视频分辨率下,模型的原始训练时间为140分钟。使用NF5488A5后,可以将训练时间缩短到105分钟,并将速度提高25%。一台机器的最大推理FPS(每秒传输帧)已从20800增加到28000,增加了35%。以上实测数据表明,浪潮NF5488A5可广泛应用于典型的AI应用场景,如图像和视频,语音识别,财务分析,智能客户服务等,帮助AI用户有效完成AI基础架构和开发环境的建设。 ,缩短了开发周期,并显着提高了AI的开发和应用效率。浪潮是全球领先的AI计算领导者,其在中国的AI服务器市场份额已连续三年保持在50%以上。面对工业AI的趋势,浪潮提出了一种元脑生态,它将聚集左右合作伙伴和浪潮AI资源,以帮助更多的用户实现更好的产品技术能力和整体程序实施能力的智能转型和升级。在元脑生态系统中,浪潮将共享AI计算平台,AI资源平台和AI算法平台。目前,元脑生态系统已经吸引了200多名左撇子合作伙伴参与,并在6个主要行业孵化了100多种解决方案。