F5携手英:伟达全面增强AI时代的性能多租户与。安全能力
【TechWeb】7月9日消息,全球应用交付和API安全解决方案提供商F5宣布F5 BIG-IP Next for Kubernetes推出全新功能,该解决方案深度整合NVIDIA BlueField-3 DPU以及NVIDIA DOCA软件框架,并已通过欧洲客户Sesterce的实际部署验证。
作为对F5应用交付与安全平台(F5 Application Delivery and Security Platform)的进一步扩展,BIG-IP Next for Kubernetes现可原生运行于NVIDIA BlueField-3 DPU,为大规模AI基础设施提供高性能流量管理与安全防护,从而显著提升AI应用的运行效率、控制能力与性能表现。
借助该联合解决方案,企业可将简单的AI相关任务路由至成本更低、更轻量级的LLM以支持生成式AI,同时将更复杂的查询留给性能更强大的高阶模型处理。该可定制化的智能路由机制还支持按领域调用特定 LLM,从而提升输出质量并显著改善客户体验。F5的先进流量管理技术可确保查询精准分发至最适合的模型节点,从而降低延迟并加快首个词元生成时间。
今年早些时候,NVIDIA推出Dynamo框架,旨在为生成式AI与推理模型在大规模分布式环境中的部署提供支撑。通过统一调度、流量路由和内存管理等核心任务,NVIDIA Dynamo有效简化了分布式环境中AI推理的复杂性,确保其在动态工作负载下的稳定运行。F5与NVIDIA的联合解决方案的核心优势之一,是将部分计算操作从CPU卸载至BlueField DPU,从而显著提升整体效率。借助F5技术,Dynamo KV Cache Manager可基于容量智能路由请求,并通过键值(KV)缓存机制,显著加速生成式AI应用的响应速度。该机制通过复用历史运算信息,避免重复计算,显著降低资源开销。就基础架构而言,企业通过KV缓存存储与复用机制,相比直接占用GPU昂贵的内存资源,能以更低成本实现性能优化。
另外,通过在MCP服务器前端部署F5与NVIDIA联合解决方案,F5可充当反向代理,从而增强MCP解决方案及其所支持LLM的安全能力。同时,F5 iRules提供的全数据可编程能力,能够快速并灵活地响应AI协议的快速演进需求,并进一步抵御新兴网络安全风险。
丁禹兮工作室 线下若印巴冲突继续升级我国会受影响吗一起走过的日子合唱版CP31开票富士辟谣相纸停产英伟达暴涨引领AI概念回归全球贸易紧张关系缓解 金价压力陡升多哈世乒赛王曼昱海报发布救人缺考男生将补考网传全深圳都在绿化带捡龟背竹(内容来源:极目新闻)
作者: 编辑:周梓涵
越牛新闻客户端
越牛新闻微信
绍兴发布微信
越牛新闻微博
绍兴发布微博
新闻热线
0575-88880000
投稿信箱
zjsxnet@163.com