业界首个128GB超大显存GPU 解锁千亿大模型部署-- 迪族网

业界首个128GB超大显存GPU 解锁千亿大模型部署

来源：中关村在线　2023-07-12 11:43:04

近日，2023WAIC世界人工智能大会在上海开幕。海飞科Compass C10-S1X计算加速卡凭借显著的高性能、高性价比等优势，成功入围2023 SAIL奖TOP30榜单。同时，海飞科在会上集中展示了Compass C10，高效部署ChatGLM、OPT、Stable Diffusion等模型方案，充分体现128GB 超大显存GPU实现单卡、分布式多卡部署千亿大模型的领先性和创新性。

业界首个128GB超大显存GPU 轻松解锁千亿大模型部署

(资料图片)

数月前，ChatGPT一路狂飙引发AI模型参数向百亿甚至千亿级演进，对模型推理部署的算力提出更高要求。但高性能GPU成本高昂且具有技术壁垒，制约 AI 大模型部署规模化。

面对AI大模型部署多重挑战，海飞科基于C10通用GPU高达128GB超大显存，与自有软件平台高效协同，达到算力和存储容量的优化平衡，为AI大模型部署提供通用敏捷、高性价比的解决方案。包括C10以128GB大显存高效支持大batch推理，实现单卡部署GLM130B千亿参数级别模型，为用户提供高性价比、高能耗比的算力；多卡分布式可部署超大模型，通过对算子、模型灵活切分，满足用户多任务处理低延时、高吞吐率的需求，可适用于人工智能的自然语言、图像、视频、音频等多模态模型部署。

C10是海飞科第一代通用GPU产品，依托通用并行计算架构、指令集等多项原创技术，兼容主流CUDA生态，拥有良好的通用编程能力和优异的高性价比算力，解决GPU通用性和高成本双重难题，可保留用户已有开发成果进行低成本迁移。此外，海飞科自研通用编程模型和完整软件工具链，提供语言级、算子级和模型级的通用开发界面，大幅度降低开发的门槛和难度，提升开发者工作效率，以更好地满足AI大模型部署和开发需求。

建立通用并行计算体系加快通用GPU规模化落地

面向AI ，海飞科自研通用并行计算架构，以统一内核打造产品体系，构建通用软件开发生态，为各行业用户提供高性能、低延时、低能耗、高性价比的算力服务，支持 AI 推理与训练、科学计算、图形渲染等应用场景。

海飞科成功推出第一代Compass C10通用GPU芯片、C10-S1X和C10-S2X两款计算加速卡，支持多卡分布式部署，用户可根据吞吐率、延时、并发量等需求灵活配置，为算力规模、性能、密度带来质的提升。值得一提的是，C10在权威机构的综合评测中，其性能已企及市场主流产品，在处理张量数据类型的计算任务时，算力有效利用率有明显超出，更接近理论最大算力，验证了C10能为行业提供强劲算力的实力。

遵从开发者视角是海飞科软件平台的研发理念，打造面向AI应用的通用并行编程范式，提供高级语言编译器、AI 图编译器，支持 CUDA C、OpenCL 等高级编程语言，助力开发者提升工作效率。软件平台可对C10 GPU进行算力调优，可最大化的释放 GPU 算力，为AI 产业筑牢算力基石。

作为建立通用并行计算体系的践行者，海飞科与头部服务器厂商、云服务厂商、算法厂商展加强合作，打造开放、普惠、共赢的产业生态，共同推动通用GPU规模化落地。

(8250970)

关键词：

推荐DIY文章