得一微电子CEO吴大畏:存储芯片在AI端侧的创新应用

  日前,由中国科学院、中国工程院等多名院士领衔的第二届中国计算机学会芯片大会(CCF Chip 2024)在上海圆满落幕。作为国内存储控制芯片领域领军企业,得一微电子CEO吴大畏先生发表特邀报告《存储芯片在AI端侧设备的前沿应用与未来展望》,他和参加会议的专家一道,深入探讨AI终端部署的计算与功耗瓶颈,以及智能计算与新兴存储技术的融合,为存算技术发展提供前沿研究。

  在AI时代,尽管HBM在内存市场大行其道,但非挥发存储如eNVM和传统NAND Flash在AI时代正悄然变革,并在业界产生新的影响。吴大畏先生在演讲中,探讨了存储芯片和AI端侧设备未来应用的方向,这些方向虽不一定都会成为未来,但无疑具有引领市场的潜力,可能预示着真实的未来趋势。

  提及AI,必然涉及端侧AI的应用。吴大畏先生首先列举了AI在端侧应用的六大主要设备:AI智能手机、AI PC、智能物联网设备、智能汽车、健康监测设备和智能安防监控,并指出AI应用主要涵盖智能家居(消费领域)、人机一体化智能系统(工业领域)以及智慧城市(工业及更广泛的社会应用领域)三大核心场景。这些多样化的设备和场景组合共同构成了丰富多彩的AI应用场景。

  在吴大畏先生看来,未来AI应如空气般无处不在,深入每个使用环境,成为主动而非被动式存在。这在某种程度上预示着AI需落地端侧,实现润物细无声的存在,让用户每天如呼吸空气般感受不到其存在,却又无处不在。因此AI落地端侧,除了对算力的要求外,还需考虑数据安全、高性能与低延时、用户体量和黏度、优异的成本效益等。而端侧设备对AI也有需求,包括多模态信息的输入输出能力、本地决策能力和精准的个性化体验等,AI与端侧设备两者相互依存,相互发展。

  接着,吴大畏先生还深入探讨了非挥发存储与AI结合的多层次演进方式。他指出,非挥发存储自身的演进将追求更高性能、吞吐率、并发性、安全性和容量,以及针对AI应用的优化;此外,非挥发存储和计算系统的接口演进,在不同应用中也将呈现多样化发展路径。嵌入式存储如手机可能会沿UFS3.0、UFS4.0等路径升级。在PC领域则向PCIe Gen5、Gen6、Gen7发展,互联可能向CXL方向演进,并有望从企业级扩展到消费电子端侧。最后,存储互联和计算的整生态优化,最终达到性能提高、功耗降低、成本降低的目标。未来系统同时实现这三点,重点是优化算力、存力和数据传输的紧致分配。

  随着AI产业的发展,端侧设备在大多数情况下要承载更多增长训练,以及验证、推理等后续工作,端侧将逐渐支持相关生态和应用的发展。根据微软和摩根士丹利等机构的预测,到2024年底,AI PC销售量有望达到5000万台,占PC市场的20%左右;全球新一代AI手机出货量将达1.7亿部,占智能手机出货量的15%左右。到2028年,AI PC渗透率预计将达到64%,AI手机市场占有率将达到54%。从产业链发展的角度来说,这个上涨的速度无疑是令人瞩目的。

  在此基础上,吴大畏先生进一步从AI手机、AI PC、智能汽车、AI存储等场景出发,分享了他的深入见解和展望。

  面对AI智能手机挑战,重点是实现手机端侧AI应用的高效运行。手机端侧的AI应用对算力和DRAM提出了更加高的要求。鉴于DRAM在端侧成本中的高占比,若采用高算力GPU配合大容量DRAM,有几率会使成本显著上升。为解决这一问题,重点是将非挥发存储与DRAM、GPU、NPU、APU、TPU、CPU等组件进行有机结合,在成本与性能之间找到平衡点,并有望在未来实现手机端的增长训练。同时,这种结合方式还能最大限度地保护用户隐私,并确保系统能够实时响应用户的个性化需求。

  如若像苹果公司在其蓝图中所规划的那样,将AI智能手机演变为个人工作、生活小助理,则需解决在内存有限的情况下如何训练和应用大型模型的问题。这通常涉及将非挥发存储与内存进行组合使用,同时还有必要进行模型压缩、存储结构优化以及算法本身的优化。

  接着吴大畏先生探讨了AI PC端侧的存储需求。AI PC是具备全模态人机自然交互条件,承载最多场景的个人通用设备,是最强的个人计算平台,同时也是存储容量最大、最受信赖的安全终端。

  吴大畏先生分享了关于AI PC集成带推理能力SSD的看法,即近存计算应用。每个存储控制芯片内实际含大量算力,可为算力基础设施提供支撑。若生态得到优化,模型数据和计算不需内存重新加载,数据传输的性能将大幅度提高,功耗降低,对上层CPU算力要求也会降低。

  展望未来,手机和PC将包含增量训练和推理,存储需分层以控制成本。虽然全用SLC对系统和个人体验最佳,但价格高昂。产业界需解决提供最高性价比方案的问题,由此提出了存储介质分层方案。从当前来看,分层包括HBM、DIMM、CXL、SLC SSD、普通SSD、QLC SSD、机械硬盘等。未来,这些存储层次将更广泛地应用于家庭和个人场景。

  车端作为AI典型的应用场景,愈来愈多的矛盾点逐渐显现。一方面,在智能汽车内卷严重的今天,汽车BOM(物料清单)成本受到了严格限制;另一方面,汽车智能时代对存储设备的性能、及时性、可靠性、服务性QoS等要求极高,导致矛盾愈发凸显。某些应用初始版本功能单一、效率高,但随着功能不断增多,逐渐变慢且占用更多算力。车厂虽会在初始阶段为每个应用分配一定的CPU算力份额,但难以持续维持这种分配,关键应用的算力没办法得到保证。

  面对这一问题,吴大畏先生认为融合了CXL技术的存算一体、存算的极致分配与互联的解决方案将是破解之道。在嵌入式行业场景中,存算一体和近存计算将会得到首先应用。以数据库存储方案在车端AI的应用为例,如果车厂仅仅通过更换算力更高的CPU来处理问题,那将导致成本过高。因此,合理的方案在于怎么来实现紧致的算力分配,在存储端分担部分数据库算力,以优化CPU的算力分配。

  吴大畏先生的演讲不仅为存算技术发展提供了前沿的研究方向,还为行业带来了宝贵的思考和启示。在演讲尾声,吴大畏先生揭示了得一微电子对于手机、PC、汽车端等主流存储领域的未来布局。凭借最全面的存储控制产品线和IP组合,得一微电子正在加速推进UFS4.0、PCIe 5.0、CXL等前沿产品和技术的研发,将为更多行业和应用场景带来创新性的存储解决方案。

  得一微电子致力于成为存储控制、存算一体、存算互联领域技术领先的芯片设计企业,为消费级、企业级、工业级、车规级等市场的全场景应用提供贴身定制的解决方案和服务。通过不停地改进革新的技术,为中国新兴存储器在消费电子和AI端侧应用带来超高的性价比的解决方案,逐步推动存算技术的发展和进步,助力行业实现更多的创新和突破。