得一微电子CEO吴大畏：存储芯片在AI端侧的创新应用

  日前，由中国科学院、中国工程院等多名院士领衔的第二届中国计算机学会芯片大会（CCF Chip 2024）在上海圆满落幕。作为国内存储控制芯片领域领军企业，得一微电子CEO吴大畏先生发表特邀报告《存储芯片在AI端侧设备的前沿应用与未来展望》，他和参加会议的专家一道，深入探讨AI终端部署的计算与功耗瓶颈，以及智能计算与新兴存储技术的融合，为存算技术发展提供前沿研究。

  在AI时代，尽管HBM在内存市场大行其道，但非挥发存储如eNVM和传统NAND Flash在AI时代正悄然变革，并在业界产生新的影响。吴大畏先生在演讲中，探讨了存储芯片和AI端侧设备未来应用的方向，这些方向虽不一定都会成为未来，但无疑具有引领市场的潜力，可能预示着真实的未来趋势。

  提及AI，必然涉及端侧AI的应用。吴大畏先生首先列举了AI在端侧应用的六大主要设备：AI智能手机、AI PC、智能物联网设备、智能汽车、健康监测设备和智能安防监控，并指出AI应用主要涵盖智能家居（消费领域）、人机一体化智能系统（工业领域）以及智慧城市（工业及更广泛的社会应用领域）三大核心场景。这些多样化的设备和场景组合共同构成了丰富多彩的AI应用场景。

  在吴大畏先生看来，未来AI应如空气般无处不在，深入每个使用环境，成为主动而非被动式存在。这在某种程度上预示着AI需落地端侧，实现润物细无声的存在，让用户每天如呼吸空气般感受不到其存在，却又无处不在。因此AI落地端侧，除了对算力的要求外，还需考虑数据安全、高性能与低延时、用户体量和黏度、优异的成本效益等。而端侧设备对AI也有需求，包括多模态信息的输入输出能力、本地决策能力和精准的个性化体验等，AI与端侧设备两者相互依存，相互发展。

  接着，吴大畏先生还深入探讨了非挥发存储与AI结合的多层次演进方式。他指出，非挥发存储自身的演进将追求更高性能、吞吐率、并发性、安全性和容量，以及针对AI应用的优化；此外，非挥发存储和计算系统的接口演进，在不同应用中也将呈现多样化发展路径。嵌入式存储如手机可能会沿UFS3.0、UFS4.0等路径升级。在PC领域则向PCIe Gen5、Gen6、Gen7发展，互联可能向CXL方向演进，并有望从企业级扩展到消费电子端侧。最后，存储互联和计算的整生态优化，最终达到性能提高、功耗降低、成本降低的目标。未来系统同时实现这三点，重点是优化算力、存力和数据传输的紧致分配。

  随着AI产业的发展，端侧设备在大多数情况下要承载更多增长训练，以及验证、推理等后续工作，端侧将逐渐支持相关生态和应用的发展。根据微软和摩根士丹利等机构的预测，到2024年底，AI PC销售量有望达到5000万台，占PC市场的20%左右；全球新一代AI手机出货量将达1.7亿部，占智能手机出货量的15%左右。到2028年，AI PC渗透率预计将达到64%，AI手机市场占有率将达到54%。从产业链发展的角度来说，这个上涨的速度无疑是令人瞩目的。

  在此基础上，吴大畏先生进一步从AI手机、AI PC、智能汽车、AI存储等场景出发，分享了他的深入见解和展望。

  面对AI智能手机挑战，重点是实现手机端侧AI应用的高效运行。手机端侧的AI应用对算力和DRAM提出了更加高的要求。鉴于DRAM在端侧成本中的高占比，若采用高算力GPU配合大容量DRAM，有几率会使成本显著上升。为解决这一问题，重点是将非挥发存储与DRAM、GPU、NPU、APU、TPU、CPU等组件进行有机结合，在成本与性能之间找到平衡点，并有望在未来实现手机端的增长训练。同时，这种结合方式还能最大限度地保护用户隐私，并确保系统能够实时响应用户的个性化需求。

  如若像苹果公司在其蓝图中所规划的那样，将AI智能手机演变为个人工作、生活小助理，则需解决在内存有限的情况下如何训练和应用大型模型的问题。这通常涉及将非挥发存储与内存进行组合使用，同时还有必要进行模型压缩、存储结构优化以及算法本身的优化。

  接着吴大畏先生探讨了AI PC端侧的存储需求。AI PC是具备全模态人机自然交互条件，承载最多场景的个人通用设备，是最强的个人计算平台，同时也是存储容量最大、最受信赖的安全终端。

  吴大畏先生分享了关于AI PC集成带推理能力SSD的看法，即近存计算应用。每个存储控制芯片内实际含大量算力，可为算力基础设施提供支撑。若生态得到优化，模型数据和计算不需内存重新加载，数据传输的性能将大幅度提高，功耗降低，对上层CPU算力要求也会降低。

  展望未来，手机和PC将包含增量训练和推理，存储需分层以控制成本。虽然全用SLC对系统和个人体验最佳，但价格高昂。产业界需解决提供最高性价比方案的问题，由此提出了存储介质分层方案。从当前来看，分层包括HBM、DIMM、CXL、SLC SSD、普通SSD、QLC SSD、机械硬盘等。未来，这些存储层次将更广泛地应用于家庭和个人场景。

  车端作为AI典型的应用场景，愈来愈多的矛盾点逐渐显现。一方面，在智能汽车内卷严重的今天，汽车BOM（物料清单）成本受到了严格限制；另一方面，汽车智能时代对存储设备的性能、及时性、可靠性、服务性QoS等要求极高，导致矛盾愈发凸显。某些应用初始版本功能单一、效率高，但随着功能不断增多，逐渐变慢且占用更多算力。车厂虽会在初始阶段为每个应用分配一定的CPU算力份额，但难以持续维持这种分配，关键应用的算力没办法得到保证。

  面对这一问题，吴大畏先生认为融合了CXL技术的存算一体、存算的极致分配与互联的解决方案将是破解之道。在嵌入式行业场景中，存算一体和近存计算将会得到首先应用。以数据库存储方案在车端AI的应用为例，如果车厂仅仅通过更换算力更高的CPU来处理问题，那将导致成本过高。因此，合理的方案在于怎么来实现紧致的算力分配，在存储端分担部分数据库算力，以优化CPU的算力分配。

  吴大畏先生的演讲不仅为存算技术发展提供了前沿的研究方向，还为行业带来了宝贵的思考和启示。在演讲尾声，吴大畏先生揭示了得一微电子对于手机、PC、汽车端等主流存储领域的未来布局。凭借最全面的存储控制产品线和IP组合，得一微电子正在加速推进UFS4.0、PCIe 5.0、CXL等前沿产品和技术的研发，将为更多行业和应用场景带来创新性的存储解决方案。

  得一微电子致力于成为存储控制、存算一体、存算互联领域技术领先的芯片设计企业，为消费级、企业级、工业级、车规级等市场的全场景应用提供贴身定制的解决方案和服务。通过不停地改进革新的技术，为中国新兴存储器在消费电子和AI端侧应用带来超高的性价比的解决方案，逐步推动存算技术的发展和进步，助力行业实现更多的创新和突破。