蔚锐科技申请用于神经网络模型的数据处理专利，提高注意力计算速度

金融界2024年12月24日消息，国家知识产权局信息显示，蔚锐科技（深圳）有限公司申请一项名为“用于神经网络模型的数据处理方法、服务器、设备及介质”的专利，公开号CN 119167991 A ，申请日期为 2024 年 11 月。

专利摘要显示，本申请涉及人工智能技术领域，具体提供一种用于神经网络模型的数据处理方法、服务器、设备及介质，旨在解决如何基于移动设备的CPU对神经网络模型进行注意力计算的问题。本申请提供的方法包括根据神经网络模型的模型文件获取第一计算图，第一计算图用于描述神经网络模型的所有算子以及各算子之间的连接关系；获取第一计算图中的多个目标算子，多个目标算子为用于Transformer模块进行注意力计算的多个算子对多个目标算子对应的计算操作进行融合，以形成一个融合算子，融合算子用于移动设备的CPU执行计算操作；将多个目标算子替换为融合算子得到第二计算图。通过上述方法可以基于CPU执行融合算子对应的计算操作，提高注意力计算的速度，从而提高模型推理速度。

本文源自：金融界

作者：情报员