太初电子申请异构众核架构下进行异步深度学习推理专利，能够高效实现相关数据拷贝和推理计算

金融界2024 年 9 月 30 日消息，国家知识产权局信息显示，太初（无锡）电子科技有限公司申请一项名为“一种异构众核架构下进行异步深度学习推理方法及系统”的专利，公开号 CN 118709778 A，申请日期为 2024 年 6 月。

专利摘要显示，本申请涉及一种异构众核架构下进行异步深度学习推理方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：定义异步获取接口和推理结果接口；调用异步获取接口将主机端的数据发送至预设的推理框架并获取对应的句柄结果；基于所述句柄结果调用推理结果接口获取推理框架对应的推理结果。采用本方法通过提出一套用户接口，可以让用户方便地在异构众核上进行异步深度学习推理，并提出一种实现方式，能够高效实现将数据从 Host 端的内存拷贝到 Device 端的内存上，异构设备上进行计算，设备进行推理计算，再将结果拷贝回 Host 端的内存的异步进行，同时，能够在用户无感，性能无损的情况下将数据切分到众核架构的各个核上。

本文源自：金融界

作者：情报员