华为公开AI模型新专利,能够减少处理延时


(原标题:华为公开AI模型新专利,能够减少处理延时)
企查查APP显示,9月5日,华为技术有限公司"AI模型的运行方法、装置、程序产品和存储介质"专利公布。摘要显示,该专利应用于主机,主机包括处理器,并连接计算卡,包括:处理器确定AI模型相邻的两组输入数据中在第二数据组中但不在第一数据组中的第一数据,第二数据组在第一数据组之后训练,将第一数据对应的第一嵌入向量预取至处理器的第一内存,并确定第一数据对应的第一嵌入向量信息,在第二数据组在计算卡上处理过程中,根据第一嵌入向量信息将第一嵌入向量从第一内存预取至计算卡的第二内存。采用该专利所示的方案,能够减少嵌入向量搬运带来的处理延时。


版权声明
本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。
本文地址:http://cpqg.com/html/qiche/xinnenyuan/227104.html