华拓科技网

全部频道

您的当前位置：首页哪种并行策略的显存效率最高

哪种并行策略的显存效率最高

来源：华拓科技网


模型并行策略的显存效率最高。模型并行是包含范围很广的一类技术。会在多个worker之间划分模型的各个层。就其本质而言，模型并行性的计算和通信因模型结构而异，因此在实现上有很大的工作量。模型并行会根据worker数量成比例地减少显存使用量，也是这三种并行度中显存效率最高的，但是其代价是计算效率最低。显存，也被叫做帧缓存，作用是用来存储显卡芯片处理过或者即将提取的渲染数据。如同计算机的内存一样，显存是用来存储要处理的图形信息的部件。
显示全文