chaofan
0%

Posted on In

KEPLER 论文笔记

写在前面：因为hexo和typora的垃圾配合，以后的图片都上传到github图床，每篇文章单独写笔记。

Read more »

Posted on Edited on In

all reduce方法

先看代码：

1
2
3
4
5
def allreduce(data):
    for i in range(1, len(data)):
        data[0][:] += data[i].to(data[0].device)
    for i in range(1, len(data)):
        data[i][:] = data[0].to(data[i].device)

将所有向量相加，并将结果广播给所有GPU。请注意，我们需要将数据复制到累积结果的设备，才能使函数正常工作。

Read more »