Tensor有不同的数据类型,每种类型分别有对应CPU和GPU版本(HalfTensor除外)。默认的Tensor是FloatTensor,可通过torch.set_default_tensor_type修改默认tensor类型(如果默认类型为GPU tensor,则所有操作都将在GPU上进行)。
Tensor的类型对分析内存占用很有帮助,例如,一个size为(1000,1000,1000)的FloatTensor,它有1000*1000*1000=10^9个元素,每一个元素占用32bit/8=4Byte内存,所以共占用大约4GB内存/显存。HalfTensor是专为GPU版本设计的,同样的元素个数,显存占用只有HalfTensor的一半,所以可以极大缓解GPU显存不足的问题,但是由于HalfTensor所能表示的数值大小和精度有限,所以可能出现溢出等问题。
数据类型 CPU Tensor GPU Tensor 32 bit 浮点 torch.FloatTensor torch.cuda.FloatTensor 64 bit 浮点 torch.DoubleTensor torch.cuda.DoubleTensor 16 bit 半精度浮点 N/A torch.cuda.HalfTensor 8 bit 无符号整形(0~255) torch.ByteTensor torch.cuda.ByteTensor 8 bit 有符号整形(-128~127) torch.CharTensor torch.cuda.CharTensor 16 bit 有符号整形 torch.ShortTensor torch.cuda.ShortTensor 32 bit 有符号整形 torch.IntTensor torch.cuda.IntTensor 64 bit 有符号整形 torch.LongTensor torch.cuda LongTensor各数据类型之间可以互相转换,type(new_type)是通用的做法,同时还有float、long、half等快捷方法。CPU tensor和GPU tensor之间的互换是通过tensor.cuda和tensor.cpu的方法实现。
如:
#设置默认tensor,注意参数是字符串 torch.set_default_tensor_type('torch.IntTensor') a=torch.Tensor(2,3) print(a) #a现在是IntTensor
以上这篇pytorch常见的Tensor类型详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
pytorch,Tensor类型
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件! 如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
RTX 5090要首发 性能要翻倍!三星展示GDDR7显存
三星在GTC上展示了专为下一代游戏GPU设计的GDDR7内存。
首次推出的GDDR7内存模块密度为16GB,每个模块容量为2GB。其速度预设为32 Gbps(PAM3),但也可以降至28 Gbps,以提高产量和初始阶段的整体性能和成本效益。
据三星表示,GDDR7内存的能效将提高20%,同时工作电压仅为1.1V,低于标准的1.2V。通过采用更新的封装材料和优化的电路设计,使得在高速运行时的发热量降低,GDDR7的热阻比GDDR6降低了70%。