其实各大深度学习框架背后的原理都可以理解为拟合一个参数数量特别庞大的函数，所以各框架都能用来拟合任意函数，Pytorch也能。
在这篇博客中，就以拟合y = ax + b为例（a和b为需要拟合的参数），说明在Pytorch中如何拟合一个函数。
一、定义拟合网络
1、观察普通的神经网络的优化流程
# 定义网络 net = ... # 定义优化器 optimizer = torch.optim.Adam(net.parameters(), lr=0.001, weight_decay=0.0005) # 定义损失函数 loss_op = torch.nn.MSELoss(reduction='sum') # 优化 for step, (inputs, tag) in enumerate(dataset_loader): # 向前传播 outputs = net(inputs) # 计算损失 loss = loss_op(tag, outputs) # 清空梯度 optimizer.zero_grad() # 向后传播 loss.backward() # 更新梯度 optimizer.step()
上面的代码就是一般情况下的流程。为了能使用Pytorch内置的优化器，所以我们需要定义一个一个网络，实现函数parameters（返回需要优化的参数）和forward（向前传播）；为了能支持GPU优化，还需要实现cuda和cpu两个函数，把参数从内存复制到GPU上和从GPU复制回内存。
基于以上要求，网络的定义就类似于：
class Net:
def __init__(self):
# 在这里定义要求的参数
pass
def cuda(self):
# 传输参数到GPU
pass
def cpu(self):
# 把参数传输回内存
pass
def forward(self, inputs):
# 实现向前传播，就是根据输入inputs计算一遍输出
pass
def parameters(self):
# 返回参数
pass
在拟合数据量很大时，还可以使用GPU来加速；如果没有英伟达显卡，则可以不实现cuda和cpu这两个函数。
2、初始化网络
回顾本文目的，拟合： y = ax + b, 所以在__init__函数中就需要定义a和b两个参数，另外为了实现parameters、cpu和cuda，还需要定义属性__parameters和__gpu：
def __init__(self):
# y = a*x + b
self.a = torch.rand(1, requires_grad=True) # 参数a
self.b = torch.rand(1, requires_grad=True) # 参数b
self.__parameters = dict(a=self.a, b=self.b) # 参数字典
self.___gpu = False # 是否使用gpu来拟合
要拟合的参数，不能初始化为0！ ，一般使用随机值即可。还需要把requires_grad参数设置为True，这是为了支持向后传播。
3、实现向前传播
def forward(self, inputs):
return self.a * inputs + self.b
非常的简单，就是根据输入inputs计算一遍输出，在本例中，就是计算一下 y = ax + b。计算完了要记得返回计算的结果。
4、把参数传送到GPU
为了支持GPU来加速拟合，需要把参数传输到GPU，且需要更新参数字典__parameters：
def cuda(self):
if not self.___gpu:
self.a = self.a.cuda().detach().requires_grad_(True) # 把a传输到gpu
self.b = self.b.cuda().detach().requires_grad_(True) # 把b传输到gpu
self.__parameters = dict(a=self.a, b=self.b) # 更新参数
self.___gpu = True # 更新标志，表示参数已经传输到gpu了
# 返回self，以支持链式调用
return self
参数a和b，都是先调用detach再调用requires_grad_，是为了避免错误raise ValueError("can't optimize a non-leaf Tensor")（参考：ValueError: can't optimize a non-leaf Tensor"htmlcode">
def cpu(self):
if self.___gpu:
self.a = self.a.cpu().detach().requires_grad_(True)
self.b = self.b.cpu().detach().requires_grad_(True)
self.__parameters = dict(a=self.a, b=self.b)
self.___gpu = False
return self
5、返回网络参数
为了能使用Pytorch内置的优化器，就要实现parameters函数，观察Pytorch里面的实现：
def parameters(self, recurse=True):
r"""...
"""
for name, param in self.named_parameters(recurse=recurse):
yield param
实际上就是使用yield返回网络的所有参数，因此本例中的实现如下：
def parameters(self):
for name, param in self.__parameters.items():
yield param
完整的实现将会放在后面。
二、测试
1、生成测试数据
def main(): # 生成虚假数据 x = np.linspace(1, 50, 50) # 系数a、b a = 2 b = 1 # 生成y y = a * x + b # 转换为Tensor x = torch.from_numpy(x.astype(np.float32)) y = torch.from_numpy(y.astype(np.float32))
2、定义网络
# 定义网络 net = Net() # 定义优化器 optimizer = torch.optim.Adam(net.parameters(), lr=0.001, weight_decay=0.0005) # 定义损失函数 loss_op = torch.nn.MSELoss(reduction='sum')
3、把数据传输到GPU（可选）
# 传输到GPU
if torch.cuda.is_available():
x = x.cuda()
y = y.cuda()
net = net.cuda()
4、定义优化器和损失函数
如果要使用GPU加速，优化器必须要在网络的参数传输到GPU之后在定义，否则优化器里的参数还是内存里的那些参数，传到GPU里面的参数不能被更新。 可以根据代码来理解这句话。
# 定义优化器 optimizer = torch.optim.Adam(net.parameters(), lr=0.001, weight_decay=0.0005) # 定义损失函数 loss_op = torch.nn.MSELoss(reduction='sum')
5、拟合（也是优化）
# 最多优化20001次
for i in range(1, 20001, 1):
# 向前传播
out = net.forward(x)
# 计算损失
loss = loss_op(y, out)
# 清空梯度（非常重要）
optimizer.zero_grad()
# 向后传播，计算梯度
loss.backward()
# 更新参数
optimizer.step()
# 得到损失的numpy值
loss_numpy = loss.cpu().detach().numpy()
if i % 1000 == 0: # 每1000次打印一下损失
print(i, loss_numpy)
if loss_numpy < 0.00001: # 如果损失小于0.00001
# 打印参数
a = net.a.cpu().detach().numpy()
b = net.b.cpu().detach().numpy()
print(a, b)
# 退出
exit()
6、完整示例代码
# coding=utf-8
from __future__ import absolute_import, division, print_function
import torch
import numpy as np
class Net:
def __init__(self):
# y = a*x + b
self.a = torch.rand(1, requires_grad=True) # 参数a
self.b = torch.rand(1, requires_grad=True) # 参数b
self.__parameters = dict(a=self.a, b=self.b) # 参数字典
self.___gpu = False # 是否使用gpu来拟合
def cuda(self):
if not self.___gpu:
self.a = self.a.cuda().detach().requires_grad_(True) # 把a传输到gpu
self.b = self.b.cuda().detach().requires_grad_(True) # 把b传输到gpu
self.__parameters = dict(a=self.a, b=self.b) # 更新参数
self.___gpu = True # 更新标志，表示参数已经传输到gpu了
# 返回self，以支持链式调用
return self
def cpu(self):
if self.___gpu:
self.a = self.a.cpu().detach().requires_grad_(True)
self.b = self.b.cpu().detach().requires_grad_(True)
self.__parameters = dict(a=self.a, b=self.b) # 更新参数
self.___gpu = False
return self
def forward(self, inputs):
return self.a * inputs + self.b
def parameters(self):
for name, param in self.__parameters.items():
yield param
def main():
# 生成虚假数据
x = np.linspace(1, 50, 50)
# 系数a、b
a = 2
b = 1
# 生成y
y = a * x + b
# 转换为Tensor
x = torch.from_numpy(x.astype(np.float32))
y = torch.from_numpy(y.astype(np.float32))
# 定义网络
net = Net()
# 传输到GPU
if torch.cuda.is_available():
x = x.cuda()
y = y.cuda()
net = net.cuda()
# 定义优化器
optimizer = torch.optim.Adam(net.parameters(), lr=0.001, weight_decay=0.0005)
# 定义损失函数
loss_op = torch.nn.MSELoss(reduction='sum')
# 最多优化20001次
for i in range(1, 20001, 1):
# 向前传播
out = net.forward(x)
# 计算损失
loss = loss_op(y, out)
# 清空梯度（非常重要）
optimizer.zero_grad()
# 向后传播，计算梯度
loss.backward()
# 更新参数
optimizer.step()
# 得到损失的numpy值
loss_numpy = loss.cpu().detach().numpy()
if i % 1000 == 0: # 每1000次打印一下损失
print(i, loss_numpy)
if loss_numpy < 0.00001: # 如果损失小于0.00001
# 打印参数
a = net.a.cpu().detach().numpy()
b = net.b.cpu().detach().numpy()
print(a, b)
# 退出
exit()
if __name__ == '__main__':
main()
以上这篇使用Pytorch来拟合函数方式就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持。
Pytorch,拟合,函数
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！ 如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
3月27日消息，苹果宣布2024年全球开发者大会（WWDC）将于6月10日至6月14日举行，巧合的是，这次大会与端午假期重合。
苹果官方表示：
在线参加 Apple 每年规模最大的开发者盛会。亲眼见证 Apple 最新平台、技术和工具的发布。了解如何创建和改进你的 App 和游戏。与 Apple 设计师和工程师互动交流，与全球开发者社区建立联系。以上活动均免费在线举行。
探索各种新的工具、框架和功能，助力你打造出理想的 App 和游戏。通过视频讲座学习新技能，与 Apple 专家进行一对一会面，以推进你的项目，完善你的构思。
Swift Student Challenge 旨在支持和鼓舞下一代开发者、创作者和企业家。太平洋时间 3 月 28 日，我们将公布今年的获奖者名单。获奖者将有资格参加在 Apple Park 举办的特别活动。我们还会选出 50 名杰出获胜者，他们将受邀前往库比提诺，获得为期三天的非凡体验，包括参加 Apple Park 的特别活动。
RTX 5090要首发 性能要翻倍！三星展示GDDR7显存
三星在GTC上展示了专为下一代游戏GPU设计的GDDR7内存。
首次推出的GDDR7内存模块密度为16GB，每个模块容量为2GB。其速度预设为32 Gbps（PAM3），但也可以降至28 Gbps，以提高产量和初始阶段的整体性能和成本效益。
据三星表示，GDDR7内存的能效将提高20%，同时工作电压仅为1.1V，低于标准的1.2V。通过采用更新的封装材料和优化的电路设计，使得在高速运行时的发热量降低，GDDR7的热阻比GDDR6降低了70%。