VGG作为流行的几个模型之一,训练图形数据效果不错，在mnist数据集是常用的入门集数据，VGG层数非常多，如果严格按照规范来实现，并用来训练mnist数据集，会出现各种问题，如，经过16层卷积后，28*28*1的图片几乎无法进行。
先介绍下VGG
ILSVRC 2014的第二名是Karen Simonyan和 Andrew Zisserman实现的卷积神经网络，现在称其为VGGNet。它主要的贡献是展示出网络的深度是算法优良性能的关键部分。
他们最好的网络包含了16个卷积/全连接层。网络的结构非常一致，从头到尾全部使用的是3x3的卷积和2x2的汇聚。他们的预训练模型是可以在网络上获得并在Caffe中使用的。
VGGNet不好的一点是它耗费更多计算资源，并且使用了更多的参数，导致更多的内存占用（140M）。其中绝大多数的参数都是来自于第一个全连接层。
模型结构：
本文在实现时候，尽量保存VGG原来模型结构，核心代码如下：
weights ={
'wc1':tf.Variable(tf.random_normal([3,3,1,64])),
'wc2':tf.Variable(tf.random_normal([3,3,64,64])),
'wc3':tf.Variable(tf.random_normal([3,3,64,128])),
'wc4':tf.Variable(tf.random_normal([3,3,128,128])),
'wc5':tf.Variable(tf.random_normal([3,3,128,256])),
'wc6':tf.Variable(tf.random_normal([3,3,256,256])),
'wc7':tf.Variable(tf.random_normal([3,3,256,256])),
'wc8':tf.Variable(tf.random_normal([3,3,256,256])),
'wc9':tf.Variable(tf.random_normal([3,3,256,512])),
'wc10':tf.Variable(tf.random_normal([3,3,512,512])),
'wc11':tf.Variable(tf.random_normal([3,3,512,512])),
'wc12':tf.Variable(tf.random_normal([3,3,512,512])),
'wc13':tf.Variable(tf.random_normal([3,3,512,512])),
'wc14':tf.Variable(tf.random_normal([3,3,512,512])),
'wc15':tf.Variable(tf.random_normal([3,3,512,512])),
'wc16':tf.Variable(tf.random_normal([3,3,512,256])),
'wd1':tf.Variable(tf.random_normal([4096,4096])),
'wd2':tf.Variable(tf.random_normal([4096,4096])),
'out':tf.Variable(tf.random_normal([4096,nn_classes])),
}
biases ={
'bc1':tf.Variable(tf.zeros([64])),
'bc2':tf.Variable(tf.zeros([64])),
'bc3':tf.Variable(tf.zeros([128])),
'bc4':tf.Variable(tf.zeros([128])),
'bc5':tf.Variable(tf.zeros([256])),
'bc6':tf.Variable(tf.zeros([256])),
'bc7':tf.Variable(tf.zeros([256])),
'bc8':tf.Variable(tf.zeros([256])),
'bc9':tf.Variable(tf.zeros([512])),
'bc10':tf.Variable(tf.zeros([512])),
'bc11':tf.Variable(tf.zeros([512])),
'bc12':tf.Variable(tf.zeros([512])),
'bc13':tf.Variable(tf.zeros([512])),
'bc14':tf.Variable(tf.zeros([512])),
'bc15':tf.Variable(tf.zeros([512])),
'bc16':tf.Variable(tf.zeros([256])),
'bd1':tf.Variable(tf.zeros([4096])),
'bd2':tf.Variable(tf.zeros([4096])),
'out':tf.Variable(tf.zeros([nn_classes])),
}
卷积实现：
def convLevel(i,input,type):
num = i
out = conv2D('conv'+str(num),input,weights['wc'+str(num)],biases['bc'+str(num)])
if type=='p':
out = maxPool2D('pool'+str(num),out, k=2)
out = norm('norm'+str(num),out, lsize=4)
return out
def VGG(x,weights,biases,dropout):
x = tf.reshape(x,shape=[-1,28,28,1])
input = x
for i in range(16):
i += 1
if(i==2) or (i==4) or (i==12) : # 根据模型定义还需要更多的POOL化，但mnist图片大小不允许。
input = convLevel(i,input,'p')
else:
input = convLevel(i,input,'c')
训练：
pred = VGG(x, weights, biases, keep_prob)
cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=pred,labels=y))
optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate).minimize(cost)
correct_pred = tf.equal(tf.argmax(pred,1), tf.argmax(y,1))
accuracy_ = tf.reduce_mean(tf.cast(correct_pred,tf.float32))
init = tf.global_variables_initializer()
with tf.Session() as sess:
sess.run(init)
step = 1
while step*batch_size < train_iters:
batch_x,batch_y = mnist.train.next_batch(batch_size)
sess.run(optimizer,feed_dict={x:batch_x,y:batch_y,keep_prob:dropout})
print(step*batch_size)
if step % display_step == 0 :
#loss,acc = sess.run([cost,accuracy],feed_dict={x:batch_x,y:batch_y,keep_prob=1.0})
acc = sess.run(accuracy_, feed_dict={x: batch_x, y: batch_y, keep_prob: 1.})
# 计算损失值
loss = sess.run(cost, feed_dict={x: batch_x, y: batch_y, keep_prob: 1.})
print("iter: "+str(step*batch_size)+"mini batch Loss="+"{:.6f}".format(loss)+",acc="+"{:6f}".format(acc))
step += 1
print("training end!")
最终效果：
训练10000次后：结果如下：
iter: 12288 mini batch Loss=5088409.500000,acc=0.578125
iter: 12800 mini batch Loss=4514274.000000,acc=0.601562
iter: 13312 mini batch Loss=4483454.500000,acc=0.648438
这种深度的模型可以考虑循环10万次以上。目前效果还不错，本人没有GPU，心痛笔记本的CPU，100%的CPU利用率，听到风扇响就不忍心再训练，本文也借鉴了alex网络实现，当然我也实现了这个网络模型。在MNIST数据上，ALEX由于层数较少，收敛更快，当然MNIST，用CNN足够了。
以上这篇使用tensorflow实现VGG网络,训练mnist数据集方式就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持。
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！ 如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
3月27日消息，苹果宣布2024年全球开发者大会（WWDC）将于6月10日至6月14日举行，巧合的是，这次大会与端午假期重合。
苹果官方表示：
在线参加 Apple 每年规模最大的开发者盛会。亲眼见证 Apple 最新平台、技术和工具的发布。了解如何创建和改进你的 App 和游戏。与 Apple 设计师和工程师互动交流，与全球开发者社区建立联系。以上活动均免费在线举行。
探索各种新的工具、框架和功能，助力你打造出理想的 App 和游戏。通过视频讲座学习新技能，与 Apple 专家进行一对一会面，以推进你的项目，完善你的构思。
Swift Student Challenge 旨在支持和鼓舞下一代开发者、创作者和企业家。太平洋时间 3 月 28 日，我们将公布今年的获奖者名单。获奖者将有资格参加在 Apple Park 举办的特别活动。我们还会选出 50 名杰出获胜者，他们将受邀前往库比提诺，获得为期三天的非凡体验，包括参加 Apple Park 的特别活动。
RTX 5090要首发 性能要翻倍！三星展示GDDR7显存
三星在GTC上展示了专为下一代游戏GPU设计的GDDR7内存。
首次推出的GDDR7内存模块密度为16GB，每个模块容量为2GB。其速度预设为32 Gbps（PAM3），但也可以降至28 Gbps，以提高产量和初始阶段的整体性能和成本效益。
据三星表示，GDDR7内存的能效将提高20%，同时工作电压仅为1.1V，低于标准的1.2V。通过采用更新的封装材料和优化的电路设计，使得在高速运行时的发热量降低，GDDR7的热阻比GDDR6降低了70%。