【NLP_模型超参数浅析】global_step
发布日期:2021-06-29 02:15:45
浏览次数:3
分类:技术文章
本文共 758 字,大约阅读时间需要 2 分钟。
2021/3/28:本人对global_step理解甚浅,以下内容仅是我发现问题、进行相关搜索后的小记录,可能存在错误之处,还请大神指正。
问题的由来
中,所用模型的的迭代次数似乎不可控(详见train.py)。
尝试搜索包含epoch, step, num等的关键词,加以修改,迭代次数均无变化,得到的只有一些报错信息。
随后,与计算机专业同学交流后,发现可能是因为包含“global_step”。
浅析global_step
可能正如所说(),global_step是不可自定义的,它只能算作一个自动加一的迭代计数器。
global_step记录的是train阶段每一步的索引,或者说是训练迭代的计数器,比如说在最后画loss和 accuracy的横坐标即是global_step
而其数值动态调整,可能是由衰减率等参数决定的()。
2021/3/29:新发现
就中的模型代码(train.py)而言,迭代次数可控。
关注代码中出现的for循环,这很可能决定了迭代次数。打印,查看其循环次数信息。
print("len(word_batch)",len(word_batch)) #50for i in range(len(word_batch)): ……
将下列for循环的循环次数自定义为50,即有50次迭代训练。
print("settings.num_epochs",settings.num_epochs) #10——此即当前迭代次数!for one_epoch in range(settings.num_epochs): ……
转载地址:https://blog.csdn.net/YWP_2016/article/details/115292617 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!
发表评论
最新留言
很好
[***.229.124.182]2024年04月07日 09时18分14秒
关于作者
喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
程序员为什么非得参加一场编程竞赛?
2019-04-29
V 语言强势登顶 GitHub TOP1,欲取 Go 而代之?
2019-04-29
关于RocketMQ消息拉取与重平衡的一些问题探讨
2019-04-29
不同业务场景下如何进行数据库水平切分?
2019-04-29
如何准备算法工程师面试,斩获一线互联网公司机器学习岗offer?
2019-04-29
循环、递归与魔术(一)——递归与循环的数理逻辑
2019-04-29
1030MD
2019-04-29
发布文章---状态--恢复
2019-04-29
保存测试
2019-04-29
新发布文章000
2019-04-29
欢迎使用CSDN-markdown编辑器asdasd
2019-04-29
陈述事实
2019-04-29
wap md 插入图片
2019-04-29
代码片
2019-04-29
图片测试
2019-04-29
5G 正式商用,开启互联网的下半场?
2019-04-29
如何使用 kubeadm 安装 Kubernetes?
2019-04-29
开源技术、开放使用、业务导向的大数据平台,助力银行数字化转型
2019-04-29
【Camera专题】Sprd-深入浅出Camera驱动框架1(HAL层-Kernel层)
2019-04-29