
在OpenNMT中使用Transformer模型(没有完全解决)
发布日期:2021-05-14 17:06:11
浏览次数:36
分类:精选文章
本文共 475 字,大约阅读时间需要 1 分钟。
在使用OpenNMT进行实验评估时,我尝试了Seq2Seq model的性能,但发现其表现不及PyTorch的最简单实现,这让我感到有些困惑。通过网上的搜索,我发现这并不是一个孤立的现象,其他开发者也提到了类似的问题。然而,OpenNMT的开发团队表示,他们已经实现了当前的最先进的Transformer模型,所以这一问题不再需要高度关注。如果这点让我有些失望,那就只能接受了。
因此,我开始尝试使用Transformer模型。根据官方文档,我调整了一些超参数来复现论文的结果。为了方便我以CPU运行,删除了与GPU相关的参数。不过,在实际运行过程中,程序在没有GPU支持时突然停止了,这让我感到有些意外。看来我还需要更加仔细地测试和优化代码。这个过程提醒我,开源项目的开发细节确实需要格外谨慎。
通过这次实验,我对OpenNMT项目的理解有了更加深入的认识,也体会到了开源项目开发的挑战性。虽然遇到了一些问题,但上述经历也让我对Transformer模型的强大能力有了更加的信心。下一步,我会继续优化代码,尽量在没有GPU资源的情况下完成更多实验。
发表评论
最新留言
第一次来,支持一个
[***.219.124.196]2025年04月21日 06时21分07秒
关于作者

喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
7、回归和特征选择
2019-03-11
pycharm使用(新建工程、字体修改、调试)
2019-03-11
什么是Numpy、Numpy教程
2019-03-11
Python学习笔记——元组
2019-03-11
异常声音检测
2019-03-11
numpy版本问题
2019-03-11
无法打开文件“opencv_world330d.lib”的解决办法
2019-03-11
maven项目通过Eclipse上传到svn上面,再导入到本地出现指定的类找不到的问题
2019-03-11
maven 项目部署到tomcat下 没有class文件
2019-03-11
算法训练 未名湖边的烦恼(递归,递推)
2019-03-11
算法训练 完数(循环,数学知识)
2019-03-11
什么是接口
2019-03-11
2020版nodejs12.18.3安装配置教程
2019-03-11
iview组件库中,Form组件里的Input,无法正确绑定on-enter事件
2019-03-11
记录-基于springboot+vue.js实现的超大文件分片极速上传及流式下载
2019-03-11
JavaScript高级程序设计第四版学习记录-第九章代理与反射
2019-03-11
怎么解决Windows 10文件/文件夹正在使用无法删除
2019-03-11