【NLP_向量表示】使用Word2Vec训练词向量
发布日期:2021-06-29 02:15:44
浏览次数:3
分类:技术文章
本文共 2180 字,大约阅读时间需要 7 分钟。
重要参考
完整代码
import jieba.analyseimport codecs#以写的方式打开原始的简体中文语料库f=codecs.open('D:\Asian elephant\\biye\Spatial relation extraction\Train word vectors yourself\yuliao.txt','r',encoding="utf8")#将分完词的语料写入到wiki_jian_zh_seg-189.5.txt文件中target = codecs.open("D:\Asian elephant\\biye\Spatial relation extraction\Train word vectors yourself\yuliao_fencihou.txt.txt", 'w',encoding="utf8")print('open files')line_num=1line = f.readline()#循环遍历每一行,并对这一行进行分词操作#如果下一行没有内容的话,就会readline会返回-1,则while -1就会跳出循环while line: print('---- processing ', line_num, ' article----------------') line_seg = " ".join(jieba.cut(line)) target.writelines(line_seg) line_num = line_num + 1 line = f.readline()import loggingimport os.pathimport sysimport multiprocessingfrom gensim.models import Word2Vecfrom gensim.models.word2vec import LineSentence#程序的入口#1.如果当前脚本文件做模块供其他程序使用的话,不会执行if __name__ == '__main__':中的内容#2.如果直接执行当前的额脚本文件的话,执行if __name__ == '__main__':中的内容#1.os.path.basename('g://tf/code') ==>code#2.sys.argv[0]获取的是脚本文件的文件名称program = os.path.basename(sys.argv[0])#指定name,返回一个名称为name的Logger实例logger = logging.getLogger(program) #1.format: 指定输出的格式和内容,format可以输出很多有用信息, #%(asctime)s: 打印日志的时间 #%(levelname)s: 打印日志级别名称 #%(message)s: 打印日志信息logging.basicConfig(format='%(asctime)s: %(levelname)s: %(message)s')logging.root.setLevel(level=logging.INFO) #打印这是一个通知日志logger.info("running %s" % ' '.join(sys.argv)) # check and process input arguments #inp:分好词的文本 #outp1:训练好的模型 #outp2:得到的词向量inp, outp1, outp2 = [ "yuliao_fencihou.txt.txt", "model_name.model", "word2vec.vector"]''' LineSentence(inp):格式简单:一句话=一行; 单词已经过预处理并被空格分隔。 size:是每个词的向量维度; window:是词向量训练时的上下文扫描窗口大小,窗口为5就是考虑前5个词和后5个词; min-count:设置最低频率,默认是5,如果一个词语在文档中出现的次数小于5,那么就会丢弃; workers:是训练的进程数(需要更精准的解释,请指正),默认是当前运行机器的处理器核数。这些参数先记住就可以了。 sg ({0, 1}, optional) – 模型的训练算法: 1: skip-gram; 0: CBOW alpha (float, optional) – 初始学习率 iter (int, optional) – 迭代次数,默认为5'''model = Word2Vec(LineSentence(inp), size=100, window=5, min_count=0, sg=1,workers=multiprocessing.cpu_count())model.save(outp1) #不以C语言可以解析的形式存储词向量model.wv.save_word2vec_format(outp2, binary=False)
训练结果
分词结果(不佳)
向量结果
转载地址:https://blog.csdn.net/YWP_2016/article/details/115281006 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!
发表评论
最新留言
初次前来,多多关照!
[***.217.46.12]2024年04月27日 00时52分42秒
关于作者
喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
jdk1.8新特性 lambda Optional 备忘记录
2019-04-29
Goland-golang:could not launch process: decoding dwarf section info at offset 0x0: too short
2019-04-29
个人第一个go样例,gin+gorm
2019-04-29
go-redis,最简单的增删改查还有json
2019-04-29
go get失败解决方案,推荐解决方案
2019-04-29
Mac上UltraEdit v18.00.0.22 分享
2019-04-29
go转换json,并且打印报文
2019-04-29
go中gorm和pg的common数据库配置
2019-04-29
go中gin框架支持的简单上传下载读取csv等文件
2019-04-29
go 闭包
2019-04-29
go 捕获处理error
2019-04-29
Input dispatching timed out 导致anr问题分析
2019-04-29
主线程中Thread.Sleep()是否会导致ANR
2019-04-29
Android 为什么主线程的looper 一直循环不会ANR
2019-04-29
Android View 的绘制流程
2019-04-29
ContentProvider和数据库的区别
2019-04-29
Android四大组件——ContentProvider的增删改查和优化
2019-04-29