性训练诗词天生模子(GPT2一点心得

前段时间去学习NPL一些模型，性训练了一个一首古诗天生模子作为训练。记载一些去学习进程中的一些想法。电脑上建了一个用于测试的网页，但条件有限，不确认能运行多久。

一、诗词比照其它体裁

诗词天生成绩要比散文、小说天生复杂。最主要的缘由是普通诗词篇幅比拟短。现在ML模子还做不到特殊长的影象力。
现在，也可以测试到文章天生才能最强的GPT3模子。OpenA I网站上试用了一下这个模型，天作文题材生那些文字时也会常常写着写着就跑题了
小说将会是最难生成的体裁，由于篇幅太长。一段新生成的其他内容要考虑是不是跟之前的几十万字其他内容都没有冲突，更有甚者需求部分设计一个伏笔，几十万字后再去填坑。这个庞大度太高了
以是做练习，普通也都市选用一首古诗，歌词这类题材。团体不喜欢一首古诗，厌恶大多数的古代诗，以是可以选择一首古诗做测试。但是真正思索到实践消费需求，一首古诗却是最缺少市场消费需求的

也想到一些会有实用的那些文字天生产物，有些单元公司会活期要员工写学习心得，头脑总结之类的文章。这些个空洞无趣的文章关于某些人来说是十分头疼的但却比拟合适无机器生成。可是占时还没法做类似的试验，也没渠道取得足够多的性训练数据。

二、模子可以选择

写诗跟许多其它NPL义务相似，阅历了基于基本规则、基于统计到现在次要基于预训练模型的进程。

基于基本规则和基于统计的模子发生出的诗文根本上一看就不是人写的只能把一些符合规则的高频词凑在一同，但经常是导言不搭后语。即便是厥后运用复杂的LSTMseq2seq等模子也不太很容易天生行文自然而然的诗句。真正好效果好的模子都是前段时间两年在超大模子比方BERTGPT等根底上构架的github上看到一些例子，好效果真的很好，作为文科生，曾经辨别不出某些诗句是AI还是真人写的

模子一定是越大的模子好效果越好，但是越大的模子性训练越费时费钱。
此外一个考虑的要素是有的预性训练模子也可以直接把做文本生成，有的还需要在附加一些神经互联网层才可以。用了GPT2小型模子做练习，这个模子写大文章能够差点，但应对诗词还可以；并且GPT2也可以直接把天生那些文字，用起来很方便。未来我有时候间的时分会再试一下其它一些比较常用的模子，比拟一下它差异。
GPT2某些状况下，能够还是太费钱了一些。性训练一个GPT2模子普通最多两三天吧，就算用GPU只租两天也不算是太贵。可是要临时公布就麻烦了这个GPT2模子假如只使用CPU做预测，当下市场主流电脑做一个展望需求十秒钟以上，有点太长了运用GPU速率也可以快一百倍左右，但价钱瀑布题材可就高得多了现在租一个云服务器，只用CPU话，第一年只需要￥70大约；租一个带GPU需求￥7000每一年，价钱贵了一百倍啊。可舍不得，究竟只是玩玩，没什么收益的

三、性训练集选取

整体项目中里，重新整理性训练集是最费时间和精力的任务。关于少数机械去学习项目中，都是性训练集越大效果越好，但是做诗词天生也学并不是昔人创作过无数的诗词，能广为流传的极端多数的一部分。也就是说，可以重新整理出的诗词大多数其实写的并不好，假如让电脑跟它学，生怕也学不了多好。实现理想状况是只搜集那些高水平的诗词。此外，太多的性训练数据会鼓励算法运用一些不太常用的字词来作诗。这些词语假如使用不妥，就十分影响作品可读性。反之，风月、云雨、自然山水等高频词，不论怎样搭配，读起来都不至于太别扭。

固然小数据集也有缺点，只会掩盖局部主题。试验有了绝对较小的数据集，次要包括了千家诗》唐诗三百小说题材首》和其它一些我团体比拟不喜欢的诗词。性训练好的模子关于处置风花雪月这类常见题材是也可以发生出相对不错的后果，但是假如让它写个没训练过的其他内容，比方有关建立古代化等的题材，就没办法生成的很好了

四、造成的损失函数

偷懒，运用了默许的造成的损失函数，也就是说，性训练时也没可以添加额定基本规则。但实践上这样的会影响模型的好效果。一些规则，模子是很难自己学习到特别是数据集也不够大的状况。比方，押韵、用词要丰厚多彩等一些规则，模子本人意会不到
经过挑选出性训练集，也可以补偿一部分不足，比方比方只管防止有重复词的诗句，以方便模型更快的完全掌握这个纪律。

五、性训练工夫

看别人的经历，性训练工夫在运用GPU状况下普通一两天。这与模子巨细和数据集有关。实验的模子和数据集都不算太大，用GPU一两个小时好效果就已经不错了此时候，模子还会时不时发生一些莫名其妙的后果。添加性短片题材训练工夫，也可以让模子发生更规范的后果，但同时，也会减弱预训练数据的起到。团体觉得，固然此时候模型的输入增加了分明错误的，但也同时减少了冷艳的诗句。能够模子也跟人一样，要有创造力、要天马行空才干写出神句来。去学习的太多，反而影响发明力。
也试了一下只使用CPU做训练，比使用GPU要慢一两个数量级。

六、天生后果

团体纯理工背景，文采斐然很差，关于诗词的好赖，只能大体一评。

以为顺序天生的诗词根本还行吧，固然也有一些不足。先是天生的诗完完全全也没思索押韵。其次是天生的诗不是每一国都让人称心的固然也可能我程度太差，看不懂模子天生那些文字的深意。不外以我水准来评判，顺序有时候也是会发生一些惊艳的诗句。

固然不会写诗，但我能读，至多也可以把一些太差劲的去掉。盘算机生成的诗篇里挑拣了一些，团体以为还算可以的贴到一些诗友论坛（比方：诗句文采斐然什么样先不论，至多也没读者跳出而言你这根本不是人话，也算是乐成了坦白的讲，假如不做人工筛选，把所有生成的工具都放在一同，还是很很容易看出来外面有些分明不是人话。

列出一些具体的例子：

先，尴尬刁难。吟诗常以做对为基础嘛。以“倦鸟无心归去”为上联，电脑对下联“野花无意偷开”对的妙啊，能把“花”和“开”联络起来就算不错了还能把“野”和“偷”直接关联上，曾经远远超过我意料了不置信电脑真的明确啥是野花，或许只是性训练集或预性训练较为集中野花总和偷摸之类的词在一同吧。但无论怎样，这标明电脑程度还是也可以的
有时候候模型写的门联思绪极端坦荡。比方看到这一副生成的门联时，差点一口老血喷到屏幕上：千家百姓，共建调和社会；三宫六院，同沾雨露春风”

最满意的诗句是这首《送友》城南雨过花飞泪，陌下风来柳泣音。远客转身扶杖问，长亭别后共谁言。这句“雨过花飞泪，风来柳泣音”让我大吃一惊。这一句单从用词和发音下去说也许称不上完美，但在意境上，曾经无可吹毛求疵了假如换做我脑壳拍扁了也写不出这样的句子。

此外“晓雾轻笼野，东风漫渡山。谁家新酿酒，香我满小楼。也算上乘之做。

其它一些也还不错的作品：

万卉齐春我自芳，幽姿媚眼不争光。
不是芳菲知有意，却遣妖娆到野堂。

昨夜送客到西江，最恨水远难共枕。
此地看月生孤影，只盼灯火再成双。

安得携琴酒，同君醉不归。
曲新茅舍熟，情至故人欢。

门对青山水满池，竹篱笆茅屋傍花枝。闲调绿绮尊前舞，每看乌犍雨后犁。
云影半空来叠嶂，岚光十里送高低。西风好借春光住，独坐田头守稻苗。

模子也可以天生题目，有时候候带着题目还挺唬人的
送李判官宰安溪兼呈潘中丞》
谢公诗酒旧相知，长是忧思别后时。昔日不知那边是青山尽日看杨枝。

博文的最初会贴出更多的天生样例。

七、模子善于的诗文不同类型

现代诗人终身的阅历都市表现在作品里，比方，读李煜的诗，就总是会联想到亡国之君的伤心；读苏轼的诗，就又会让我燃起在顺境中乐观态度。盘算机也没任何国王阅历，堆出来的词在漂亮也都也没任何外延。但反过来，高情商说法）也可说电脑作诗最善于那些不需求详细其他内容的空泛题材，比方说泛泛的写景，赞誉赞颂等等。上面这一大堆，都是电脑善于的一分钟能写八百首：

玉蕊娇阳初映树，金枝翠叶正迎风。
百里山河春好处，八方美丽景添时。

一起烟霞入眼新，春景满眼又和暖。天蓝水碧江东海，风顺云开岭上津。
花吐异香迎旭日，鸟传佳语报清辰。民安国泰天和顺，何似人世百事亨。

千家共筑中国梦，万户重兴古邑春。九域调和四方福，五洲同庆又一岁。
华表踌躇归鹤语，青山时见暮云飘。希望神州千古好，更凭品德治安民。

八、未来可做的的事

总体而言而言，诗词市场太狭小。独一能够的消费需求是一些庆典运动中作为点缀。
现在最烦的要活期写工作总结，还要给同事们指导写评语。其它单元或许公司也都有定期的提交种种心得领会、头脑提高之类的硬性其要求。假如AI也可以在这方面创作有所进步，必定远景不错。假如无机会得到这方面的性训练数据，一定会尝试一下的

再拓宽一点，那些文字创作的四季题材消费需求能够不如音乐创作的消费需求更强烈。现在哪一个视频节目需求配乐呢，专业及的视频其他内容能够难以系统自动天生，但配乐没什么非常特殊消费需求的还是也可以靠AI来大量制作的假如有时候间，也会尝试尝试。

九、模子天生样例

门联：前后联都是天生的
人比青山更寂寥；情如白雪正苍茫
那边飘红，一夕飞花，满径芳香扑鼻；清波小桨，半江飞鹭，几声细雨敲窗
不忍清风侵我梦；难容浊水污君心
春去何人知暖度；花开哪处问芳心
清明时四海雨；乱世万家春
东风拂大地；德政暖人心
历尽沧桑有痕；悟得心性无尘
已经风雨无羁；空留我梦成真

一首古诗：
帘前燕过梦无痕，半点春心荡漾犹未醒。
月下花开香有约，一世风流不知愁。

邀来仙娥坐竹下，伴君同饮过月明。
浊酒一杯醉东风，清歌几曲传天下。

早来风起东江水，爬影视题材山遥看西子湖。
一蓑烟雨一壶酒，几片桃花几树春。

岁晚仍为客，借宿古渡头。暮云生浦口，夕阳下江桥。
天地之间多离别，秦淮几滞留。无量怀古意，独倚万鼓楼。

长叹一声尘间尽，犹留白发生。
往年行处多，几度到扬州。

老去书多废，夜夜睡少安。不知春已去，但觉暑犹寒。
日月闲中过，阴晴醉里看。穷山缺钱米，无事不出门。

一帆风至水云乡，客舟邂逅酒百觞。本夜月明人不寐，满船灯火照波光。
青山绿水共烟波，千载风云变幻一棹歌。自古一个英雄全没了只要词赋传后世。

真君得道入仙乡，获一奇方百医藏。
药有至灵非凡品，更凭能手治回春。

春心荡漾一夜动相思，晓枕惊残梦觉时。
应是无人来问讯，隔帘微雨又花枝

小雪入窗明，残冬腊月来。寒灯犹独坐，残烛只相陪。
客舍影微暗，人家雾尚开。周到一杯酒，斟与共清杯。

青灯对孤影，深夜一长吟。独宿黄昏后，相随白露深。
庭空花欲落，山黑叶弥阴。不幸双泪尽，岂非是离心。

清风两袖随波荡，江上千帆伴浪行。水阔天高空有影，山远地险自无形。
不知身向何方去，又听渔歌唱晚霞。从今未了人生事，明月相随再不来。

江上渔歌起暮愁，远山半在旭日楼。
不知那边渔歌起，吹落霜风一夜秋。

墙外樱花一簇香，门前燕子报春忙。
春意几枝凭雨洗，虫声三更与风来。

几家深巷争欢散，风雨无声春水生。
桃花浅深红欲尽，柳叶高扬绿初成。

老去不看花，东风度万家。
两回随燕至，一别到人前。

自笑居贫亦养闲，小园无客与人间。溪头采药归来时晚，石上烧茶夜半闲。
门巷不须尘扫尽，衣食应有月催还。小楼一过春晴后，又得长天更晚回。

万里山河归梦远，千秋风月寄琴闲。
从今单独思乡泪，莫道无人识姓名。

伟大祖国河山丽，广大人民怒气妍。
共欢三代会，同乐万家春。
举国欢歌日，神州喜庆年。
民生如锦绣，九域乐尧舜。

万里长天一线明，中都雄镇与时名。
自从玉兔传捷报，今后云山焕彩生。

水漫相思隔别离，不见君时独自愁。
长怀那些往事一杯酒，不负东风几度花。

人世那边是归路，天涯什么时候见故城。
可是春来春又去，落花飞蝶乱纷纷。

春归人已半，自力花无眠。
一别山川远，长怀天地怜。

昨夜花开日，往年人未归。
人生如梦幻，不为花消殒。

春去还归夜又残，桃红李白总难留。
不知何事吹花落，单独留香在画栏。

不忍邂逅月色白，江南烟雨满天涯。
一枝寥寂无人赏，几度相思对酒歌。

江湖从远别，风雨会重逢。
自叹声名浅，谁知意气浓。
世情昔日异，交态古来同。
且喜尊前泰，吾庐又一峰。

别久两心苦，情深痛更深。
不言将别泪，何必为相寻。

江上灯昏月满船，船头灯火照人眠。
夜深不见船如水，满棹清风入梦眠。

杏花露珠湿衣袂，燕子出山随马尘。
无人更弃生前乐，有鬼应怜市上嚣。

雷鼓千钧震夜来，天街月殿斗婵娟。
实业水面浮星斗，玉宇风前映彩霞。

自幼相悦好，为爱两情交。
日月明双影，春秋战国一色行。

自力小桥边，寥寂行人少。
无言不惜牺牲醉，何须相思苦。

心随花意逐风流，莫作离愁恨，自怜别泪流。
日暖风和，桃花红白樱花紫。天涯路人共老，一岁相思，几度芳菲。

天空人世事渺茫，东风吹雨过平阳。
小溪浅草留残碧，深树幽花半日黄。
蝶向旧丛寻烂漫，燕衔初絮入微茫。
愁肠欲断无消处，更向西楼嗅晚香。

不畏风霜苦，还能傲岁华。
幽香如可染，好色乃难赊。
冷傲应须及，冷光只自赊。
何当持醉看，万里见霜花。

碧水明如镜，清风轻扫尘。
此时闲不寐，梦落木兰花。

大江东去浪千重，一舸西来眼界空。
云影不随帆影去，风声没在涛声中。

风雨飘摇万里秋，扁舟一叶渡江流。
江南春事无多日，又是傍晚独倚楼。

满院春景欲动摇，一帘花影醉流莺。
谁知此景真难得，自有清风来枕簟。

东风一夜拂幽径，芳草绿阴连水碧。
却忆昔时曾折柳，昔日此处又垂枝。

万民共圆中国梦，黎民同奔小康途。
两岸并进乱世春，千家齐奏和谐曲。

野花落尽天涯路，一瓣枯英照水岸。
满地残红多是泪，不知2018年回不回。

一轮红日照华夏，万里祥云美丽天。
四海同颂文明歌，九州共襄幸福图。

落叶飘飞一起秋，问何日枫林共醉。
闲云摆落千山红，趁此时燕子相携。

含蓄月下夜初更，人静不知那边冷。
隐约梦中花正好，醒来方觉几回愁。

青菜》
野菜花开满树林，晚风吹雨不闻香。
年年岁岁无人采，只要青青白白心。

头疼》
老去无奇字，时来有病身。
莫怪诗笔拙，只因日日雨。

信佛》
人若无欲即如来，何用修行求妙果。
佛为无情坐菩提，不曾参透起因缘。

春运》
野渡登舟情欲飞，紧把舵盘月下摇。
万里云帆同追风，满船归心共逐浪。

隐居》
隐居栖遁处，自然山水总相连。
?绿树围村舍，黄花满院墙。
?云聚闲种田，客散静敲禅。
倦卧山中庐，悠悠悟岁月。

传法》
观音显灵台上坐，十方共传天竺法。
无边妙意竟虚无，所有的一切众生不须求。

龙门山》
龙门山深翠影微，一溪烟树杂云飞。千寻峭壁藏金地，十丈高台倚玉旗。
仙鹤舞空迎雾霭，仙蛇盘树向天楣。自来万宝非人力，不待东风吹九枝。

送陈君》
相思今后远，愁绪满江边。一别无消息，重来又暮天。
风烟愁客舍，春雨梦家船。不识淮南老，临行泪满前。

秋天南楼寓思》
十里西楼日似霜，江城灯火夜深长。
秋风吹正是离愁起，独坐西楼赋晚凉。

金谷园》
金谷园中春已深，柳条杨花尽垂阴。
西风不是为侬惜，空带残花遍地金。

金山》
十里长松百尺楼，九霄云汉出浮丘。
水回江面浮空远，金顶峰前望月留。

春行》
花阴不到半时间，日暮春来渐是闲。
山郭雨余如见我桃花源里有人还。

题山家壁》
篱落深红碧玉丛，门前时见好儿童。一帘白露滋桃李，数点疏星照榕桂。
庭树静闻莺语轻，池荷寒见蝶影空。闲来便作诗穷兴，笑与邻翁醉眼中。

题墨斋》
画罢西风似有情，夜来霜雨打芭蕉。
不知花月有多少，暗入诗怀一半清。

秋天溪居》
水边无处觅鱼踪，时有渔翁唤不应。
夜深独吟秋思起，半轮明月挂西南。

题西林老监院像二首》
十法经如达摩祖，三花刹里放瓦钵。
金陀慧口禅心少，铁棒开关妙见空。

原文链接：https://blog.csdn.net/ruanqizhen/article/details/120819262?ops_request_misc=%257B%2522request%255Fid%2522%253A %2522166856496116782428689964%2522%252C%2522scm%2522%253A %252220140713.130102334.pc%255Fblog.%2522%257D&request_id=166856496116782428689964&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~first_rank_ecpm_v1~times_rank-18-120819262-null-null.article_score_rank_blog&utm_term=%E9%A 2%98%E6%9D%90

未经允许不得转载：题材网 » 性训练诗词天生模子(GPT2一点心得