反向强化学习

今天是周日,讨论了一整天,感觉很累。上午和Mr.J讨论就像是在吵架,不是讨论应该有的样子。Mr.J的脾气不好,我讲得不好就会被骂。讨论完之后的瞬间我想要离开的想法浮现了,那一刻真的很想要离开。考虑了去实习,重新找个课题自己做,或者去找Mr.Q和他一起做。总之,脑子里面不断地浮现出这样的想法。想到说想要自学自己想要学习的东西。Mr.J总是说我不会表达,这一点没有说错。 我还想要做视频呢,所以说需要再培养这方面的能力。这一点和我的价值观和我认同的东西是一致的。虽然我很不喜欢和他相处,但是如果周围都是和自己合得来的人可能也是会有问题的。所以我在这里是可以提升自己的,同时也是可以帮助他们解决问题的。我在这里不是一个员工,我是合作者,我是合作者,我是合作者。不管Mr.J怎么去看待和我的关系,我都是这样的关系。同时Mr.J会挑出很多我的毛病,是问题改了就好。不是我的问题我也没有必要去承受别人的痛苦。 心里面的结需要自己及时的解开,这是我自己学会的。不要纠结地去生活,打开心结之后才能全力以赴。周围都是聪明的人不要感到自卑,正是因为有这样一群人在,慢慢去学习这样我不就进步了吗? 总之我一直在向着自己的目标在不断前行着,我对得起自己,没有辜负自己。但是我还可以变得更加优秀。我真的相信我自己。我打算每天早上起来录教学视频,这样和我的目标相符,也可以锻炼我的表达。加油,继续努力。在北京还有你可以做的事。

2019/10/20

国庆这几天

这几天有意外的惊喜,Gang来北京了,恰好赶上了国庆70周年。10月1号,我和Gang还有YangCai一起去了动物园,看了好多动物。居然看到了北极熊和企鹅。 10月2号,我和Gang还有Duokun一起去了颐和园。颐和园好大,里面的建筑很华丽。Gang说没有想到慈禧太后的字写得这么好!我们还去了17孔桥,坐了船。这一天真的是把Duokun累到了,尽管他来过,却还是陪我们来。很感谢他。 不过可能是因为我安排得不够好,也有可能我不太会说话,所以感觉他不是很开心。本来说要去看电影的,结果也没有看成。 10月3号,我,Gang, Mr.J, HuaPing, Yuguo, xx,我们六个人一起去了慕田峪长城,虽然大家都有些拘谨,但是总的来说还是感觉挺开心的! 我也打破纪录,去到了我从未到过的北边。晚上,Gang回到了我平时工作,学习的的柏彦大厦办公室。在这里做下了一个比较重要的决定,他准备到北京理论物理所来工作,研究机器学习的一个课题。以后我们的方向就近似了。真的是一件很好的事。

2019/10/01

局部最优

想了好久决定起这样一个名字。“HuangJie啊,你再这样下去就真的堕落了。” 这是Mr.J这周一给我说的话。虽然不能完全这样说,但是还是真的有一些道理的。或许Mr.J看我,就像是我看爸爸一样。虽然人确实是有能力的,但是由于自身的局限性,一辈子可能就会陷入到一个局部最优值里面。周围都是高高的山峰,即使自己去探索,最后也翻越不了那一座座的高山,最后现实让爸爸说出了"我这辈子就这样了",“我们这家人没有一个人像是做生意的”。不能去责怪爸爸,作为一个探索的人,不是没有去探索,而是环境的复杂性没有让他得到相应的正向奖励,所以他学会了待在原地或许就是最好的策略。 强化学习虽然和人生有几分相似,但是人生去比强化学习复杂太多。在强化学习中,只要你的算力够强,你可以去做很多次的尝试,玩很多个Episod。但人生的Episod却是十分有限的。所以人生更是一个残酷的问题。对世界来说,我或许就是他的A3C算法中的其中一个Agent。但是对于我自己来说,我就是自己的人生啊。我们所处的环境,各种关系,见到的风景,遇到的人就是我们的环境啊。我们要如何去最大化我们的人生轨迹呢? 如何去得到最大的奖励呢。个人的力量是有限的,几乎没有改变环境的能力,我们唯一能够做的就是改变自己的策略,利用现有的知识,也要不断小小地去探索。所有的改变都来自与和现实世界的交互,不管交互的结果是什么,多去交互,总是可以为自己积累经历,才有优化策略的可能。 人生能够遇到这样严厉的老师对我而言,真的是一件好事。我正在局部最优的地方,他就像是一个好的引导,虽然他的位置并不一定是全局最优,但是他的最低点却远远低于我的。因此我的经历他是经历过的,所以有好的导师就像是RewardShape, 这样给到一个好的引导,就够了。谢谢,Mr.J给我的打击。 “HuangJie今天也不错啊,花花绿绿的,看得出啦做了很多工作。” 昨晚做完报告后得到了Mr.J的肯定,得到了一个正的Reward。肯定了我这几天整个轨迹的基本正确。同时也得到了一个值为0的奖励。“有些细节其实并不是那么重要,将主要的故事就可以了。” 环境始终都再那里,几乎不曾改变。一个人的幸福感来自于Reward的多少。很努力很努力地工作,在过程中不断的调整自己的参数,有时可能会牺牲掉当前的Reward,让自己暂时感觉很不舒服,但是到最后的Return或许会很多。所以,继续加油吧。RL虽然是一套算法,但同样也是一套生活的哲学。突然感觉世界都便清晰了呢。

2019/09/22

一些思考

今天都是在整理强化学习的东西,有把整理的内容发布到网上去,有输出感觉挺不错的。把这些东西都记录下来,以后就可以录制视频了! 很多的事情都是相互关联的,现在在北京其实也是在给未来的自己做准备啊! 以后自媒体可以做的内容: 教程(Way2ML)上的主要内容, 自己创作的音乐 嵌入式的基本内容 这些东西都是我群擅长的,我可以做好,一步一步规划。 要录制视频教程的话打字一定要快。这一点还需要练习。 日语的话,学着玩是不是就可以了呢? 最好是没够听懂基本的,会说简单的,能够认识基本的就可以了。 英语是不是还需要认真夯实一下呢? 到时候是不是可以考虑到国外工作呢?你要多去了解一下啊! 强化学习怎么赚钱呢? 要多学学别人是怎么做的啊! 我现在不能够拍视频,怎么样才能够解决这个问题呢? 感谢Xin xue中午的时候陪我一起吃饭,让我感觉不到尴尬。感谢华平早上陪我走过来,陪我一起吃早饭。感谢宇国把卡借给我,让我很方便地吃饭。感谢蒋老师也让我参与到讨论当中,让我感觉到被需要。

2019/09/05

在北航刚开始这几天

到这边也好几天了,感觉还好。这两天没有什么新的任务。主要是学习强化学习的实践,在Youtube上面看一个教程。其实每一天感觉都很充实,因为有蒋老师在,然后大家都很努力,所以自己一点也不敢懈怠。和周围的人相处得也挺好,就算是自己不怎么说话,也不会觉得尴尬,也不用勉强自己去想话题。 昨天,xx对我说,你有没有考虑过植发。我说有啊,可是现在没有钱啊! 说实话,我还是很在意脱发这件事的。 但是,我不能因为这件事就责备自己啊,毕竟生活本来就不容易了,况且脱发不是我的错,也没有影响到其他人。我只能选择接受这个事实,努力赚钱。今天早上看到宿舍隔壁的一个残疾人都在努力地生活,我有什么理由不努力去追求我的梦想呢? 我确定我的大方向是正确的,可能有时候心里面会抗拒,会感觉很难受,特别是以后和蒋老师的相处会很不容易。但是大方向是正确的,这就够了。你要知道,这是一个很好的机会,和努力又聪明的人在一起。周围的人都很不错,好好地和他们相处吧! 还有感觉属于自己的时间真的是很有限,要想生命过得有意义就努力地抓紧每一分每一秒,充实地度过每一天吧! 加油哦! 感谢宇国这几天都在帮我刷卡,感谢徐鑫让我觉得这里很熟悉,感谢华平帮我找到了房子,感谢蒋老师给我涨了劳务费,因为我在外面租了房子,感谢每天陪我一起去吃饭的同学。感谢哥哥一直在远方支持我。感谢Terick让我意识到,人不可能一直快乐,但是可以一直保持感恩的心。这样人的幸福感就会提升好多。

2019/09/04

我和妈妈通了电话

刚刚,还在宿舍里面学习日语的时候和妈妈通了电话。感觉妈妈是我的英雄。妈妈先说了她已经回到家了,她已经不在学校里面工作了。写到这里我才意识到妈妈已经把她放在学校里面的东西都搬回家了。妈妈是以什么样子的心情把东西搬回家的呢? 是她一个人搬回来的还是和爸爸一起搬的呢? 妈妈是因为年龄太大而被学校裁员了。本来到了该退休的年龄,取还要考虑今后在哪里工作。这一切都是因为家里的情况太烂包了。爸爸一辈子没有做出什么像样的事,两个儿子都还没有安家,所有的一切都需要妈妈来考虑。妈妈,妈妈啊。我一定会快快的长大,绝对不要再让你担心了。我爱你,妈妈。

2019/08/30