Posts

[[toc]] Things I want to do Learn swimming;(2020.08.02) Learn reinforcement learning(RL); Learn how to code the environment of RL Learn inverse RL Implement 10 common RL algorithms Understand information theory; Finish the information theory introduction at complexityexplorer Learn recurrent neural network(RNN); finish a small project. Master Blender Donut Done Master the usage of git; Master brunch Master merge Master the common development process Learn Japanese Finish the course on Duolingo Level 1 Level 2 Level 3 Level 4 Level 5 Level 6 Learn Easy_Japanese Listen 1 time Listen 2 times Use Anki to memorize Easy Japanese Write 1 time Organize the above two basic textbooks Japanese for Life in Japan 1 Japanese for Life in Japan 2 Japanese Language Proficiency Test Level(JLPT) N4 Japanese Language Proficiency Test Level(JLPT) N2 Heal hair...

昨天晚上一夜都灭有睡，非常难得的机会和TaoH聊天，没有想到Tao有那么多的话可以聊。 Tao最开始说是要要搬家了，然后就开始聊一些技术上面的东西，然后看他非常流畅的操作xx的电脑解决了一个xx三天都没有解决的问题。我本来就很想找个机会和Tao聊天，恰好今天他到我们办公室里面来了，我当然不能够错过机会，然后便给他讲了我的想法，说我想要做一个关于大家一起阅读的书籍的网站。Tao师兄对我说的事特别有兴趣，后来表示他其实也是想过要做这样的事，但是因为种种的原因搁置了下来，现在听我谈起这个事有燃起了他原本就还在的兴趣。然后给我说了各种技术: 处理PDF的工具: PDF.js 将PDF转换成Latex的工具: InftyReader PDF重排技术: K2pdfopt ＆　Koreader Webpage Annotation: Hypothes.is 用流或者沙箱的技术来处理流 单元化也是我要做的关键的事 用什么前端工具一点也不重要 如何将一个人数据化,知识的传递如何做到针对每一个独立的人的独立传递 P2P的数据传递方式:Syncthing Github的GUI管理工具:Metrogit 类似Git的管理工具:fossil 当然这是具体的工具类的东西，Tao用的东西在我看来都是很前沿的，单单从技术上来说，我都可以在他身上学到好多好多。然后，Tao聊了好多他对于这个世界的看法。他就是站上了山峰上的那一个人，而我就是仰望他的那个人。真的希望和他作为朋友，好像要和她成为朋友。今年有两件事情对我特别重要。一个是去台湾旅行，另一个便是和Tao畅谈了一个夜晚。我可能一辈子也忘不了这一段难忘的经历。Tao是一个独立的人，是一个自由的人，敢于和大多数人说不的人，他是一个战士。 我会永远记住这一个夜晚，这一次聊天。Tao是我的榜样。很久很久没有这种感觉了，这么地从心底认同一个人的思想。他提醒我，这个世界上还有很多重要的事，而不仅仅是眼前可以看到的生活。 Tao有自己的价值标准，心灵的自由，让他是一个自由的人。感谢Mr.J让我有机会遇到Tao。内心是自由的，你到哪里都是自由的。要是把赚钱作为最终目的，那么99%的可能性是会失败的。

今天是周日，讨论了一整天，感觉很累。上午和Mr.J讨论就像是在吵架，不是讨论应该有的样子。Mr.J的脾气不好，我讲得不好就会被骂。讨论完之后的瞬间我想要离开的想法浮现了，那一刻真的很想要离开。考虑了去实习，重新找个课题自己做，或者去找Mr.Q和他一起做。总之，脑子里面不断地浮现出这样的想法。想到说想要自学自己想要学习的东西。Mr.J总是说我不会表达，这一点没有说错。 我还想要做视频呢，所以说需要再培养这方面的能力。这一点和我的价值观和我认同的东西是一致的。虽然我很不喜欢和他相处，但是如果周围都是和自己合得来的人可能也是会有问题的。所以我在这里是可以提升自己的，同时也是可以帮助他们解决问题的。我在这里不是一个员工，我是合作者，我是合作者，我是合作者。不管Mr.J怎么去看待和我的关系，我都是这样的关系。同时Mr.J会挑出很多我的毛病，是问题改了就好。不是我的问题我也没有必要去承受别人的痛苦。 心里面的结需要自己及时的解开，这是我自己学会的。不要纠结地去生活，打开心结之后才能全力以赴。周围都是聪明的人不要感到自卑，正是因为有这样一群人在，慢慢去学习这样我不就进步了吗? 总之我一直在向着自己的目标在不断前行着，我对得起自己，没有辜负自己。但是我还可以变得更加优秀。我真的相信我自己。我打算每天早上起来录教学视频，这样和我的目标相符，也可以锻炼我的表达。加油，继续努力。在北京还有你可以做的事。

这几天有意外的惊喜，Gang来北京了，恰好赶上了国庆70周年。10月1号，我和Gang还有YangCai一起去了动物园，看了好多动物。居然看到了北极熊和企鹅。 10月2号，我和Gang还有Duokun一起去了颐和园。颐和园好大，里面的建筑很华丽。Gang说没有想到慈禧太后的字写得这么好！我们还去了17孔桥，坐了船。这一天真的是把Duokun累到了，尽管他来过，却还是陪我们来。很感谢他。 不过可能是因为我安排得不够好，也有可能我不太会说话，所以感觉他不是很开心。本来说要去看电影的，结果也没有看成。 10月3号，我，Gang, Mr.J, HuaPing, Yuguo, xx，我们六个人一起去了慕田峪长城，虽然大家都有些拘谨，但是总的来说还是感觉挺开心的！ 我也打破纪录，去到了我从未到过的北边。晚上，Gang回到了我平时工作，学习的的柏彦大厦办公室。在这里做下了一个比较重要的决定，他准备到北京理论物理所来工作，研究机器学习的一个课题。以后我们的方向就近似了。真的是一件很好的事。

想了好久决定起这样一个名字。“HuangJie啊，你再这样下去就真的堕落了。” 这是Mr.J这周一给我说的话。虽然不能完全这样说，但是还是真的有一些道理的。或许Mr.J看我，就像是我看爸爸一样。虽然人确实是有能力的，但是由于自身的局限性，一辈子可能就会陷入到一个局部最优值里面。周围都是高高的山峰，即使自己去探索，最后也翻越不了那一座座的高山，最后现实让爸爸说出了"我这辈子就这样了"，“我们这家人没有一个人像是做生意的”。不能去责怪爸爸，作为一个探索的人，不是没有去探索，而是环境的复杂性没有让他得到相应的正向奖励，所以他学会了待在原地或许就是最好的策略。 强化学习虽然和人生有几分相似，但是人生去比强化学习复杂太多。在强化学习中，只要你的算力够强，你可以去做很多次的尝试，玩很多个Episod。但人生的Episod却是十分有限的。所以人生更是一个残酷的问题。对世界来说，我或许就是他的A3C算法中的其中一个Agent。但是对于我自己来说，我就是自己的人生啊。我们所处的环境，各种关系，见到的风景，遇到的人就是我们的环境啊。我们要如何去最大化我们的人生轨迹呢? 如何去得到最大的奖励呢。个人的力量是有限的，几乎没有改变环境的能力，我们唯一能够做的就是改变自己的策略，利用现有的知识，也要不断小小地去探索。所有的改变都来自与和现实世界的交互，不管交互的结果是什么，多去交互，总是可以为自己积累经历，才有优化策略的可能。 人生能够遇到这样严厉的老师对我而言，真的是一件好事。我正在局部最优的地方，他就像是一个好的引导，虽然他的位置并不一定是全局最优，但是他的最低点却远远低于我的。因此我的经历他是经历过的，所以有好的导师就像是RewardShape, 这样给到一个好的引导，就够了。谢谢，Mr.J给我的打击。 “HuangJie今天也不错啊，花花绿绿的，看得出啦做了很多工作。” 昨晚做完报告后得到了Mr.J的肯定，得到了一个正的Reward。肯定了我这几天整个轨迹的基本正确。同时也得到了一个值为0的奖励。“有些细节其实并不是那么重要，将主要的故事就可以了。” 环境始终都再那里，几乎不曾改变。一个人的幸福感来自于Reward的多少。很努力很努力地工作，在过程中不断的调整自己的参数，有时可能会牺牲掉当前的Reward,让自己暂时感觉很不舒服，但是到最后的Return或许会很多。所以，继续加油吧。RL虽然是一套算法，但同样也是一套生活的哲学。突然感觉世界都便清晰了呢。

今天都是在整理强化学习的东西，有把整理的内容发布到网上去，有输出感觉挺不错的。把这些东西都记录下来，以后就可以录制视频了！ 很多的事情都是相互关联的，现在在北京其实也是在给未来的自己做准备啊！ 以后自媒体可以做的内容： 教程(Way2ML)上的主要内容， 自己创作的音乐 嵌入式的基本内容 这些东西都是我群擅长的，我可以做好，一步一步规划。 要录制视频教程的话打字一定要快。这一点还需要练习。 日语的话，学着玩是不是就可以了呢？ 最好是没够听懂基本的，会说简单的，能够认识基本的就可以了。 英语是不是还需要认真夯实一下呢？ 到时候是不是可以考虑到国外工作呢？你要多去了解一下啊！ 强化学习怎么赚钱呢？ 要多学学别人是怎么做的啊！ 我现在不能够拍视频，怎么样才能够解决这个问题呢？ 感谢Xin xue中午的时候陪我一起吃饭，让我感觉不到尴尬。感谢华平早上陪我走过来，陪我一起吃早饭。感谢宇国把卡借给我，让我很方便地吃饭。感谢蒋老师也让我参与到讨论当中，让我感觉到被需要。