LingoMeta is an updated English learning application of the basic knowledge and technology of the program. Inspired by the user's time value, LingoMeta integrates daily English practice with test content. LingoMeta's philosophy is: happy study time, improved exams and better daily translation.

LingoMeta 是采用尖端人工智能技术的新一代英语学习应用程序。受用户时间价值最大化理念的启发，LingoMeta 将英语日常练习与考试内容无缝融合。

LingoMeta 的理念是：更少的学习时间，更高的考试分数和更好的日常对话。

本文为十月川北自驾游记系列之五，黄龙。

十月川北自驾游记系列：

1. 十月川北自驾游记——成都
2. 十月川北自驾游记——乐山
3. 十月川北自驾游记——都江堰
4. 十月川北自驾游记——九寨沟
5. 十月川北自驾游记——黄龙

我们先去的九寨沟，回程玩黄龙，考虑到川主寺这边没什么好的酒店，就计划上午玩黄龙（10点到，1点出），晚上赶到都江堰住（晚7点左右），但显然这个安排是非常紧的，加上我们游览的速度并不快，导致不可能在晚上赶到都江堰。出于行车安全考虑，改住在茂县，住宿简直是个噩梦。

开篇之前，还是先聊几个FAQ：

• 九寨沟黄龙旅游是否会高反？

九寨沟县城、酒店和沟口海拔在2000米左右，九寨沟景区最高点长海和原始森林约3000米，个人体验3000以下不怎么有高反的感觉。3000以上再运动可能会有些气短，但总体没问题。 黄龙景区就稍高些，入口就3200，最高点3568，如果先玩九寨再玩黄龙的话，基本也就适应了，问题不大。我和父母都是徒步上下山，没坐索道，有些气喘，可以接受。景区路上还设有氧吧，有卖小氧气瓶（200次/瓶）的，我觉得没有必要。一路上看到吸氧的人也不多，也没见到任何人有明显的高反。在这个海拔谈高反，个人观点纯属生意，99%的人没必要担心这个，觉得有高反，大部分属于心理作用。

本文为十月川北自驾游记系列之四，九寨沟。

十月川北自驾游记系列：

1. 十月川北自驾游记——成都
2. 十月川北自驾游记——乐山
3. 十月川北自驾游记——都江堰
4. 十月川北自驾游记——九寨沟
5. 十月川北自驾游记——黄龙

游记之前，先聊两个FAQ：

• 九寨沟黄龙旅游是否会高反？

九寨沟县城、酒店和沟口海拔在2000米左右，九寨沟景区最高点长海和原始森林约3000米，个人体验3000以下不怎么有高反的感觉。3000以上再运动可能会有些气短，但总体没问题。 黄龙景区就稍高些，入口就3200，最高点3568，如果先玩九寨再玩黄龙的话，基本也就适应了，问题不大。我和父母都是徒步上下山，没坐索道，有些气喘，可以接受。景区路上还设有氧吧，有卖小氧气瓶（200次/瓶）的，我觉得没有必要。一路上看到吸氧的人也不多，也没见到任何人有明显的高反。在这个海拔谈高反，个人观点纯属生意，99%的人没必要担心这个，觉得有高反，大部分属于心理作用。

• 成都到九寨沟路况如何？

毕竟是旅游线路，路况不错，驾驶难度小于丽江到香格里拉和青甘大环线。 从成都到都江堰是高速，自不必提。然后是G213国道到松潘，G544到九寨沟。两段国道都是双向单车道的山路，有山路驾驶经验的话非常好开。值得一提的是隧道比较多，尤其是在都江堰到汶川段，有隧道群。

本文为十月川北自驾游记系列之三，都江堰。

十月川北自驾游记系列：

1. 十月川北自驾游记——成都
2. 十月川北自驾游记——乐山
3. 十月川北自驾游记——都江堰
4. 十月川北自驾游记——九寨沟
5. 十月川北自驾游记——黄龙

都江堰

问道青城山 拜水都江堰

都江堰市离成都很近，开车大约一个小时可达。都江堰市的景点主要有三个：青城山，都江堰和卧龙中华大熊猫苑。

本文为十月川北自驾游记系列之二，乐山。

十月川北自驾游记系列：

1. 十月川北自驾游记——成都
2. 十月川北自驾游记——乐山
3. 十月川北自驾游记——都江堰
4. 十月川北自驾游记——九寨沟
5. 十月川北自驾游记——黄龙

乐山

成都到乐山一日游，采用高铁+打车的方案，高铁单程大约50分钟。考虑到乐山的美食非常出名，希望三餐都在乐山解决。由于还在十一假期，成都去乐山的车次很好买，但晚上7点以后返程的车票就比较紧俏了，好在通过候补车票的方式买到了往返车票。

本文为十月川北自驾游记系列之第一篇，成都。

十月川北自驾游记系列：

1. 十月川北自驾游记——成都
2. 十月川北自驾游记——乐山
3. 十月川北自驾游记——都江堰
4. 十月川北自驾游记——九寨沟
5. 十月川北自驾游记——黄龙

继前年9月 自驾青甘大环线 之后，因为疫情原因，两年没出远门。又是一年秋天，连着十一休了一周年假，去九寨沟看看。

提前做旅游攻略是件很累的事情，尤其在行程时间较长（大于一周）时，不确定性比较大，安排合理的行程就更是困难。反而是在行程的中后期，随着剩余时间的不断减少，安排一两天的行程就很简单了。

考虑到时间和舒适度，实际玩了乐山大佛，成都市，青城山，都江堰，卧龙大熊猫苑，九寨沟和黄龙。

# The Curious Case of Neural Text Degeneration

这篇ICLR 2020年的文章我很喜欢，因为它简洁直观。文章首先提出一个有意思的发现：人说的自然语言常常出人意料，即说出的并不总是语言模型中概率最大的词，而Beam Search会总会选择最符合语言模型的词汇，因此生成的文本没有新意(less surprising)。之后提出了一种top-k sampling的改进方案来解决问题：nucleus sampling (top-p sampling)。

如果一个Pod在错误状态启动不了 (crashloopbackoff)，那么Kubernetes就会自动重启该Pod。这就给调试这个Pod带来了麻烦，无法exec到这个Pod上查看问题，也不容易看到这个Pod的日志，因为此时这个Pod已经被Kubernetes杀掉了：

unable to upgrade connection: container not found ("")

那如何防止有错误的Pod无限重启或反复重启？

训练GPT等语言模型可以参考Huggingface Transformer训练语言模型的tutorial: Transformers Language Model Training

示例提供了三个脚本: run_clm.py, run_mlm.py 和 run_plm.py。GPT是个causal language model，可以使用 run_clm.py 进行训练或微调。但这脚本并不支持行式数据集，即每行一个训练样本的数据集。它默认的数据处理是按行读取样本并把它们连接成一个block_size的连续文本。

而这种数据处理方式在某些情况下并不适用，可能会让语言模型学偏。比如QA任务：

Q1 [SEP] A1 Q2 [SEP] A2 ...

连接后就成了 Q1 [SEP] A1 Q2 [SEP] A2 ... ，可能会让模型认为Q1的答案是A1 Q2。可对run_clm.py支持行式数据集。