本文为十月川北自驾游记系列之五，黄龙。

十月川北自驾游记系列：

1. 十月川北自驾游记——成都
2. 十月川北自驾游记——乐山
3. 十月川北自驾游记——都江堰
4. 十月川北自驾游记——九寨沟
5. 十月川北自驾游记——黄龙

我们先去的九寨沟，回程玩黄龙，考虑到川主寺这边没什么好的酒店，就计划上午玩黄龙（10点到，1点出），晚上赶到都江堰住（晚7点左右），但显然这个安排是非常紧的，加上我们游览的速度并不快，导致不可能在晚上赶到都江堰。出于行车安全考虑，改住在茂县，住宿简直是个噩梦。

开篇之前，还是先聊几个FAQ：

• 九寨沟黄龙旅游是否会高反？

九寨沟县城、酒店和沟口海拔在2000米左右，九寨沟景区最高点长海和原始森林约3000米，个人体验3000以下不怎么有高反的感觉。3000以上再运动可能会有些气短，但总体没问题。 黄龙景区就稍高些，入口就3200，最高点3568，如果先玩九寨再玩黄龙的话，基本也就适应了，问题不大。我和父母都是徒步上下山，没坐索道，有些气喘，可以接受。景区路上还设有氧吧，有卖小氧气瓶（200次/瓶）的，我觉得没有必要。一路上看到吸氧的人也不多，也没见到任何人有明显的高反。在这个海拔谈高反，个人观点纯属生意，99%的人没必要担心这个，觉得有高反，大部分属于心理作用。

本文为十月川北自驾游记系列之四，九寨沟。

十月川北自驾游记系列：

1. 十月川北自驾游记——成都
2. 十月川北自驾游记——乐山
3. 十月川北自驾游记——都江堰
4. 十月川北自驾游记——九寨沟
5. 十月川北自驾游记——黄龙

游记之前，先聊两个FAQ：

• 九寨沟黄龙旅游是否会高反？

九寨沟县城、酒店和沟口海拔在2000米左右，九寨沟景区最高点长海和原始森林约3000米，个人体验3000以下不怎么有高反的感觉。3000以上再运动可能会有些气短，但总体没问题。 黄龙景区就稍高些，入口就3200，最高点3568，如果先玩九寨再玩黄龙的话，基本也就适应了，问题不大。我和父母都是徒步上下山，没坐索道，有些气喘，可以接受。景区路上还设有氧吧，有卖小氧气瓶（200次/瓶）的，我觉得没有必要。一路上看到吸氧的人也不多，也没见到任何人有明显的高反。在这个海拔谈高反，个人观点纯属生意，99%的人没必要担心这个，觉得有高反，大部分属于心理作用。

• 成都到九寨沟路况如何？

毕竟是旅游线路，路况不错，驾驶难度小于丽江到香格里拉和青甘大环线。 从成都到都江堰是高速，自不必提。然后是G213国道到松潘，G544到九寨沟。两段国道都是双向单车道的山路，有山路驾驶经验的话非常好开。值得一提的是隧道比较多，尤其是在都江堰到汶川段，有隧道群。

本文为十月川北自驾游记系列之三，都江堰。

十月川北自驾游记系列：

1. 十月川北自驾游记——成都
2. 十月川北自驾游记——乐山
3. 十月川北自驾游记——都江堰
4. 十月川北自驾游记——九寨沟
5. 十月川北自驾游记——黄龙

都江堰

问道青城山 拜水都江堰

都江堰市离成都很近，开车大约一个小时可达。都江堰市的景点主要有三个：青城山，都江堰和卧龙中华大熊猫苑。

本文为十月川北自驾游记系列之二，乐山。

十月川北自驾游记系列：

1. 十月川北自驾游记——成都
2. 十月川北自驾游记——乐山
3. 十月川北自驾游记——都江堰
4. 十月川北自驾游记——九寨沟
5. 十月川北自驾游记——黄龙

乐山

成都到乐山一日游，采用高铁+打车的方案，高铁单程大约50分钟。考虑到乐山的美食非常出名，希望三餐都在乐山解决。由于还在十一假期，成都去乐山的车次很好买，但晚上7点以后返程的车票就比较紧俏了，好在通过候补车票的方式买到了往返车票。

本文为十月川北自驾游记系列之第一篇，成都。

十月川北自驾游记系列：

1. 十月川北自驾游记——成都
2. 十月川北自驾游记——乐山
3. 十月川北自驾游记——都江堰
4. 十月川北自驾游记——九寨沟
5. 十月川北自驾游记——黄龙

继前年9月 自驾青甘大环线 之后，因为疫情原因，两年没出远门。又是一年秋天，连着十一休了一周年假，去九寨沟看看。

提前做旅游攻略是件很累的事情，尤其在行程时间较长（大于一周）时，不确定性比较大，安排合理的行程就更是困难。反而是在行程的中后期，随着剩余时间的不断减少，安排一两天的行程就很简单了。

考虑到时间和舒适度，实际玩了乐山大佛，成都市，青城山，都江堰，卧龙大熊猫苑，九寨沟和黄龙。

# The Curious Case of Neural Text Degeneration

这篇ICLR 2020年的文章我很喜欢，因为它简洁直观。文章首先提出一个有意思的发现：人说的自然语言常常出人意料，即说出的并不总是语言模型中概率最大的词，而Beam Search会总会选择最符合语言模型的词汇，因此生成的文本没有新意(less surprising)。之后提出了一种top-k sampling的改进方案来解决问题：nucleus sampling (top-p sampling)。

如果一个Pod在错误状态启动不了 (crashloopbackoff)，那么Kubernetes就会自动重启该Pod。这就给调试这个Pod带来了麻烦，无法exec到这个Pod上查看问题，也不容易看到这个Pod的日志，因为此时这个Pod已经被Kubernetes杀掉了：

unable to upgrade connection: container not found ("")

那如何防止有错误的Pod无限重启或反复重启？

训练GPT等语言模型可以参考Huggingface Transformer训练语言模型的tutorial: Transformers Language Model Training

示例提供了三个脚本: run_clm.py, run_mlm.py 和 run_plm.py。GPT是个causal language model，可以使用 run_clm.py 进行训练或微调。但这脚本并不支持行式数据集，即每行一个训练样本的数据集。它默认的数据处理是按行读取样本并把它们连接成一个block_size的连续文本。

而这种数据处理方式在某些情况下并不适用，可能会让语言模型学偏。比如QA任务：

Q1 [SEP] A1 Q2 [SEP] A2 ...

连接后就成了 Q1 [SEP] A1 Q2 [SEP] A2 ... ，可能会让模型认为Q1的答案是A1 Q2。可对run_clm.py支持行式数据集。

The latest training/fine-tuning language model tutorial by huggingface transformers can be found here: Transformers Language Model Training

There are three scripts: run_clm.py, run_mlm.py and run_plm.py. For GPT which is a causal language model, we should use run_clm.py. However, run_clm.py doesn't support line by line dataset. For each batch, the default behavior is to group the training examples into a single block_size line.

However, grouping text doesn't make sense for datasets whose lines are not related such as QA dataset:

Q1 [SEP] A1 Q2 [SEP] A2 ...

Concatenate them to: Q1 [SEP] A1 Q2 [SEP] A2 ... might mislead the language model.

Follow # Dynamically create and use a persistent volume with Azure Files in Azure Kubernetes Service (AKS) to create a new storage class in AKS:

kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  name: standard-grs
provisioner: kubernetes.io/azure-disk
parameters:
  cachingmode: ReadOnly
  kind: Managed
  skuName: Standard_GRS
reclaimPolicy: Delete
allowVolumeExpansion: true
volumeBindingMode: Immediate

If you create new resource by kubernetes dashboard, an error might occur:

Deploying file has failed
the server could not find the requested resource