神经网络一般由多层组成, 在训练的时候, 每层的输入分布会随着前面层的改变而变动, 这种现象成为ICS (Internal Covariance Shift). 归一化方法, 如Batch Normalization(BN), 可以在一定程度上缓解ICS,

在测试阶段，明确的平均地平均指数级子网络的输出结果是不可能的，然而在实际中有一种非常简单的近似方法，这种思想被用于神经网络的测试阶段，而不需要把网络dropout后再测试。网络中的权重被缩小（与训练时的子网络比较），如果子网络选取方法是按照概率p来dropout，测试时所有权重乘以p来

之所以用二范式的度量方式，是因为路径总权重的二范式既能度量总体冗余度的大小，又能控制不同段落之间的交叉均衡（降低丢失答案信息的风险）。

虚拟和现实打通，只要你想，这款软件可以1:1克隆整个世界！

用来决定term frequency saturation。即，限制了一个query term最多能够对最后的score有多大的影响。例如，一个文章中出现了20次query term和出现1000次query term的效果应该是差不多的。如果不做此限制，那么那些高频的词的tf值就会过大，导致整个query的得分都被那些高频词所主导。ElasticSearch中，default k1 = 1.4。BM25和TFIDF的对比如下图所示：<img src="https://pic3.zhimg.com/v2-1ea3e2a2029dac2ce8270ca30d0622ce_b.jpg" data-caption="" data-size="normal" data-rawwidth="750" data-rawheight="496" class="origin_image zh-lightbox-thumb" width="750" data-original="https://pic3.zhimg.com/v2-1ea3e2a2029dac2ce8270ca30d0622ce_r.jpg"/>

BM25 有一个上限，文档里出现 5 到 10 次的词会比那些只出现一两次的对相关度有着显著影响。但是如图 TF/IDF 与 BM25 的词频饱和度 所见，文档中出现 20 次的词几乎与那些出现上千次的词有着相同的影响

Return to the Obsidian app to initiate a sync. If you take new highlights on documents you’ve already exported at least once, those new highlights will be appended to the end of the existing files.

What’s different about our stress response? Well, we have the ability to anticipatedanger. Other animals have this ability too: it’s a good thing to get stressed seeing the lion all the way across the savannah, instead of only when it mauls your intestines out. But humans have evolved this anticipation ability to extend far beyond other animals. We anticipate bad things months, years, or even decades out. And when we do this, the very same stress response gets turned on—even though there is no immediate danger, and there is no immediate way to avoid it. 

Math is pretty interesting, but it's not my main interest. People who are into math enough to become mathematicians are really into math in a way that I am not. I am too much of a generalist to ever become a mathematician. Just in terms of time invested, I've probably only spent one year full-time doing math (mid 2018 to mid 2019); in all the other years of my life, math has not been a singular focus for me.

我们有把握地认为，我们不知道媒介应该向什么方向发展。例如，我们最近才发现助记媒介可以通过简单的应用卡片帮助读者应用他们所学的知识[3]。这些实验说明，未来有可能会对助记媒介进行巨大的调整。此外，助记媒介可调整为将创制经验逐步展开的形式[4]，而我们对于这点的探索才刚刚起步。

因为有些知识，属于实践类别。这种知识拿语言描述半天，若隔靴搔痒。演示一遍，大伙儿却一目了然。双链笔记工具应用，便是如此。

“这很容易，”那些官员们说，“现在我们下令禁止尖脚猫。” 人民就是在那时开始反抗的，杀了部分官员。 然后人民分秒必争地又回去玩尖脚猫游戏了。

知识评估网络是决定单个知识块价值的记忆关系网络。如果将学习解释为一项任务，评估网络将决定感知到的任务价值。