for - biodiversity ecosystem services - most relevant for insurance industry

biodiversity ecosystem services - most relevant for insurance industry - Intact habitat - respiratory disease claims are one of the key driver of insurance claims worldwide. Intact forests are a key air purifier - Pollination - stats - global annual economic cost of insect pollinators - 235 to 577 billion USD - OECD 2019 - Air quality and local climate - (see above) - Water security - Water quality - Soil fertility - Erosion control - coastal / river-bordering forests / mangroves provide key erosion protection. - roots build a natural bulwark against waves and can store water during heavy rainfall - where forests (and mangroves) have disappeared, landslides and storm surges are more common and can move further inland, causing property losses covered by insurance - Coastal protection - (see above) - Food provision - Timber provision

question - valuable ecosystem services identified for insurance industry - what about minerals?

extremely useful or important.

search stanford thesis

深度文本匹配综述

reinforcement-learning code and paper tutorials

A Comparative Study of Neural Network Models for Sentence Classification

LSTM Derivations

博客很赞！

Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation

Deep Learning for Dialogue Systems

Deep Learning for Dialogue Systems

BERT for Joint Intent Classification and Slot Filling

本文的目标不是来提升在狭窄的酒店预定领域的效果，而是用一个传统的手工系统就有较好系统来对比没有领域知识的end-to-end系统的优劣。

• https://research.fb.com/downloads/babi/

MEMORYNETWORKS

• https://arxiv.org/pdf/1503.08895.pdf

LEARNING END-TO-END GOAL-ORIENTED DIALOG

A Network-based End-to-End Trainable Task-oriented Dialogue System

• https://github.com/shawnwun/NNDIAL

这个end-to-end的系统，在意图识别的阶段用的是cnn+LSTM 在状态管理(belief state tracking)也用的LSTM，在policy的时候自定义了一套算法，将前面的几个输出向量做了个线性模型，输出。

End-to-End Learning of Task-Oriented Dialogs

端到端的task类型对话的鼻祖

Dialogue Learning with Human Teaching and Feedback in End-to-End Trainable Task-Oriented Dialogue Systems

一个混合学习过程，在人类的指导教育和反馈下增强强化学习的过程

Attention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling

用一个模型来解决两个不同类型的问题，intent detect是分类，填槽是序列标注。都用基于attention机制的RNN来搞定了

The Sogou Spoken Language Understanding System for the NLPCC 2018 Evaluation

SLU 模型做法：

• 1 第一步是词汇分析，也就是分词，然后词性标注。本文用的是HanLP做词性分析。

• 2 第二步是槽位边界检测。这个任务看成一个用BILOU进行序列标注的。我们用了基于字和词的序列标注。基于字的 版本是用一个window为7的CRF，用此法特征和词典特征，另外基于词的的CRF模型是window size为5的词法特征，词性特征和词典特征。词典特征是指“当前字词是否 prefix/infix/suffix 在实体词典中某个条目关系。”每个CRF输出n(3)个输出，这整个2n个输出用到下一步。用基于字的序列标注是为了弥补分词效果差带来的可能影响。

• 3 第三部是槽位类型识别。用的是LR+L正则分类器，预测出的slot，上下文的字词，上下文的词性标注作为特征。

• 4 第四步是槽位纠正。这个是为了解决因为ASR导致的错误识别造成的结果。用的是一个基于搜索的方法。鉴于已经有各种槽位类型的词典，如果一个预测出来的槽位s类型T没有在对应的槽位词典中，那么就用s作为查询词来在根据最小编辑距离来查询槽位词典中的记录。这个操作会进行两次，一个是s作为中文字符，另一个是s作为拼音来查询。最好的结果是从这两个查处的结果中重新排序后得到的。

• 5 最后一步是意图分类。用的是XGBoost及其默认参数。用到的特征是单词token，query length，以及前面步骤预测出来的槽位。

任务型对话系统整体来说可以分为两类：

• 1 pipeline，也就是包含SLU+DST+PL+NLG
• 2 end-to-end

SLU有俩事，意图识别+填槽。

实践中的困难：

• 1 意图分类的复杂性
• 2 世界知识
• 3 用户状态

任务型人机对话系统中的认知技术

PyDial: A Multi-domain Statistical Dialogue System Toolkit

一个开源的端到端的统计对话系统工具。

• http://pydial.org
• https://github.com/claycollier/pydial
• https://bitbucket.org/dialoguesystems/pydial.git

其总的架构包含Sematic Decode,Belief Tracker,Policy Reply System,Language generator. 整体来说整个系统都支持了基于规则的判断过程，也融合了模型的支持。源码值得一看的。

Using Recurrent Neural Networks for Slot Filling in Spoken Language Understanding

非常简单的介绍，可以看作是一个文献阅读索引

detail :

• http://opendialogue.miulab.tw

• https://www.csie.ntu.edu.tw/~yvchen/doc/OpenDialogue_Tutorial_ISCSLP18.pdf

• https://www.csie.ntu.edu.tw/~yvchen/doc/OpenDialogue_Tutorial_IJCNLP.pdf

对话系统的一个综述性paper

• 1 https://www.apple.com/ios/siri/
• 2 https://www.microsoft.com/en-us/cortana/
• 4 https://assistant.google.com/4https://developers.facebook.com/blog/post/2016/04/12/
• 5 https://developer.amazon.com/alexa/
• 6 https://www.msXiaoIce.com/
• https://www.cs.cmu.edu/afs/cs/project/ai-repository/ai/areas/classics/parry/0.html

DocChat: An Information Retrieval Approach for Chatbot EnginesUsing Unstructured Documents

用BM25来获取备选项。

构建了word-level,phrase-level,sentence-level,document-level,relation-level,type-levelandtopic-level的特征来训练排序模型

最有用的是sentence level的特征。