$\qquad$最近这个模型刚出来,感觉nlp领域的格局大震动,我还是先蹲着看看大家如何讨论以及google会不会又搞什么新花样好了(毕竟这模型也不是谁想跑就能跑起来的……)。持续关注一下,估计几个月内还要更新这篇233
Introduction
$\qquad$目前在nlp领域,pre-trained language model在很多任务中都表现得十分出色。比如,需要对整句分析来判断句子关系的任务:natural language inference(根据前提premise判断假说hypothesis和它的关系:矛盾contradiction or 蕴含entailment)、paraphrasing(复述);token层面需要生成某些特定token的任务:named entity recognition、阅读理解等。