从字到词，大词典中文BERT模型的探索之旅

见贤思齐

导语：BERT模型自诞生以来统治了各项NLP任务的榜单，谷歌也针对中文给出了基于字的模型。然而我们知道词是语言最重要的组成部分，因此，一个自然的想法就是做基于词的BERT模型。但是受限于显存，谷歌原生的BERT模型可以使用的词典比较小，只能覆盖一小部分的汉语的词。在本文中，我们提出了对BERT的一些改进，将中文BERT词模型的词典大小进行了大幅扩充，并在多个下游任务上测试了大词典BERT的表现。此外，我们尝试了一种针对上下文相关词向量的最近邻检索方法，基于BERT的词向量做以词搜词任务，相对于上下文无关词向量在效果上有着明显的提升。