2017年:Transformer
谷歌的一个研究团队发明白Transformer,这是一种神经网络,可以跟踪每个单词或短语在序列中出现的位置,从而实现了当今这一代大型语言模子背后的突破。单词的寄义通常取决于前面或背面其他单词的寄义。通过跟踪这些上下文信息,Transformer可以处置惩罚更长的文本字符串,并更正确地捕获单词的寄义。比方,“hot dog”在“Hot dogs should be given plenty of water(狗热了要多喝水)”和“Hot dogs should be eaten with mustard(热狗应该和芥末酱一起吃)”这两个句子中的寄义截然差别。
谷歌发布Transformer的那篇闻名论文。