LaBSE一套支持109种语言的新语言不可知论内嵌模型

LaBSE一套支持109种语言的新语言不可知论内嵌模型

据外媒报道,自transformer架构诞生以来,自然语言处理(NLP)和自然语言生成(NLG)领域就受益匪浅。Transformer模型如BERT及其衍生物已经被应用到一系列领域中,包括情绪分析和分类。近年来,为了让这些模型变得更加健全,相关人员付出了大量的努力,尤其是通过扩展蒙面语言模型(MLM)的预培训并将其跟翻译语言建模(TLM)结合起来从而使得模型变为语言不可知论。

考虑到这一点,谷歌的研究人员现在推出了一种多语言BERT嵌入模型,叫做“语言不可知论BERT句子嵌入(Language-agnostic BERT Sentence Embedding,简称LaBSE)”,它在一个单一模型上为109种语言生成语言不可知论的跨语言句子嵌入。简单地说,LaBSE将MLM和TLM预培训结合在一个12层transformer上,据悉,该转换器包含有500,000个带有使用双向双编码器完成的翻译排序任务的token。

它是美国海军“黄蜂”级两栖攻击舰中的一艘,编制约1000人,排水量超过4万吨,于1998年交付美国海军。美联社报道称,该军舰长255米,可以部署直升机、小型舰艇和两栖车辆。

他说,起火原因尚不清楚,只有在机组人员确认没有留下任何着火点后,调查才会展开。

据了解,LaBSE的潜在应用包括从网络中挖掘并行文本。研究人员则将其应用到CommonCrawl上,进而从LaBSE预处理和编码的77亿英语句子库中寻找潜在的翻译。有了这些嵌入,翻译模型显示出了极高的准确性,其分数达到了35.7和27.2。谷歌写道:“这跟目前在高质量并行数据上训练的先进模型只有几分之遥。”

据报道,63名消防队员在火灾中受伤,他们中的大部分人是由于中暑和吸入浓烟。索贝克表示,没有人受重伤。

当地时间7月13日,美国海军两栖攻击舰“好人理查德”号大火进入第二天。图为“好人理查德”号舰体冒出滚滚浓烟。

“好人理查德”号停泊在加利福尼亚州圣迭戈海军基地,近期正在港内进行维护作业,12日早晨突然起火。事发时舰上有约160名水兵。

结果表明,即使在训练过程中没有数据可用的低资源语言上该模型也是有效的。除此之外,LaBSE还在多个并行文本或双语文本检索任务上建立了一个艺术新状态(SOTA)。具体地说,随着语言数量的增加,传统的模型如m~USE和LASER模型,其在平均精度上表现出比LaBSE更明显的下降。

现在,这个预训练模型可以在TensorFlow Hub找到。

为了训练这个模型,研究人员使用了170亿个单语句子和60亿对双语句子。一旦训练完成就会使用Tatoeba语料库对LaBSE进行评估,据悉,该模型的任务是利用余弦距离为给定的句子找到最近邻的翻译。