百度發(fā)布NLP模型ERNIE，基于知識增強，在多個中文NLP任務(wù)中表現(xiàn)超越BERT

本文作者：汪思穎

2019-03-17 10:37

導(dǎo)語：ERNIE 通過建模海量數(shù)據(jù)中的詞、實體及實體關(guān)系，學(xué)習(xí)真實世界的語義知識。

雷鋒網(wǎng) AI 科技評論消息，Google 近期提出的 BERT 模型，通過預(yù)測屏蔽的詞，利用 Transformer 的多層 self-attention 雙向建模能力，取得了很好的效果。但是，BERT 模型的建模對象主要聚焦在原始語言信號上，較少利用語義知識單元建模。這個問題在中文方面尤為明顯，例如，BERT 在處理中文語言時，通過預(yù)測漢字進(jìn)行建模，模型很難學(xué)出更大語義單元的完整語義表示。例如，對于乒 [mask] 球，清明上 [mask] 圖，[mask] 顏六色這些詞，BERT 模型通過字的搭配，很容易推測出掩碼的字信息，但沒有顯式地對語義概念單元 (如乒乓球、清明上河圖) 以及其對應(yīng)的語義關(guān)系進(jìn)行建模。

設(shè)想如果能夠讓模型學(xué)習(xí)到海量文本中蘊含的潛在知識，勢必會進(jìn)一步提升各個 NLP 任務(wù)效果?；诖?，百度提出了基于知識增強的 ERNIE 模型。

ERNIE 通過建模海量數(shù)據(jù)中的詞、實體及實體關(guān)系，學(xué)習(xí)真實世界的語義知識。相較于 BERT 學(xué)習(xí)局部語言共現(xiàn)的語義表示，ERNIE 直接對語義知識進(jìn)行建模，增強了模型語義表示能力。

例如以下例子：

百度發(fā)布NLP模型ERNIE，基于知識增強，在多個中文NLP任務(wù)中表現(xiàn)超越BERT

Learned by BERT ：哈 [mask] 濱是 [mask] 龍江的省會，[mask] 際冰 [mask] 文化名城。
Learned by ERNIE：[mask] [mask] [mask] 是黑龍江的省會，國際 [mask] [mask] 文化名城。

在 BERT 模型中，通過『哈』與『濱』的局部共現(xiàn)，即可判斷出『爾』字，模型沒有學(xué)習(xí)與『哈爾濱』相關(guān)的知識。而 ERNIE 通過學(xué)習(xí)詞與實體的表達(dá)，使模型能夠建模出『哈爾濱』與『黑龍江』的關(guān)系，學(xué)到『哈爾濱』是『黑龍江』的省會以及『哈爾濱』是個冰雪城市。

訓(xùn)練數(shù)據(jù)方面，除百科類、資訊類中文語料外，ERNIE 還引入了論壇對話類數(shù)據(jù)，利用 DLM（Dialogue Language Model）建模 Query-Response 對話結(jié)構(gòu)，將對話 Pair 對作為輸入，引入 Dialogue Embedding 標(biāo)識對話的角色，利用 Dialogue Response Loss 學(xué)習(xí)對話的隱式關(guān)系，進(jìn)一步提升模型的語義表示能力。

通過在自然語言推斷、語義相似度、命名實體識別、情感分析、問答匹配 5 個公開的中文數(shù)據(jù)集合上進(jìn)行效果驗證，ERNIE 模型相較 BERT 取得了更好的效果。

1. 自然語言推斷任務(wù) XNLI

XNLI 由 Facebook 和紐約大學(xué)的研究者聯(lián)合構(gòu)建，旨在評測模型多語言的句子理解能力。目標(biāo)是判斷兩個句子的關(guān)系（矛盾、中立、蘊含）。

鏈接：https://github.com/facebookresearch/XNLI

百度發(fā)布NLP模型ERNIE，基于知識增強，在多個中文NLP任務(wù)中表現(xiàn)超越BERT