0
| 本文作者： AI研習(xí)社-譯站 | 2019-01-07 10:21 |
本文為 AI 研習(xí)社編譯的技術(shù)博客，原標(biāo)題 ：
The year in AI/ML advances: 2018 roundup
作者 | Xavier Amatriain
翻譯 | leogle97
校對(duì) | 醬番梨 整理 | 菠蘿妹
原文鏈接：
https://medium.com/@xamat/the-year-in-ai-ml-advances-2018-roundup-db52f7f96358
AI/機(jī)器學(xué)習(xí)2018年度進(jìn)展綜述
對(duì)我來(lái)說(shuō)，在每年的這個(gè)時(shí)候來(lái)總結(jié)機(jī)器學(xué)習(xí)的進(jìn)展已經(jīng)成為一種慣常(例如我去年在Quora上的回答)。和往常一樣，這個(gè)總結(jié)必然會(huì)因?yàn)槲易约旱呐d趣和關(guān)注點(diǎn)而有所偏頗，但我努力讓它盡可能的涉獵廣泛。請(qǐng)注意，下面是我在Quora上的博客作答。
如果我需要在幾行內(nèi)總結(jié)在2018年的機(jī)器學(xué)習(xí)的主要亮點(diǎn)，這些將是我可能會(huì)提及的：
人工智能的炒作和恐懼的散播逐漸冷卻下來(lái)；
更多關(guān)注聚焦于具體問(wèn)題，如公平、可解釋性或因果關(guān)系；
深度學(xué)習(xí)有所發(fā)揮并在實(shí)踐中不僅適用于圖像分類(lèi)(尤其是自然語(yǔ)言處理)；
人工智能框架的戰(zhàn)斗正在升溫，如果你想成為名人，你最好發(fā)布一些你自己的框架；
讓我們更為細(xì)致地探討他們吧。
如果說(shuō)2017年可能是恐懼散布和人工智能炒作的頂峰，那么2018年似乎是我們開(kāi)始些許冷靜下來(lái)的一年。誠(chéng)然，一些人一直在繼續(xù)宣揚(yáng)他們對(duì)人工智能的恐懼，但他們可能忙于其他問(wèn)題而沒(méi)有把這一點(diǎn)作為他們的重要議程。與此同時(shí)，出版社和其他媒體似乎已經(jīng)平靜下來(lái)，認(rèn)為雖然自動(dòng)駕駛汽車(chē)和類(lèi)似技術(shù)正在向我們走來(lái)，但它們不會(huì)立刻誕生。盡管如此，仍有一些人在為我們應(yīng)該監(jiān)管人工智能而不是專(zhuān)注于監(jiān)管其結(jié)果的壞主意辯護(hù)。
但是值得高興的是，今年的重點(diǎn)似乎已經(jīng)轉(zhuǎn)移到可處理的更具體的問(wèn)題上。例如，有很多關(guān)于公平的討論，并且有許多關(guān)于這個(gè)主題的會(huì)議(參見(jiàn)FATML或ACM FAT)，甚至還有一些谷歌的在線課程。
（圖）谷歌的關(guān)于公平的在線課程
沿著這些方面，今年被廣泛討論的其他問(wèn)題還包括可闡釋性、解釋性和因果性。從后者開(kāi)始，因果關(guān)系似乎重新回到聚光燈下，主要是因?yàn)镴udea Pearl的《為什么之書(shū)》一書(shū)的出版。作者不僅決定寫(xiě)他的第一本“通俗易懂”的書(shū)，而且他還在Twitter上推廣關(guān)于因果關(guān)系的討論。事實(shí)上，就連流行媒體也將其描述為對(duì)現(xiàn)有人工智能方法的“挑戰(zhàn)”(例如，請(qǐng)參閱《大西洋刊》的這篇文章)。實(shí)際上，即使是ACM Recsys大會(huì)上的最佳論文獎(jiǎng)也頒給了一篇關(guān)于如何在嵌入式中包含因果關(guān)系的論文(參見(jiàn)“因果嵌入的建議”)。話雖如此，許多其他作者仍然認(rèn)為因果關(guān)系在某種程度上是一種理論上的干擾，我們應(yīng)該再次關(guān)注更具體的問(wèn)題，比如闡釋性或解釋性。說(shuō)到解釋性，這一領(lǐng)域的一個(gè)亮點(diǎn)可能是關(guān)于Anchor的論文及代碼的發(fā)布，它們是著名的LIME模型的同一作者的后續(xù)。
（圖）Judea Pearl的時(shí)下經(jīng)典
雖然仍然存在一些關(guān)于深度學(xué)習(xí)作為最通用人工智能模型范例的問(wèn)題（考慮到那些疑問(wèn)，算我一個(gè)）,雖然我們繼續(xù)瀏覽的第n個(gè)在Yann LeCun與Gary Marcus間的迭代,顯而易見(jiàn)的是深度學(xué)習(xí)不僅是存在的,并且它仍然是遠(yuǎn)遠(yuǎn)沒(méi)有達(dá)到它可達(dá)到的水平。更具體地說(shuō)，在這一年里，深度學(xué)習(xí)方法在從語(yǔ)言到醫(yī)療保健等不同于視覺(jué)的領(lǐng)域取得了前所未有的成功。
事實(shí)上，很可能是在自然語(yǔ)言處理領(lǐng)域，我們看到了今年最有趣的進(jìn)展。如果我必須選擇今年最令人印象深刻的AI應(yīng)用程序，它們都是自然語(yǔ)言處理(而且都來(lái)自谷歌)。第一個(gè)是谷歌超級(jí)有用的智能架構(gòu)，第二個(gè)是他們的雙工對(duì)話系統(tǒng)。
使用語(yǔ)言模型的想法加速了這些進(jìn)展，這種想法在今年由Fast.ai的UMLFit普及(參見(jiàn)“理解 UMLFit”)。然后，我們看到了其他(和改進(jìn)的)方法，如艾倫的ELMO、Open AI的變形金剛，或者最近谷歌的打敗了許多SOTA的結(jié)果的BERT。這些模型被描述為“自然語(yǔ)言處理的 Imagenet 時(shí)刻”，因?yàn)樗鼈兲峁┝丝墒褂玫念A(yù)訓(xùn)練通用模型，這些模型也可以針對(duì)特定任務(wù)進(jìn)行微調(diào)。除了語(yǔ)言模型之外，還有許多其他有趣的改進(jìn)，比如Facebook的多語(yǔ)言嵌入便是一個(gè)例子。有趣的是，我們還看到這些方法和其他方法是如何迅速地集成到更一般的自然語(yǔ)言處理框架中，比如AllenNLP或Zalando的FLAIR。
（圖）BERT是深度雙向的，OpenAI GPT是單向的，而ELMo是淺雙向的
說(shuō)到框架，今年的“人工智能框架之戰(zhàn)”愈演愈烈。令人驚訝的是，就在Pytorch 1.0發(fā)布時(shí)，Pytorch似乎正在趕上TensorFlow。雖然在生產(chǎn)中使用Pytorch的情況仍然不是最理想的，但是Pytorch在這方面的進(jìn)展似乎比Tensorflow在可用性、文檔和教育方面的進(jìn)展要快。有趣的是，很可能選擇Pytorch作為框架在實(shí)現(xiàn)Fast.ai庫(kù)上扮演了重要角色。話雖如此，谷歌意識(shí)到了這一切，并正在朝著正確的方向推進(jìn)，如將Keras作為最高級(jí)而納入框架，或者增加像Paige Bailey這樣的以開(kāi)發(fā)人員為中心的關(guān)鍵領(lǐng)導(dǎo)。最后，我們都能從這些偉大的資源中獲益，所以請(qǐng)繼續(xù)努力吧!
（圖）pytorch VS tensorflow 的搜索量趨勢(shì)
有趣的是，框架空間中另一個(gè)在框架空間有著諸多有趣的發(fā)展的是強(qiáng)化學(xué)習(xí)。雖然我不認(rèn)為強(qiáng)化學(xué)習(xí)的研究進(jìn)展像前幾年那樣令人印象深刻(我只想到DeepMind最近的Impala的工作)，但令人驚訝的是，在一年時(shí)間里，我們看到所有主要人工智能廠家都發(fā)布了強(qiáng)化學(xué)習(xí)框架。谷歌發(fā)布了Dopamine框架用于研究，而Deepmind(也在谷歌內(nèi)部)發(fā)布了某種程度上與之競(jìng)爭(zhēng)的TRFL框架。Facebook不能落后，它發(fā)布Horizon，而微軟則發(fā)布了TextWorld，而它更擅長(zhǎng)訓(xùn)練基于文本的代理。有希望的是，所有這些開(kāi)源的好處將幫助我們?cè)?019年看到許多強(qiáng)化學(xué)習(xí)的進(jìn)步。
為結(jié)束框架層面的討論，我很高興地看到谷歌最近在Tensor Flow上發(fā)布了TFRank。排名是一個(gè)非常重要的機(jī)器學(xué)習(xí)應(yīng)用，而最近它可能沒(méi)有得到應(yīng)有的喜愛(ài)。
似乎深度學(xué)習(xí)最終消除了對(duì)數(shù)據(jù)的智能需求，但事實(shí)遠(yuǎn)非如此。圍繞著改進(jìn)數(shù)據(jù)的想法，該領(lǐng)域仍有一些非常有趣的進(jìn)展。例如，雖然數(shù)據(jù)增強(qiáng)已經(jīng)存在一段時(shí)間了，而且對(duì)于許多深度學(xué)習(xí)應(yīng)用程序來(lái)說(shuō)很關(guān)鍵，但是今年谷歌發(fā)布了自動(dòng)增強(qiáng)，它是一種自動(dòng)增強(qiáng)訓(xùn)練數(shù)據(jù)的深度強(qiáng)化學(xué)習(xí)方法。一個(gè)更極端的想法是用合成數(shù)據(jù)訓(xùn)練深度學(xué)習(xí)模型。這已經(jīng)在實(shí)踐中被嘗試了一段時(shí)間，并被許多人視為是人工智能未來(lái)的關(guān)鍵。NVidia在使用合成數(shù)據(jù)進(jìn)行深度學(xué)習(xí)訓(xùn)練的論文中提出了有趣的新想法。在我們的“向?qū)＜覍W(xué)習(xí)”中，我們還展示了如何即使是在與現(xiàn)實(shí)數(shù)據(jù)相結(jié)合下，都能使用專(zhuān)家系統(tǒng)來(lái)生成合成數(shù)據(jù)，并使用這些數(shù)據(jù)來(lái)訓(xùn)練深度學(xué)習(xí)系統(tǒng)的方法。最后，還有一個(gè)有趣的方法，就是使用“弱監(jiān)管”來(lái)減少對(duì)大量手工標(biāo)記數(shù)據(jù)的需要。Snorkel是一個(gè)非常有趣的項(xiàng)目，旨在通過(guò)提供一個(gè)通用框架來(lái)促進(jìn)這種方法。
至于人工智能方面的更多基礎(chǔ)性突破，可能是我和我的關(guān)注點(diǎn)，但我并沒(méi)有看到太多。我不完全同意辛頓的觀點(diǎn)，他說(shuō)缺乏創(chuàng)新是因?yàn)檫@個(gè)領(lǐng)域有“一些資深人士和無(wú)數(shù)的年輕人”，盡管在科學(xué)領(lǐng)域確實(shí)存在一種趨勢(shì)，即突破性研究是在較晚的年齡完成的。在我看來(lái)，目前缺乏突破的主要原因是現(xiàn)有方法和變化仍然有許多有趣的實(shí)際應(yīng)用，所以很難冒險(xiǎn)采用那些可能不太實(shí)際的方法。當(dāng)該領(lǐng)域的大部分研究由大公司贊助時(shí)，這一點(diǎn)就更加重要了。無(wú)論如何，一篇對(duì)某些假設(shè)提出挑戰(zhàn)的有趣論文是“對(duì)用于序列建模的通用卷積網(wǎng)絡(luò)和循環(huán)網(wǎng)絡(luò)的實(shí)證評(píng)估”。雖然它是高度經(jīng)驗(yàn)主義并使用已知的方法，但它打開(kāi)了發(fā)現(xiàn)新方法的大門(mén)，因?yàn)樗C明了通常被認(rèn)為是最佳的方法實(shí)際上不是最佳的。需要明確的是，我不同Bored Yann LeCun所認(rèn)為的看法，即卷積網(wǎng)絡(luò)是最終的“主宰算法”，而是認(rèn)為RNN也不是。即使是序列建模也有很大的研究空間。另一篇具有高度探索性的論文是最近的NeurIPS最佳論文獎(jiǎng)“神經(jīng)常微分方程”，它挑戰(zhàn)了深度學(xué)習(xí)中的一些基本內(nèi)容，包括層本身的概念。
有趣的是，該論文的動(dòng)機(jī)來(lái)自一個(gè)項(xiàng)目，作者在該項(xiàng)目中研究醫(yī)療數(shù)據(jù)(更具體地說(shuō)，是電子健康記錄)。我必須在這篇總結(jié)時(shí)提及人工智能和醫(yī)療保健交叉領(lǐng)域的研究，因?yàn)檫@是我在Curai的重點(diǎn)所在。不幸的是，在這個(gè)空間里發(fā)生了太多的事情，以至于我需要寫(xiě)另一篇文章。所以，我會(huì)指出在MLHC會(huì)議和ML4H NeurIPS研討會(huì)上發(fā)表的論文。我們?cè)贑urai的團(tuán)隊(duì)成功地讓論文在這兩處都被接受，所以你會(huì)在許多有趣的論文中發(fā)現(xiàn)我們的論文，它們會(huì)讓你了解我們的世界正在發(fā)生什么。
想要繼續(xù)查看該篇文章相關(guān)鏈接和參考文獻(xiàn)？
長(zhǎng)按鏈接點(diǎn)擊打開(kāi)或點(diǎn)擊【AI/機(jī)器學(xué)習(xí)2018年度進(jìn)展綜述】：
https://ai.yanxishe.com/page/TextTranslation/1380
AI研習(xí)社每日更新精彩內(nèi)容，觀看更多精彩內(nèi)容：雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
等你來(lái)譯：
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
