2019 年 1 月 15 日，谷歌高級研究員 Jeff Dean 和谷歌人工智能主管代表整個谷歌研究社區(qū)發(fā)布了 2018 年 AI 年度總結(jié)，本文是年度總結(jié)的下篇。本文主要總結(jié)了AutoML、TPUs、開源軟件與數(shù)據(jù)集和機器人學(xué)等技術(shù)和應(yīng)用進行了總結(jié)，并對 2019 年進行了展望。雷鋒網(wǎng) AI 科技評論編譯整理如下：

谷歌在 2018 年在下面這些方面也有所進展：

AutoML

AutoML 也被稱作「元學(xué)習(xí)」，主要通過機器學(xué)習(xí)方式讓機器學(xué)習(xí)的某些方面實現(xiàn)「自動化」。多年來我們一直在該領(lǐng)域進行研究，目標是開發(fā)出一個懂得借鑒過往積累的見解與能力，進而自動發(fā)現(xiàn)并解決新問題的系統(tǒng)。早期我們使用得最多的是強化學(xué)習(xí)，如今我們也將目光鎖定在了進化算法上。去年，我們向大家展示了如何通過進化算法為視覺任務(wù)自動發(fā)掘最先進的神經(jīng)網(wǎng)絡(luò)架構(gòu)。此外，我們也探索了強化學(xué)習(xí)在神經(jīng)網(wǎng)絡(luò)架構(gòu)檢索以外的更多作用，最后成功證明可用于下列問題的解決上：

1）自動生成圖像變換序列，提高各種圖像模型的準確性；

2）找到一種全新的符號優(yōu)化表達形式，比起常用的優(yōu)化規(guī)則效果更好。

我們在 AdaNet 的工作展示了如何創(chuàng)建一個學(xué)習(xí)效果有保障、使用上快速靈活的 AutoML 算法。

AdaNet 自適應(yīng)地增強了神經(jīng)網(wǎng)絡(luò)的集成。它在每次迭代的過程中計算每個候選者的集合損失，再從中挑選最優(yōu)秀的候選者進入下一輪迭代。

我們另外一項工作重點是自動發(fā)掘計算效率最高的神經(jīng)網(wǎng)絡(luò)架構(gòu)，以便它們能在一些計算資源和推理時間有限的環(huán)境中（如移動電話、自動駕駛車輛等）運行。為此，我們證明只要在強化學(xué)習(xí)架構(gòu)搜索的獎勵函數(shù)中把模型的準確率與推理時間進行結(jié)合，就能找到既滿足高度準確性又符合特定性能約束的模型。此外，我們還探索了如何通過 ML 來學(xué)習(xí)自動壓縮 ML 模型，以更少的調(diào)試參數(shù)和計算資源消耗的方式。

TPUs

Tensor Processing Units (TPUs) 是谷歌內(nèi)部自主研發(fā)的 ML 硬件加速器，最開始的設(shè)計初衷就是為了用于大規(guī)模的訓(xùn)練與推理上。TPUs 讓谷歌的許多研究得以實現(xiàn)突破，比如廣為人知的 BERT（前文提過），此外，通過開源的方式，它能讓世界各地的研究人員對谷歌的研究進行拓展并實現(xiàn)突破。最典型的例子，任何人都可以通過 Colab 免費在 TPUs 上對 BERT 進行微調(diào)，這里要提一下 TensorFlow Research Cloud，它使數(shù)以千計的研究人員得以從大體量的免費云 TPU 供給的計算能力中受惠。此外，我們還將多代 TPU 硬件作為商用云 TPUs 對外出售，其中包括被稱作 Cloud TPU Pod 的 ML 超級計算機，這使大規(guī)模的 ML 訓(xùn)練服務(wù)變得觸手可及。僅就谷歌內(nèi)部而言，除了讓 ML 研究取得快速進步，TPUs 還推動了谷歌核心產(chǎn)品的重大改進，其中包括谷歌檢索、YouTube、Gmail、Google 智能助理和谷歌翻譯等。我們期待看到來自谷歌內(nèi)部和其他地方的 ML 團隊可以通過 TPUs，以其前所未有的計算規(guī)模在 ML 領(lǐng)域取得更多突破。

單個 TPU v3 設(shè)備（左）與 TPU v3 Pod 的部分部件展示（右）。TPU v3 是谷歌最新一代的 Tensor Processing Unit（TPU）硬件。它以云 TPU v3 的形式對外出售，采用液體冷卻技術(shù)以獲得最佳性能（計算機芯片 + 液體 = 太有意思了！），而完整的 TPU v3 Pod 將可以為全球最大的 ML 任務(wù)提供高達 100 petaflops 的計算能力。

開源軟件與數(shù)據(jù)集

發(fā)布開源軟件與創(chuàng)建全新的公共數(shù)據(jù)集，是我們?yōu)檐浖こ萄芯可鐓^(qū)做貢獻的最主要兩種方式。這方面我們最大的貢獻之一要屬 TensorFlow，這是一款發(fā)布于 2015 年 11 月的 ML 計算系統(tǒng)，這些年來倍受歡迎。2018 年我們剛為 TensorFlow 慶祝完第 3 個生日，這期間 TensorFlow 已經(jīng)被被下載超過 3000 萬次，且有超過 1700 名的貢獻者添加了 45 000 次的 commits。我們在 2018 年為 TensorFlow 更新了 8 個主要版本，增加了動態(tài)圖機制和分發(fā)策略等主要功能。在研發(fā)過程中，我們啟動了吸引社區(qū)注意力的公眾設(shè)計評審活動，通過組建特殊興趣小組留住貢獻者。隨著 TensorFlow Lite、TensorFlow.js 和 TensorFlow Probability 等產(chǎn)品的相繼推出，TensorFlow 生態(tài)系統(tǒng)也在 2018 年迎來了大幅增長。

我們很高興得知 TensorFlow 作為頂級機器學(xué)習(xí)和深度學(xué)習(xí)框架在 Github 上擁有強大的號召力。TensorFlow 團隊也一直致力于實現(xiàn)快速解決 Github 上存在的問題，為外部貢獻者提供更順暢的操作通道。根據(jù)谷歌學(xué)術(shù)檢索，我們已公開發(fā)表的論文持續(xù)為全世界的大部分機器學(xué)習(xí)和深度學(xué)習(xí)研究提供了有效支持。TensorFlow Lite 僅推出 1 年，便在全球超過 15 億的設(shè)備上獲得使用；成為 JavaScript 使用排名第一的 ML 框架；同時在對外放出的短短 9 個月內(nèi)，已在 Github 獲得超過 2 百萬次的內(nèi)容分發(fā)網(wǎng)絡(luò)（CDN）點擊量、20.5 萬次下載量以及超過 1 萬次的星星點亮。

除了繼續(xù)耕耘現(xiàn)有的開源生態(tài)系統(tǒng)，2018 年我們還做了以下事情：

引入一個用于靈活、可再現(xiàn)強化學(xué)習(xí)的全新框架https://ai.googleblog.com/2018/08/introducing-new-framework-for-flexible.html

引入一個可以快速習(xí)得數(shù)據(jù)集特征的可視化工具（無需編寫任何代碼）https://ai.googleblog.com/2018/09/the-what-if-tool-code-free-probing-of.html

增加一個涉及 learning-to-rank 算法（以最大化整個列表效用的方式對項目列表進行排序的過程，適用于包括搜索引擎、推薦系統(tǒng)、機器翻譯、對話系統(tǒng)甚至是計算生物學(xué)等領(lǐng)域）的高級機器學(xué)習(xí)問題庫http://ai.googleblog.com/2018/12/tf-ranking-scalable-tensorflow-library.html

發(fā)布一個快速、靈活的 AutoML 解決方案框架發(fā)布一個通過 TensorFlow.js 執(zhí)行瀏覽器實時 t-SNE 可視化工作的庫增加用于處理電子醫(yī)療數(shù)據(jù)（會在本文醫(yī)療保障環(huán)節(jié)提到）的 FHIR 工具 & 軟件

針對完整 MNIST 數(shù)據(jù)集的 tSNE 嵌入實時演變過程。該數(shù)據(jù)集包含 60,000 個手寫數(shù)字圖像。現(xiàn)場演示請點擊：https://nicola17.github.io/tfjs-tsne-demo/

公共數(shù)據(jù)集是觸發(fā)靈感的絕佳來源，可帶領(lǐng)許多領(lǐng)域取得重大進步，因為公共數(shù)據(jù)集能夠為社區(qū)帶來有趣的數(shù)據(jù)和問題，并在許多任務(wù)的解決上形成有益的競爭氛圍。今年我們很高興能夠發(fā)布谷歌數(shù)據(jù)集檢索工具（Google Dataset Search），這是一款可以讓我們從各個網(wǎng)絡(luò)渠道查找想要的公共數(shù)據(jù)集的全新工具。從數(shù)百萬的通用注釋圖像或視頻數(shù)據(jù)集、到用于語音識別的孟加拉人群源數(shù)據(jù)集、再到機器人手臂抓取數(shù)據(jù)集，這些年我們策劃并發(fā)布了多個嶄新數(shù)據(jù)集，即使在 2018 年，數(shù)據(jù)集的清單也還在不斷增加中。

通過 Crowdsource 軟件添加到 Open Images Extended 的圖片（源自印度 & 新加坡）

我們還發(fā)布了 Open Images V4，這是一個包含 15.4 M 基于 600 種類別多達 1.9 M 圖像的邊框數(shù)據(jù)以及 30.1 M 源自 19,794 種類別的人工驗證圖像級標簽的數(shù)據(jù)集。我們通過 crowdsource.google.com 為數(shù)據(jù)集添加了 5.5M 由世界各地數(shù)百萬用戶提供的生成注釋數(shù)據(jù)，有效豐富了數(shù)據(jù)集在人和場景方面的多樣性。我們還發(fā)布了具備視頻視聽注解功能的 Atomic Visual Actions (AVA) 數(shù)據(jù)集，可以有效提升機器理解視頻中人類的行為與語言的能力。此外，我們還官宣了最新的 YouTube-8M 挑戰(zhàn)賽和第二屆 YouTube-8M Large-Scale Video 理解挑戰(zhàn)賽與 Workshop。其他發(fā)布的數(shù)據(jù)集，如 HDR + Burst Photography 旨在為計算攝影領(lǐng)域的各種研究提供幫助；Google-Landmarks 是一個作用于地標識別的全新數(shù)據(jù)集。除了發(fā)布數(shù)據(jù)集，我們還探索了相關(guān)的一些新技術(shù)，比如 Fluid Annotation 可以讓我們快速創(chuàng)建可視化數(shù)據(jù)集，通過一種探索性的 ML 驅(qū)動接口實現(xiàn)更快的圖像注釋行為。

Fluid Annotation 基于 COCO dataset 圖像的可視化效果。圖片來源：gamene，原始圖片。

我們時不時還會給研究界樹立新挑戰(zhàn)，以便聚合大家一同來解決棘手的研究問題。一般來說，我們會通過發(fā)布新的數(shù)據(jù)集來達到這個目的，但也有例外的時候。比如今年，我們就圍繞包容性圖像挑戰(zhàn)賽制定了全新的挑戰(zhàn)，致力于創(chuàng)造免除偏見、更具魯棒性的模型；iNaturalist 2018 挑戰(zhàn)賽旨在讓計算機得以細致區(qū)分物體的類別（如圖像中的植物種類）；在 Kaggle 上發(fā)起的 "Quick, Draw!" Doodle Recognition 挑戰(zhàn)賽試圖為 QuickDraw 游戲創(chuàng)建更好的分類器；還有 Conceptual Captions 作為大規(guī)模的圖像字幕數(shù)據(jù)集挑戰(zhàn)賽，旨在推動更好的圖像字幕模型研究。

機器人學(xué)

2018 年，我們在理解機器學(xué)習(xí)如何教機器人行動這個目標方面取得了重大進展，在教機器人掌握新事物的能力方面達到了新的里程碑（2018 年 CORL 的最佳系統(tǒng)論文）。我們還通過結(jié)合機器學(xué)習(xí)和基于采樣的方法（2018 年 ICRA 的最佳服務(wù)機器人論文）以及研究機器人的幾何構(gòu)造，在機器人運動學(xué)習(xí)方面取得了進展。我們在機器人通過自主觀察更好地感知世界結(jié)構(gòu)這一能力上取得了很大的進步。我們第一次成功地在真正的機器人上在線訓(xùn)練了深層強化學(xué)習(xí)模型，并且正在尋找新的理論方法，學(xué)習(xí)控制機器人的穩(wěn)定方法。

人工智能在其他領(lǐng)域的應(yīng)用

2018 年，我們將深度學(xué)習(xí)應(yīng)用于物理和生物科學(xué)的一系列問題中。使用深度學(xué)習(xí)，我們可以為科學(xué)家提供相當于數(shù)以百計的挖掘數(shù)據(jù)研究助理，從而提高他們的創(chuàng)造力和生產(chǎn)力。

我們關(guān)于神經(jīng)元高精度自動重建的論文提出了一個新的模型，與以前的深度學(xué)習(xí)技術(shù)相比，它將連接體數(shù)據(jù)（connectomics data）自動解釋的準確性提高了一個數(shù)量級。

圖為我們的算法正在跟蹤鳴禽大腦中的一個神經(jīng)突觸

將機器學(xué)習(xí)應(yīng)用于科學(xué)的其他一些示例有：

通過對恒星的光曲線數(shù)據(jù)進行挖掘，發(fā)現(xiàn)太陽系外的新行星識別短 DNA 序列的起源或功能自動檢測離焦顯微鏡圖像用數(shù)字技術(shù)構(gòu)建同一個細胞帶有污點的圖像自動繪制肽鏈的質(zhì)譜分析圖

在 Fiji（圖像 J）里面，一個 TensorFlow 模型對顯微鏡細胞拼接圖像的聚焦質(zhì)量進行了評估。邊界的色調(diào)表示預(yù)測的焦點質(zhì)量，邊界亮度表示預(yù)測的不確定性。

健康

在過去的幾年中，我們一直在將機器學(xué)習(xí)應(yīng)用于健康領(lǐng)域，這一領(lǐng)域影響著我們每一個人，我們相信通過機器學(xué)習(xí)可以增強專業(yè)醫(yī)療人員的直覺和經(jīng)驗，從而為醫(yī)療領(lǐng)域帶來巨大的改變。我們一般會與醫(yī)療保健組織合作，解決基礎(chǔ)研究問題（利用臨床專家的反饋使我們的結(jié)果更加可信），然后將結(jié)果發(fā)表在權(quán)威的同行評審的科學(xué)和臨床期刊上。一旦研究得到臨床和科學(xué)驗證，我們就進行用戶和 HCI 研究，以了解在現(xiàn)實的臨床環(huán)境中如何部署它。2018 年，我們將臨床任務(wù)預(yù)測也納入了計算機輔助診斷的領(lǐng)域。

在 2016 年底，我們發(fā)表的研究表明，在一項回顧性研究中，接受過糖尿病視網(wǎng)膜病變體征視網(wǎng)膜底圖像評估訓(xùn)練的模型在這項任務(wù)中的表現(xiàn)比美國醫(yī)學(xué)委員會認證的眼科醫(yī)師略好。2018 年，我們能夠證明，通過讓視網(wǎng)膜專家對培訓(xùn)圖像進行標記，并使用一個判定方案（在該方案中，多個視網(wǎng)膜專家聚集在一起，對每個眼底圖像進行一次單獨的集體評估），我們可以得出一個與視網(wǎng)膜專家相當?shù)哪Ｐ汀：髞恚覀儼l(fā)表了一份評估報告，展示了眼科醫(yī)生如何利用這種機器學(xué)習(xí)模型，使他們做出比單獨做出比不使用機器學(xué)習(xí)時更準確的決定。我們已經(jīng)在印度的 Aravind 眼科醫(yī)院和泰國衛(wèi)生部附屬的 Rajavithi 醫(yī)院等 10 多個地點與我們 Alphabet 的同事合作，共同部署了這種糖尿病視網(wǎng)膜病變檢測系統(tǒng)。

左側(cè)是一張視網(wǎng)膜眼底圖像，被眼科專家評審小組評定為中度 DR（「MO」）。右上角是模型預(yù)測得分的圖示（「N」=無 DR，「MI」=輕度 DR，「MO」=中度 DR）。右下角是醫(yī)生在沒有幫助的情況下給出的一組分數(shù)。

我們還發(fā)表了一個機器學(xué)習(xí)模型的研究，這個模型可以通過視網(wǎng)膜圖像評估心血管病患病風(fēng)險。這是一種新型的無創(chuàng)生物標記方法，它可以幫助臨床醫(yī)生更好地了解患者的健康狀況。

我們今年還繼續(xù)關(guān)注病理學(xué)，展示了如何使用機器學(xué)習(xí)改善前列腺癌的分級，通過深度學(xué)習(xí)來檢測轉(zhuǎn)移性乳腺癌，并開發(fā)了一個增強現(xiàn)實顯微鏡的原型，它可以通過將從計算機視覺模型中獲得的視覺信息實時疊加到顯微鏡學(xué)家的視野中，輔助病理學(xué)家和其他科學(xué)家的工作。

在過去的四年中，我們在利用電子健康記錄數(shù)據(jù)進行深度學(xué)習(xí)，從而做出臨床相關(guān)預(yù)測方面做了大量的研究工作。2018 年，我們與芝加哥大學(xué)醫(yī)學(xué)院、加州大學(xué)舊金山分校和斯坦福大學(xué)醫(yī)學(xué)院合作，并將研究成果發(fā)表在《自然數(shù)字醫(yī)學(xué)》雜志上。我們的研究是關(guān)于如何將機器學(xué)習(xí)模型應(yīng)用于未識別的電子病歷中，與當前的最佳臨床實踐相比，它可以對各種臨床相關(guān)任務(wù)做出更準確的預(yù)測。作為這項工作的一部分，我們開發(fā)了一些工具，使得在人物差異很大，底層 EHR 數(shù)據(jù)集也非常不同的情況下，創(chuàng)建這些模型變得更加容易。我們開發(fā)了快速醫(yī)療保健協(xié)作資源（Fast Healthcare Interoperability Resources (FHIR)）標準相關(guān)的開源軟件，以幫助更容易和更標準化地處理醫(yī)療數(shù)據(jù)（請參閱此 Github 代碼庫）。最近，團隊與合作伙伴共同努力，在《Nature Biotechnology》上發(fā)表了同行評議論文。

在將機器學(xué)習(xí)應(yīng)用于歷史收集的數(shù)據(jù)時，重要的是要了解過去經(jīng)歷過人類結(jié)構(gòu)偏差的人群，以及這些偏差是如何在數(shù)據(jù)中編碼的。機器學(xué)習(xí)提供了一個機會來檢測和解決偏見，并積極推進健康公平，這也正是我們正在努力推進的一個方面。

研究推廣

我們采用了許多不同的方式與外部研究團體互動，包括教師參與和學(xué)生支持。我們很榮幸接收數(shù)百名本科生、碩士和博士生作為實習(xí)生，并為北美、歐洲和中東地區(qū)的學(xué)生提供多年的博士獎學(xué)金。除了財政支持，每個獎學(xué)金獲得者都被指派一個或多個谷歌研究人員作為導(dǎo)師，我們召集所有的研究員參加一年一度的谷歌博士獎學(xué)金峰會，在那里他們可以接觸到谷歌正在進行的最先進的研究，并有機會與谷歌的研究人員以及其他來自世界各地的博士生建立聯(lián)系。可以查看視頻：https://youtu.be/7RcUokN_eCg。

Google AI 實習(xí)生服務(wù)是這項獎學(xué)金計劃的補充，它的形式是，讓想要學(xué)習(xí)進行深度學(xué)習(xí)研究的人花一年時間與 Google 的研究人員一起工作并接受指導(dǎo)。2018 年是這項服務(wù)的第三年，全球的谷歌員工都加入了不同的團隊，從事機器學(xué)習(xí)、感知、算法和優(yōu)化、語言理解、醫(yī)療保健等領(lǐng)域的研究。目前該項目第四年的申請已經(jīng)結(jié)束，我們很期待看到研究人員在 2019 年將進行的研究。

每年，我們還通過我們的 Google Faculty Research Awards 計劃為一些研究項目的教員和學(xué)生提供支持。2018 年，我們還繼續(xù)在谷歌（Google）為特定領(lǐng)域的教職員工和學(xué)生舉辦研討會，包括在印度班加羅爾辦事處舉辦的人工智能/機器學(xué)習(xí)研究與實踐研討會、在蘇黎世辦事處舉辦的算法與優(yōu)化研討會、在桑尼維爾舉辦的機器學(xué)習(xí)醫(yī)療保健應(yīng)用研討會、在劍橋舉辦了關(guān)于公平與偏見的研討會。

我們認為，公開向?qū)V泛的研究群體作出貢獻是支持健康、高效的研究環(huán)境的關(guān)鍵部分。除了開放源代碼和發(fā)布數(shù)據(jù)集之外，我們的大部分研究成果都在頂級會議和期刊上公開發(fā)布，我們還積極參與各種不同學(xué)科范圍的會議組織和贊助。我們參與了 ICLR 2018、NAACL 2018、ICML 2018、CVPR 2018、NEURIPS 2018、ECCV 2018 和 EMNLP 2018。同時，2018 年谷歌還廣泛參與了 ASPLOS、HPCA、ICSE、IEEE Security & Privacy、OSDI、SIGCOMM 等會議。

新地方，新面孔

2018 年，我們很高興地迎來了許多具有不同背景的新人加入我們的研究機構(gòu)。我們宣布成立在非洲的第一個人工智能研究實驗室，它位于加納共和國的首都阿克拉。我們擴大了在巴黎、東京和阿姆斯特丹的人工智能實驗室規(guī)模，并在普林斯頓開設(shè)了一個研究實驗室。我們將繼續(xù)在全球各地的辦公室招聘人才，您可以了解更多有關(guān)加入我們的信息。

展望 2019 年

這篇博文只總結(jié)了 2018 年我們進行的研究的一小部分。回顧 2018 年，我們?yōu)槲覀兯〉贸删偷膹V度和深度感到興奮和自豪。2019 年，我們期待對谷歌的方向和產(chǎn)品產(chǎn)生更大的影響，也期待著對更廣泛的研究和工程界產(chǎn)生更大的影響！