|
我們都知道谷歌有龐大的研究機(jī)構(gòu)規(guī)模，谷歌的研究人員們有的從事算法理論研究,、有的從事算法應(yīng)用研究,，而在兩個(gè)方向中，谷歌都是重要的中堅(jiān)力量,，每年都會(huì)產(chǎn)出許多前瞻性的,、或者帶來重大改進(jìn)的、或者有很高應(yīng)用價(jià)值的研究成果,。
以谷歌 AI 為核心的谷歌研究院的目標(biāo)就正是“研究長(zhǎng)期的,、有重大意義的問題，其中重點(diǎn)關(guān)注那些能給普通大眾帶來更好生活的問題”,。2019 年結(jié)束以后,，谷歌研究院副總裁、谷歌技術(shù)傳奇人物 Jeff Dean 和往年一樣執(zhí)筆（鍵盤）寫下了谷歌研究院2019年的年終總結(jié),。在這一年中,，谷歌在醫(yī)療、機(jī)器人等新興領(lǐng)域做出了大量技術(shù)應(yīng)用成果,，也給谷歌的產(chǎn)品線增加了許多新成員,、新功能。 Jeff Dean的年終總結(jié)中同時(shí)涵蓋了許多產(chǎn)品開發(fā)和學(xué)術(shù)研究成果,，我們更關(guān)注其中的學(xué)術(shù)研究成果,，這篇文章就把這些學(xué)術(shù)研究成果翻譯介紹如下。如果量子計(jì)算機(jī)投入使用,，它將可以大大簡(jiǎn)化材料科學(xué)、量子化學(xué),、大規(guī)模優(yōu)化等問題的難度,。不過目前距離那一步還有很遠(yuǎn)的距離，我們需要繼續(xù)做出努力,，推動(dòng)這個(gè)領(lǐng)域前進(jìn),。谷歌的下一個(gè)研究重點(diǎn)是在量子計(jì)算中實(shí)現(xiàn)量子糾錯(cuò)，這樣可以運(yùn)行耗時(shí)更久的運(yùn)算,。除此之外,，谷歌還在研究如何讓量子算法更容易表達(dá)、如何讓硬件更容易控制,，而且他們已經(jīng)發(fā)現(xiàn)了可以借助深度強(qiáng)化學(xué)習(xí)之類的機(jī)器學(xué)習(xí)方法,，來幫助構(gòu)建更可靠的量子處理器。2019年的這些量子計(jì)算研究成果給人帶來很多激勵(lì),，也是讓量子計(jì)算更成熟,、能解決世界中的真實(shí)問題的早期探索。在通用算法和理論方面,，我們繼續(xù)開展從算法基礎(chǔ)到應(yīng)用的研究，同時(shí),，也做了一些關(guān)于圖挖掘和市場(chǎng)算法的工作,。我們?cè)凇秷D學(xué)習(xí)算法概述》這篇博客中詳細(xì)介紹了這項(xiàng)工作。https://ai./2019/06/innovations-in-graph-representation.html
VLDB 2019 上,，我們發(fā)表了一篇論文,，標(biāo)題是《Cache-aware load balancing of data center applications》，它還有一個(gè)備選標(biāo)題——《Increase the serving capacity of your data center by 40% with this one cool trick》,。這篇論文描述了我們?nèi)绾卫脠D的均衡分割來專門化網(wǎng)絡(luò)搜索后端服務(wù)系統(tǒng)的緩存,，從而同樣的閃存存儲(chǔ)能夠支持的查詢流量提升了 48%，這讓整個(gè)搜索后端能支持的查詢流量提升了40%,。 在 ICLR 2019 的論文《A new dog learns old tricks: RL finds classic optimization algorithms》中,，我們發(fā)現(xiàn)了算法和機(jī)器學(xué)習(xí)之間的新的聯(lián)系，這也顯示了強(qiáng)化學(xué)習(xí)是如何有效地為線上匹配和分配此類經(jīng)典的線上優(yōu)化組合問題,，找到最優(yōu)（在最壞的情況下,，一致的）算法。 我們?cè)诳缮炜s算法方面的工作涵蓋了大數(shù)據(jù)集的并行,、在線和分布式算法：第一，在最近發(fā)表的FOCS 2019 論文《Near-Optimal Massively Parallel Graph Connectivity》中，我們提供了一個(gè)接近最優(yōu)的大型平行計(jì)算算法來連接這些部分,；第二,，我們還發(fā)表了另一組論文《Coresets Meet EDCS: Algorithms for Matching and Vertex Cover on Massive Graphs》、《Distributed Weighted Matching via Randomized Composable Coresets》,、《Improved Parallel Algorithms for Density-Based Network Clustering》,，在理論和實(shí)踐中改進(jìn)了匹配的平行算法的同時(shí)，也改進(jìn)了密度聚類的平行算法,；第三,，我們還開展了關(guān)于黑箱模型中自適應(yīng)優(yōu)化子模塊函數(shù)的工作（《Categorical Feature Compression via Submodular Optimization》），這項(xiàng)工作目前已在特征選擇和詞匯壓縮等方面得到了一些應(yīng)用,。我們還在一篇 SODA 2019 《Submodular Maximization with Nearly Optimal Approximation, Adaptivity and Query Complexity》論文中,，提出了一個(gè)子模塊最大化算法，它在近似因子,、循環(huán)復(fù)雜度和查詢復(fù)雜度這三個(gè)方面幾乎都是最優(yōu)的,。另外，在另一篇FOCS 2019 論文《Residual Based Sampling for Online Low Rank Approximation》中,，我們提供了首個(gè)針對(duì)PCA（主成分分析）和列子集選擇問題的在線乘法近似算法,。我們?cè)谄渌囊恍┕ぷ髦校€引入半在線計(jì)算模型,，假設(shè)未知的未來包括一個(gè)可預(yù)測(cè)的部分和一個(gè)對(duì)抗的部分,。對(duì)于經(jīng)典的組合問題，如二部圖匹配和緩存,，我們通過使用半在線算法,，來確保可以在可能最好的在線和離線算法之間流暢地插值,。 在市場(chǎng)算法方面,，我們最近的研究工作包括，全新地理解了學(xué)習(xí)和市場(chǎng)之間的相互作用,，并在實(shí)驗(yàn)設(shè)計(jì)上實(shí)現(xiàn)了創(chuàng)新,。例如，我們?cè)凇禨trategizing against No-regret Learners》這篇 NeurIPS 2019 Oral 論文中,，揭示了策略型智能體在常見的重復(fù)兩人游戲中與一個(gè)學(xué)習(xí)智能體比賽時(shí),，具有令人驚訝的競(jìng)爭(zhēng)優(yōu)勢(shì)。我們最近聚焦于廣告自動(dòng)化方面的研究工作,，增加了我們對(duì)于自動(dòng)競(jìng)價(jià)和理解廣告商的反饋行為的興趣,。在一組 WINE 2019 論文《Response Prediction for Low-Regret Agents》、《Autobidding with Constraints》中,，我們研究了最大化代表廣告商的對(duì)話的最優(yōu)策略,，以及進(jìn)一步學(xué)習(xí)拍賣過程中廣告商發(fā)生任何變化的反饋行為,。同時(shí)，我們還研究了存在干預(yù)行為的實(shí)驗(yàn)設(shè)計(jì),，在此干預(yù)下,，某一方的行為可能會(huì)影響另一方法的結(jié)果。我們?cè)谝黄?KDD 2019 論文《Randomized Experimental Design via Geographic Clustering》和一篇 NeurIPS2019 論文《Variance Reduction in Bipartite Experiments through Correlation Clustering》中,，展示了如何在保持實(shí)驗(yàn)效果的同時(shí),，定義單元以及單元群來限制干預(yù)。2019年,，我們?cè)跈C(jī)器學(xué)習(xí)算法的許多領(lǐng)域都進(jìn)行了探索，一個(gè)工作重點(diǎn)是了解神經(jīng)網(wǎng)絡(luò)中的訓(xùn)練動(dòng)力學(xué)的性質(zhì),。在《 Measuring the Limits of Data Parallel Training for Neural Networks》一文中,，我們提出了一組實(shí)驗(yàn)，表明（通過批量）擴(kuò)展數(shù)據(jù)并行量可以有效使模型收斂更快,。 與將數(shù)據(jù)分布在多個(gè)計(jì)算設(shè)備中的數(shù)據(jù)并行性相比,，模型并行性也是擴(kuò)展模型的一種有效方法。GPipe是一個(gè)通過類似于流水線CPU處理器所使用的方法的庫,，它可以使模型并行化更加有效：當(dāng)整個(gè)模型的一部分正在處理某些數(shù)據(jù)時(shí),，其他部分可以并行計(jì)算不同的數(shù)據(jù)。這種流水線的結(jié)果可以組合在一起,，從而來模擬更大的有效批次大小,。當(dāng)機(jī)器學(xué)習(xí)模型能從原始數(shù)據(jù)輸入中學(xué)習(xí)到較高級(jí)別的“經(jīng)過解耦”的表征，而且這些表征就是我們希望模型能分辨的屬性（貓vs卡車vs牛羚,，癌組織vs正常組織）時(shí),，機(jī)器模型就能發(fā)揮出很好的效果。推進(jìn)機(jī)器學(xué)習(xí)算法的重點(diǎn),，主要是鼓勵(lì)學(xué)習(xí)更好的表示形式,，這些表示形式可以更好地推廣到新的樣本、問題或領(lǐng)域,。2019年,，我們?cè)谠S多不同的背景下研究了這個(gè)問題：1、《Evaluating the Unsupervised Learning of Disentangled Representations》在這篇文章中,，我們檢查了哪些屬性會(huì)影響從無監(jiān)督數(shù)據(jù)中學(xué)習(xí)的表示形式,，以便更好地理解什么才能造就良好的表示和有效的學(xué)習(xí)。2,、《Predicting the Generalization Gap in Deep Neural Networks》在這篇文章中,，我們表明可以使用邊緣分布的統(tǒng)計(jì)來預(yù)測(cè)泛化差距（模型在數(shù)據(jù)上的性能來自訓(xùn)練數(shù)據(jù)的分布與其他數(shù)據(jù)分布之間的差距），這有助于我們可以更好地了解哪種模型能夠更有效地泛化,。3,、 《Learning to Generalize from Sparse and Underspecified Rewards》 在這篇文章中,，我們研究了為強(qiáng)化學(xué)習(xí)指定獎(jiǎng)勵(lì)功能的方法，這些方法使學(xué)習(xí)系統(tǒng)可以更直接地從真實(shí)目標(biāo)中學(xué)習(xí),，且不會(huì)因較長(zhǎng)的,、不理想的動(dòng)作序列而分心,。四,、自動(dòng)機(jī)器學(xué)習(xí)（AutoML）AutoML，可以使學(xué)習(xí)算法實(shí)現(xiàn)自動(dòng)化,，并且在某些類型的機(jī)器學(xué)習(xí)元決策方面,，與最好的人類機(jī)器學(xué)習(xí)專家相比，通?？梢匀〉酶玫慕Y(jié)果,。2019年我們繼續(xù)這樣方面的研究。1,、《EfficientNet: Improving Accuracy and Efficiency through AutoML and Model Scaling》在這篇文章中,，我們展示了如何將NAS技術(shù)應(yīng)用到CV問題上，從而獲得更好的結(jié)果,，包括在ImageNet上獲得最佳結(jié)果（84.4% top-1的準(zhǔn)確度）,，且參數(shù)相較于此前最先進(jìn)的模型少了8倍。 2,、《EfficientNet-EdgeTPU: Creating Accelerator-Optimized Neural Networks with AutoML》這項(xiàng)工作,，我們展示了神經(jīng)NAS方法如何找到針對(duì)特定硬件加速器的高效模型，從而能夠在移動(dòng)設(shè)備上運(yùn)行高精度,、低計(jì)算量的模型,。3、 《Video Architecture Search》
這篇文章,，我們描述了如何將AutoML工作擴(kuò)展到視頻模型的領(lǐng)域,，如何找到可實(shí)現(xiàn)最新結(jié)果的體系結(jié)構(gòu)，以及與手工模型的性能相匹配但計(jì)算量減少50倍的輕型體系結(jié)構(gòu),。4,、《 An End-to-End AutoML Solution for Tabular Data at KaggleDays》我們開發(fā)了用于表格數(shù)據(jù)的AutoML技術(shù)，許多公司和組織在關(guān)系數(shù)據(jù)庫中都擁有一些非常有趣的數(shù)據(jù),，并且經(jīng)常希望能夠基于這些數(shù)據(jù)來開發(fā)機(jī)器學(xué)習(xí)模型,，我們這項(xiàng)工作解鎖了這個(gè)新的領(lǐng)域。我們將這項(xiàng)技術(shù)作為一個(gè)谷歌云 AutoML Tables的產(chǎn)品進(jìn)行了發(fā)布,。（劇透一下：AutoML Tables在74個(gè)專家數(shù)據(jù)科學(xué)家團(tuán)隊(duì)中獲得了第二名的排名）,。5、《Exploring Weight Agnostic Neural Networks》在這篇論文中,，我們展示了如何不需要任何訓(xùn)練步驟,，便可以更新有趣的神經(jīng)網(wǎng)絡(luò)架構(gòu),，從而來更新評(píng)估模型的權(quán)重。這個(gè)工作可以使體系結(jié)構(gòu)搜索的計(jì)算效率提高,。6,、《Applying AutoML to Transformer Architectures 》這篇論文探索了用于NLP任務(wù)的體系結(jié)構(gòu)，這個(gè)結(jié)構(gòu)在性能上遠(yuǎn)超最初的Transformer模型,，大大降低了計(jì)算成本,。 7、《SpecAugment: A New Data Augmentation Method for Automatic Speech Recognition》這里我們將自動(dòng)學(xué)習(xí)數(shù)據(jù)增強(qiáng)方法擴(kuò)展到語音識(shí)別模型當(dāng)中,。與現(xiàn)有的「ML專家」驅(qū)動(dòng)的數(shù)據(jù)增強(qiáng)方法相比,，所學(xué)習(xí)的增強(qiáng)方法可以用更少的數(shù)據(jù)實(shí)現(xiàn)更高的準(zhǔn)確性。8,、《keyword spotting and spoken language identification using AutoML》
我們推出了第一款語音應(yīng)用程序,，使用AutoML進(jìn)行關(guān)鍵字識(shí)別和口語識(shí)別。在我們的實(shí)驗(yàn)中,，我們發(fā)現(xiàn)了一種比人工設(shè)計(jì)更好的模型（效率更高,，性能更高）。在過去的幾年中,，自然語言理解、翻譯,、對(duì)話,、語音識(shí)別和其他一些相關(guān)任務(wù)的模型都取得了顯著的進(jìn)步。2019年,，我們工作的主題之一是通過結(jié)合各種方式或任務(wù)來提高技術(shù)水平,，以訓(xùn)練出更強(qiáng)大的模型。下面是一些研究案例： 1,、《Exploring Massively Multilingual, Massive Neural Machine Translation》
在這項(xiàng)工作中,，我們訓(xùn)練了一個(gè)模型，能夠在100種語言之間進(jìn)行翻譯（注意并不是 100 個(gè)單獨(dú)的模型）,，這個(gè)模型能夠顯著提高翻譯質(zhì)量,。2、《Large-Scale Multilingual Speech Recognition with a Streaming End-to-End Model》
在這篇論文中,，我們展示了將語音識(shí)別和語言模型結(jié)合在一起,，并在多種語言上進(jìn)行訓(xùn)練，結(jié)果可以顯著提高語音識(shí)別精度,。
3,、《 Translatotron: An End-to-End Speech-to-Speech Translation Model》
在這個(gè)工作中，我們證明了可以訓(xùn)練一個(gè)聯(lián)合模型來很好地（通常是分別）完成語音識(shí)別,、翻譯和文本到語音生成的任務(wù),，例如在生成的翻譯音頻中保留說話者的聲音,。 4、《Multilingual Universal Sentence Encoder for Semantic Retrieval》
在這篇論文中,，我們展示了如何將許多個(gè)不同的目標(biāo)組合在一起,，從而得到一個(gè)在語義檢索方面更好的模型（相較于簡(jiǎn)單的單詞匹配技術(shù)）。例如在Google Talk to Books中,，查詢“What fragrance brings back memories?”,，得出的結(jié)果是：“And for me, the smell of jasmine along with the pan bagnat, it brings back my entire carefree childhood.” 5、《Robust Neural Machine Translation 》
在這篇論文中,，我們用對(duì)抗程序顯著地提高了語言翻譯的質(zhì)量和魯棒性,。隨著對(duì)seq2seq、Transformer,、BERT、Transformer-XL和ALBERT模型等的研究,，我們的語言理解能力不斷得以提升,，這些技術(shù)都相繼應(yīng)用在我們的核心產(chǎn)品或功能中（例如Google Translate、Gmail,、谷歌搜索等）,。2019年，我們將BERT嵌入在我們的核心搜索和排名算法當(dāng)中,，實(shí)現(xiàn)了在過去五年中搜索質(zhì)量最大的改進(jìn)（也是有史以來最大的改進(jìn)之一）,。在過去的十年中,，用來理解靜止圖像的模型有了翻天覆地的進(jìn)展,。下一個(gè)重大研究前沿就是要理解動(dòng)態(tài)變化的世界，而且要有更細(xì)的粒度,、更多的細(xì)節(jié),。這不僅包括對(duì)圖像和視頻有更細(xì)致的理解，也包括要有實(shí)時(shí)的,、符合情境的感知,；這代表著，理解世界的速度要足夠快,，要來得及和世界互動(dòng),，同時(shí)也要設(shè)身處地地理解用戶所在的空間位置。2019年中,，谷歌探索了這個(gè)領(lǐng)域中的許多方面,，包括：- Lens app 中的細(xì)粒度視覺理解，它讓視覺搜索功能變得更強(qiáng)大
- 智能照相功能,，比如 Quick Gestures 擺姿勢(shì)照相,、Face Match 人臉匹配以及Nest Hub Max上的智能視頻通話
- Lens app 能實(shí)時(shí)感知空間信息,，就可以用現(xiàn)實(shí)增強(qiáng)為用戶提供幫助
- 通過時(shí)序循環(huán)一致性學(xué)習(xí)進(jìn)行的細(xì)粒度時(shí)序視頻理解中也有了更好的表征
- 從無標(biāo)注視頻中學(xué)習(xí)時(shí)序一致的、包括了文本,、聲音,、視頻多種模態(tài)的表征
- 能觀察已經(jīng)發(fā)生的視頻預(yù)測(cè)未來的視覺圖像
- 能更好地理解視頻中的動(dòng)作序列的模型，在谷歌相冊(cè)中使用以后能更好地追蹤吹蠟燭,、滑雪之類的特別瞬間
用機(jī)器學(xué)習(xí)技術(shù)來控制機(jī)器人是我們非常重視的一個(gè)研究方向。我們相信這是讓機(jī)器人能在復(fù)雜的真實(shí)世界環(huán)境（比如辦公室,、家里）里有效運(yùn)行的必不可少的手段,。2019 年中，我們的相關(guān)研究成果包括：1,、《Long-Range Robotic Navigation via Automated Reinforcement Learning》論文展示了可以把強(qiáng)化學(xué)習(xí)和長(zhǎng)距離規(guī)劃結(jié)合在一起,，讓機(jī)器人更高效地在復(fù)雜環(huán)境中導(dǎo)航（下圖中的例子是谷歌的辦公樓）2、《PlaNet: A Deep Planning Network for Reinforcement Learning》論文展示了如何僅僅從圖像像素中高效地學(xué)習(xí)世界模型,，以及如何利用這個(gè)模型學(xué)到的世界運(yùn)行的知識(shí),，以便用更短的學(xué)習(xí)過程掌握各種任務(wù)。3,、《Unifying Physics and Deep Learning with TossingBot》論文表明機(jī)器人可以通過在環(huán)境中的反復(fù)嘗試學(xué)習(xí)到“直覺式”的物理知識(shí),，可以不需要先通過編程的方式為他們輸入環(huán)境信息和物理規(guī)律。4,、《Soft Actor-Critic: Deep Reinforcement Learning for Robotics》論文展示了一種可以同時(shí)讓預(yù)期回報(bào)（標(biāo)準(zhǔn)的強(qiáng)化學(xué)習(xí)策略）和策略的熵（讓智能體學(xué)到更隨機(jī)的行動(dòng)）最大化的強(qiáng)化學(xué)習(xí)算法,，可以讓智能體學(xué)習(xí)得更快，而且對(duì)環(huán)境中的變化更魯棒,。5,、《Learning to Assemble and to Generalize from Self-Supervised Disassembly》論文中，機(jī)器人可以用自監(jiān)督的方式先學(xué)會(huì)如何拆解東西,，然后再學(xué)會(huì)如何組裝,，就和小孩拆東西裝東西一樣。谷歌還開發(fā)了低成本機(jī)器人測(cè)試平臺(tái) ROBEL,，幫助學(xué)術(shù)研究人員和企業(yè)開發(fā)人員更便捷地開發(fā)真實(shí)世界中工作的機(jī)器人硬件,。八、為整個(gè)開發(fā)和學(xué)術(shù)研究界的發(fā)展提供助力“開源”并不僅僅代表著代碼,，更重要的是社區(qū)中做出貢獻(xiàn)的人,。對(duì)于整個(gè)開源大家庭來說，2019年有許多值得慶祝的時(shí)刻,。在這一年中,，我們正式發(fā)布了TensorFlow2.0，這是目前最大最先進(jìn)的TensorFlow，它也讓機(jī)器學(xué)習(xí)系統(tǒng),、應(yīng)用的構(gòu)建前所未有地簡(jiǎn)單,；我們?cè)赥F Lite中加入了GPU硬件推理的支持；我們還發(fā)布了 Teachable Machine 2.0,，這是一個(gè)基于網(wǎng)頁的快捷,、便于使用的工具，不需要敲代碼,，只需要點(diǎn)點(diǎn)鼠標(biāo)就可以訓(xùn)練機(jī)器學(xué)習(xí)模型,。我們也發(fā)布了 MLIR，這是一個(gè)開源的機(jī)器學(xué)習(xí)算法編譯器,，作為一個(gè)基礎(chǔ)設(shè)施,，它的設(shè)計(jì)目標(biāo)是緩解軟件、硬件日趨明顯的碎片化現(xiàn)象,，讓AI應(yīng)用的構(gòu)建更容易,。 這也是高性能機(jī)器學(xué)習(xí)研究工具 JAX 發(fā)布后的第一年。就在NeurIPS 2019上,，我們和更多的開源社區(qū)成員們展示了從 NTK 神經(jīng)正切核到貝葉斯推理到分子動(dòng)力學(xué)等等各種各樣的使用JAX開發(fā)的模型,，我們也發(fā)布了云TPU上運(yùn)行的JAX的預(yù)覽版。 我們也開源了用來構(gòu)建多模態(tài)感知機(jī)器學(xué)習(xí)應(yīng)用流水線的框架設(shè)計(jì)工具M(jìn)ediaPipe,，和含有各種高效的浮點(diǎn)神經(jīng)網(wǎng)絡(luò)推理操作符的庫 XNNPACK。截止2019年底,，我們已經(jīng)通過TensorFlow Research Cloud贊助了超過1500名研究人員免費(fèi)使用云TPU,。我們的TensorFlow入門Coursera課程也迎來了超過10萬名學(xué)生。我們?cè)?1個(gè)不同國(guó)家舉辦了TensorFlow推廣活動(dòng),，借機(jī)接觸了上千名用戶,；我們還舉辦了首個(gè)TensorFlow世界大會(huì)。 在TF的幫助下,，全世界各種各樣背景的人也做出了各種各樣的成果,，2019年里有一位大學(xué)本科生發(fā)現(xiàn)了兩個(gè)新的行星，他也開源了這個(gè)模型,，讓更多的人可以用這個(gè)方法發(fā)現(xiàn)更多的行星,；一位尼日利亞裔的數(shù)據(jù)科學(xué)家訓(xùn)練了一個(gè)GAN來生成代表了非洲面具風(fēng)格的圖像；烏干達(dá)的一位開發(fā)者用TF編寫了Farmers Companion app,，幫助當(dāng)?shù)剞r(nóng)民對(duì)付一種傷害莊稼的毛毛蟲,。 在白雪覆蓋的愛荷華州，研究人員們和政府部門聯(lián)手用TF編寫了根據(jù)車流行為,、視覺數(shù)據(jù)以及其它數(shù)據(jù)判斷道路安全狀況的程序,；在晴朗干燥的加州，大學(xué)生們也用TF來發(fā)現(xiàn)洛杉磯一帶的路面凹坑和危險(xiǎn)碎石。具有明確和可測(cè)量目標(biāo)的開放數(shù)據(jù)集,，往往對(duì)推動(dòng)機(jī)器學(xué)習(xí)領(lǐng)域的發(fā)展非常有幫助。為了幫助研究界找到有趣的數(shù)據(jù)集,，我們繼續(xù)通過使用Google Dataset Search索引了來自多個(gè)不同組織發(fā)布的各種公開的數(shù)據(jù)集,。我們還認(rèn)為很重要的是，要為社區(qū)創(chuàng)建新的數(shù)據(jù)集用以探索和開發(fā)新的技術(shù),，并確保能夠有責(zé)地共享公開的數(shù)據(jù)集,。這一年，我們先后新發(fā)布了涵蓋多個(gè)不同領(lǐng)域的數(shù)個(gè)公開數(shù)據(jù)集：Open Images V5：這是常用的Open Images數(shù)據(jù)集的更新版本,，包括面向 350 個(gè)類中的280萬個(gè)對(duì)象的分割掩膜（所以現(xiàn)在該數(shù)據(jù)集擁有圖片級(jí)標(biāo)簽,、對(duì)象邊框、對(duì)象分割掩膜和視覺關(guān)系標(biāo)注的 900 萬張圖像）,。 Natural questions：這是首個(gè)使用自然發(fā)出的查詢,，并通過讀取整個(gè)篇章找到答案而非從短段落中提取答案的數(shù)據(jù)集。Data for deepfake detection：我們?yōu)?FaceForensics 基準(zhǔn)貢獻(xiàn)了視覺 deepfakes 的大型數(shù)據(jù)集（如上文所提到的）,。 Google Research Football: 這是一個(gè)新穎的強(qiáng)化學(xué)習(xí)環(huán)境,，在此環(huán)境中，智能體的目標(biāo)就是掌握世界上最熱門的運(yùn)動(dòng)——足球,。強(qiáng)化學(xué)習(xí)智能體要實(shí)現(xiàn)其目標(biāo),，實(shí)現(xiàn)足球射門的目標(biāo)很重要！Google-Landmarks-v2：該數(shù)據(jù)集擁有超過 200萬個(gè)不同路標(biāo)的超過500萬張圖片（是發(fā)布的首個(gè)版本的兩倍）,。YouTube-8M Segments：這是一個(gè)分類和實(shí)時(shí)間定位的大型數(shù)據(jù)集,，擁有 YouTube-8M視頻的5秒分割級(jí)的人工驗(yàn)證標(biāo)簽。Atomic Visual Actions (AVA) Spoken Activity：這是一個(gè)用于對(duì)話感知的音頻+視覺的多模態(tài)數(shù)據(jù)集,。此外,，我們還面向 AVA 動(dòng)作識(shí)別和 AVA: Spoken Activity 數(shù)據(jù)集舉辦了一些學(xué)術(shù)挑戰(zhàn)賽。 PAWS and PAWS-X：為了推動(dòng)復(fù)述識(shí)別的進(jìn)步,，這兩個(gè)數(shù)據(jù)集都包括了具有高詞匯重疊的格式正確的句對(duì),，復(fù)述約一半的句對(duì)，而另一半則不復(fù)述,。Natural language dialog datasets：CCPE 和 Taskmaster-1都使用讓兩個(gè)人一組進(jìn)行口語對(duì)話的 Wizard-of-Oz平臺(tái),，來最小化數(shù)字助理的對(duì)話水平和人類的差距。The Visual Task Adaptation Benchmark：VTAB這一基準(zhǔn)遵循和ImageNet和 GLUE相同的準(zhǔn)則,，但是它基于的一個(gè)原則是：在域內(nèi)數(shù)據(jù)的限制下,，未見過任務(wù)上更好的性能優(yōu)先于更好的表征。 Schema-Guided Dialogue Dataset：這是最大的面向任務(wù)的對(duì)話公開語料庫,，擁有橫跨17個(gè)領(lǐng)域的18000多組對(duì)話,。2019年，我們也活躍于更廣闊的學(xué)術(shù)界和研究界,。這一年,，谷歌研究人員發(fā)表了數(shù)百篇論文，參加了多場(chǎng)學(xué)術(shù)會(huì)議,，并獲得了許多獎(jiǎng)項(xiàng)和其他榮譽(yù)：- 在CVPR 上,，谷歌研究者展示了40余篇論文、演講,、海報(bào)并舉辦了研討會(huì)以及其他活動(dòng),。
- 在 ICML上，谷歌研究者展示了100余篇論文,、演講,、海報(bào)并舉辦了研討會(huì)以及其他活動(dòng)。
- 在ICLR 上,，谷歌研究者展示了60余篇論文,、演講、海報(bào)并舉辦了研討會(huì)以及其他活動(dòng),。
- 在ACL 上,，谷歌研究者展示了40余篇論文，舉辦了研討會(huì)以及教學(xué)講座,。
- 在Interspeech 上,，上百位谷歌研究者在現(xiàn)場(chǎng)一起展示了30余篇論文。
- 在ICCV 上,，200多位谷歌研究者在現(xiàn)場(chǎng)一起展示了40余篇論文,，更有數(shù)位谷歌研究人員拿下 ICCV 三個(gè)獎(jiǎng)項(xiàng)。
- 在NeurIPS上,，500多位谷歌研究人員合作發(fā)表了超過 120 篇論文，并在現(xiàn)場(chǎng)參加了各類研討會(huì)和其他活動(dòng),。
我們還召集了來自全球各地的數(shù)百名谷歌研究人員和教職員工,，參加了在谷歌辦公室舉辦的15個(gè)獨(dú)立的研究研討會(huì)。這些研討會(huì)的主題涵蓋了從改善全球洪災(zāi)預(yù)警,，到如何使用機(jī)器學(xué)習(xí)建立能更好地為殘疾人服務(wù)的系統(tǒng),，到加速開發(fā)用于有噪聲的中等規(guī)模量子（NISQ）處理器的算法、應(yīng)用程序和工具,。 為了支持谷歌以外的學(xué)術(shù)界和研究界,，我們通過“年度博士獎(jiǎng)學(xué)金計(jì)劃”在全球范圍內(nèi)支持了50多名博士生，與此同時(shí),，我們還成立了158個(gè)項(xiàng)目基金作為“2018年谷歌職工研究獎(jiǎng)”的一部分,，并舉辦了第三屆“ Google AI Residency Program”，還為人工智能初創(chuàng)企業(yè)提供了指導(dǎo)幫助。過去的十年見證了機(jī)器學(xué)習(xí)和計(jì)算機(jī)科學(xué)領(lǐng)域的長(zhǎng)足發(fā)展,，我們現(xiàn)在已經(jīng)讓計(jì)算機(jī)有了比以前更好的看、聽和理解語言的能力（更多詳細(xì)可參考《The Decade of Deep Learning》一文,，https://v/2019/12/31/The-Decade-of-Deep-Learning/ 現(xiàn)在我們擁有了唾手可得的先進(jìn)的計(jì)算設(shè)備,，從而可以利用這些能力更好地幫助我們完成日常生活中的許多任務(wù)。我們通過開發(fā)出專門的硬件,，已經(jīng)圍繞這些機(jī)器學(xué)習(xí)方法從根本上重新設(shè)計(jì)了現(xiàn)有的計(jì)算平臺(tái),，從而使我們能夠解決更大的問題。這改變了我們對(duì)于既存在于數(shù)據(jù)中心,、同時(shí)也搭載于低功耗移動(dòng)環(huán)境中的計(jì)算設(shè)備的看法（前者如以推理為中心的TPUv1和以訓(xùn)練和推理為中心的TPUv2和TPUv3,，后者如邊緣 TPU）。深度學(xué)習(xí)革命將繼續(xù)重塑我們對(duì)計(jì)算和計(jì)算機(jī)的看法,。與此同時(shí),，現(xiàn)在也還有許多我們尚且無法回答的問題以及尚未解決的挑戰(zhàn)。以下是我們?cè)?2020年及以后要解決的一些問題以及感到興奮的一些研究方向：第一,，如何建立能夠處理數(shù)百萬任務(wù)并且能夠主動(dòng)學(xué)習(xí)順利完成新任務(wù)的機(jī)器學(xué)習(xí)系統(tǒng),？ 目前，我們基本上都需要為每個(gè)新任務(wù)訓(xùn)練單獨(dú)的機(jī)器模型,，從頭開始或者頂多基于為一個(gè)或幾個(gè)高度相關(guān)的任務(wù)訓(xùn)練的模型開始,。因此，我們訓(xùn)練的模型雖然確實(shí)擅長(zhǎng)某個(gè)任務(wù)或者某幾個(gè)任務(wù),，但并不擅長(zhǎng)其他任務(wù),。然而，我們真正想要訓(xùn)練的模型,，是那些善于利用它們的專業(yè)知識(shí)來完成很多任務(wù)的模型,，這樣這些模型就能夠?qū)W會(huì)用相對(duì)較少的訓(xùn)練數(shù)據(jù)和計(jì)算，來完成一個(gè)新的任務(wù),。這是一個(gè)真正的巨大挑戰(zhàn),，需要具備橫跨包括固態(tài)電路設(shè)計(jì)、計(jì)算機(jī)體系結(jié)構(gòu),、以ML為中心的編譯器,、分布式系統(tǒng)、機(jī)器學(xué)習(xí)算法在內(nèi)的多個(gè)領(lǐng)域的專業(yè)知識(shí)和進(jìn)展以及其他多個(gè)領(lǐng)域的領(lǐng)域?qū)＜?，來開發(fā)出具備能夠獨(dú)立解決整個(gè)應(yīng)用領(lǐng)域中的新任務(wù)的泛化能力的系統(tǒng),。第二，如何推動(dòng)如避免偏見,、增加可解釋性和可理解性,、改善隱私和確保安全等當(dāng)前非常重要的 AI 研究領(lǐng)域的進(jìn)步,？隨著我們?nèi)祟愒谏鐣?huì)上越來越多地使用機(jī)器學(xué)習(xí)，這些領(lǐng)域的進(jìn)步將是至關(guān)重要的,。 第三,，如何應(yīng)用計(jì)算和機(jī)器學(xué)習(xí)來促進(jìn)重要的新科學(xué)領(lǐng)域的進(jìn)展？AI 領(lǐng)域通過與例如氣候科學(xué),、醫(yī)療健康,、生物信息學(xué)和許多其他領(lǐng)域的專家進(jìn)行精誠(chéng)合作，可以獲得一些重要進(jìn)展,。 第四,，如何才能確保機(jī)器學(xué)習(xí)和計(jì)算機(jī)科學(xué)研究界所追求的理念和方向，是由多種多樣的研究人員共同提出和探索的,？計(jì)算機(jī)科學(xué)和機(jī)器學(xué)習(xí)研究界正在從事的工作,，對(duì)數(shù)十億人都有著廣泛的影響，我們希望從事 AI 領(lǐng)域的研究人員能夠代表世界上所有人的經(jīng)歷,、觀點(diǎn),、關(guān)注點(diǎn)和創(chuàng)造熱情。那我們?nèi)绾尾拍茏詈玫刂С謥碜圆煌尘暗男卵芯咳藛T進(jìn)入該領(lǐng)域呢,？總而言之,，2019年對(duì)于谷歌和整個(gè)研究界而言，是研究工作取得巨大進(jìn)展的令人興奮的一年,。我們很高興將在 2020 年以及以后繼續(xù)迎接這些研究挑戰(zhàn),，也期待能夠與大家分享我們后續(xù)的研究進(jìn)展。
|
