2020年5月底OpenAI發(fā)布了有史以來(lái)最強的NLP預訓練模型GPT-3，最大的GPT-3模型參數達到了1750億個(gè)參數。論文《Language Models are Few-Shot Learners》長(cháng)達74頁(yè)已發(fā)布在arXiv。
有網(wǎng)友估算最大的GPT-3模型大小大約有700G，這個(gè)大小即使OpenAI公開(kāi)模型，我們一般的電腦也無(wú)法使用。一般需要使用分布式集群才能把這個(gè)模型跑起來(lái)。雖然OpenAI沒(méi)有公布論文的花費，不過(guò)有網(wǎng)友估計這篇論文大約花費了上千萬(wàn)美元用于模型訓練。
如此驚人的模型在模型的設計上和訓練上有什么特別之處嗎？答案是沒(méi)有。作者表示GPT-3的模型架構跟GPT-2是一樣的，只是使用了更多的模型參數。模型訓練也跟GPT-2是一樣的，使用預測下一個(gè)詞的方式來(lái)訓練語(yǔ)言模型，只不過(guò)GPT-3訓練時(shí)使用了更多的數據。
既然這樣，那這只怪獸特別之處是什么？GPT-3論文的核心在于下圖：
達摩院金榕教授介紹了語(yǔ)音、自然語(yǔ)言處理、計算機視覺(jué)三大核心AI技術(shù)的關(guān)鍵進(jìn)展，并就AI技術(shù)在在實(shí)際應用中的關(guān)鍵挑戰，以及達摩院應對挑戰的創(chuàng )新實(shí)踐進(jìn)行了解讀
新一代移動(dòng)端深度學(xué)習推理框架TNN，通過(guò)底層技術(shù)優(yōu)化實(shí)現在多個(gè)不同平臺的輕量部署落地，性能優(yōu)異、簡(jiǎn)單易用。騰訊方面稱(chēng)，基于TNN，開(kāi)發(fā)者能夠輕松將深度學(xué)習算法移植到手機端高效的執行，開(kāi)發(fā)出人工智能 App，真正將 AI 帶到指尖
新加坡國立大學(xué)NExT中心的王翔博士分析了知識圖譜在個(gè)性化推薦領(lǐng)域的應用背景，并詳細介紹了課題組在個(gè)性化推薦中的相關(guān)研究技術(shù)和進(jìn)展，包括基于路徑、基于表征學(xué)習、基于圖神經(jīng)網(wǎng)絡(luò )等知識圖譜在推薦系統中的融合技術(shù)
根據各種指法的具體特點(diǎn),對時(shí)頻網(wǎng)格圖、時(shí)域網(wǎng)格圖、頻域網(wǎng)格圖劃分出若干個(gè)不同的計算區域,并以每個(gè)計算區域的均值與標準差作為指法自動(dòng)識別的特征使用，用于基于機器學(xué)習方法的指法自動(dòng)識別
Tube Feature Aggregation Network（TFAN）新方法，即利用時(shí)序信息來(lái)輔助當前幀的遮擋行人檢測，目前該方法已在 Caltech 和 NightOwls 兩個(gè)數據集取得了業(yè)界領(lǐng)先的準確率
姚霆指出，當前的多模態(tài)技術(shù)還是屬于狹隘的單任務(wù)學(xué)習，整個(gè)訓練和測試的過(guò)程都是在封閉和靜態(tài)的環(huán)境下進(jìn)行，這就和真實(shí)世界中開(kāi)放動(dòng)態(tài)的應用場(chǎng)景存在一定的差異性
優(yōu)酷智能檔突破“傳統自適應碼率算法”的局限，解決視頻觀(guān)看體驗中高清和流暢的矛盾
通過(guò)使用仿真和量化指標，使基準測試能夠通用于許多操作領(lǐng)域，但又足夠具體，能夠提供系統的有關(guān)信息
基于內容圖譜結構化特征與索引更新平臺，在結構化方面打破傳統的數倉建模方式，以知識化、業(yè)務(wù)化、服務(wù)化為視角進(jìn)行數據平臺化建設，來(lái)沉淀內容、行為、關(guān)系圖譜，目前在優(yōu)酷搜索、票票、大麥等場(chǎng)景開(kāi)始進(jìn)行應用
NVIDIA解決方案架構師王閃閃講解了BERT模型原理及其成就，NVIDIA開(kāi)發(fā)的Megatron-BERT
自然語(yǔ)言處理技術(shù)的應用和研究領(lǐng)域發(fā)生了許多有意義的標志性事件，技術(shù)進(jìn)展方面主要體現在預訓練語(yǔ)言模型、跨語(yǔ)言 NLP/無(wú)監督機器翻譯、知識圖譜發(fā)展 + 對話(huà)技術(shù)融合、智能人機交互、平臺廠(chǎng)商整合AI產(chǎn)品線(xiàn)
下一個(gè)十年，智能人機交互、多模態(tài)融合、結合領(lǐng)域需求的 NLP 解決方案建設、知識圖譜結合落地場(chǎng)景等將會(huì )有突破性變化
