2023年8月19-20日，由中國人工智能學會主辦，中國人工智能學會會士之家（杭州站）承辦，浙江杭州未來科技城管委會協辦的第3期人工智能創新技術講習班“多模態大模型技術前沿與應用”以線上線下結合的方式成功舉辦，線上累計觀看人次超16萬。

本期講習班圍繞熱點話題“多模態大模型”展開，旨在促進學術交流，推動技術創新。來自復旦大學的邱錫鵬教授和來自清華大學的徐楓副教授共同擔任本期講習班的學術主任。宋睿華副教授、代季峰副教授、孫天祥博士、王炳寧先生、趙俊博研究員、嚴明先生等6位在多模態大模型及相關領域具有重要影響力的專家學者也受邀加入講師團，為聽眾們帶來了一場精彩紛呈的學術盛宴。講習班開課期間，聽眾熱情高漲，積極參與互動。濃厚的學術氛圍也一直延續到課后，各位講師們在結束授課后仍一一為線上線下的觀眾們答疑解惑，現場氛圍十分熱烈。

徐楓副教授

在8月19日—20日的兩天時間里，各位講師從嚴謹縝密到妙趣橫生，從理論研究到落地應用，為線上線下的學員和觀眾帶來了6場“知識盛宴”。

授課一：《多模態理解與人工智能創作》宋睿華

8月19日上午，宋睿華副教授為大家帶來了第一堂課——《多模態理解與人工智能創作》。在正式授課前，宋睿華副教授先深入淺出地解釋了“多模態”的概念、其與多媒體的關系以及其為何突然火爆出圈等問題。在介紹完“多模態”相關的基本信息后，宋睿華副教授開始對文瀾模型1.0-3.0展開介紹，并分享了“多模態與文本預訓練模型的文本嵌入差異研究”的整個過程及其成果。在生動授課的最后，宋睿華副教授對多模態理解與創作的趨勢做了總結，并鼓勵聽眾在未來能朝著更艱險處攻關。

宋睿華副教授

授課二：《視覺基礎大模型》代季峰

講習班的第二堂課《視覺基礎大模型》由代季峰副教授主講。他在課堂上指出，通用大模型正在引領人工智能的發展。圍繞“超大規模視覺模型”及相關技術路線，代季峰副教授在接下來的授課中展開了精彩的講述，他不僅對LLM（大規模語言模型）其強大的功能進行了描述，亦稱贊其是通用人工智能發展道路上的一個里程碑。

代季峰副教授

授課三：《對話式大型語言模型》孫天祥

8月19日下午，孫天祥博士給大家帶來了題為《對話式大型語言模型》的第三堂課。授課內容主要分為四個部分，分別是預訓練數據、自然語言基座模型、對話語言模型和OpenLMLab。

孫天祥博士

授課四：《大語言模型的訓練和優化方法》王炳寧

8月19日下午，王炳寧老師帶來了本期講習班的第四堂課——《大語言模型的訓練和優化方法》。他首先對語言模型的發展歷程做了系統的梳理，并指出近幾年語言模型的發展是超線性的，發布的頻率在不斷加速。在接下來的授課中，他對大語言模型的基礎框架及優化方法進行了闡述，并在最后樂觀地表達了對大語言模型的憧憬和為中文互聯網大語言模型做貢獻的決心。

王炳寧老師

授課五：《TableGPT——大模型的漫長落地之路初探》趙俊博

8月20日上午，趙俊博研究員帶來了第五節課——《TableGPT——大模型的漫長落地之路初探》。在授課前，風趣地解釋了他為授課題目加上了“渡劫”二字的原因，做相關研究過程非常漫長，也充滿了各種挫折和挑戰，他也希望借此激勵臺下同處于研究瓶頸期的研究者們。趙俊博研究員隨后簡單介紹了自己的團隊成員和研究背景，并解釋了他們做剛性LLM而最終選擇了“TableGPT”等一系列問題。趙研究員在后續授課過程中介紹了“TableGPT”的功能、落地過程及方案等，并在最后無不幽默地總結道，從一個通用LLM到領域LLM就好比從一個文科生到理科生轉變，堪比“渡劫”。

趙俊博研究員

授課六：《達摩院通義mPLUG多模態大模型技術與應用》嚴明

8月20日下午，嚴明老師帶來了本次講習班的最后一堂課，《達摩院通義mPLUG多模態大模型技術與應用》。他先對多模態大模型技術發展歷程做了簡單的歸納，隨后重點介紹了他的團隊研究多模態的兩條路徑，一條是mPLUG：模塊化多模態預訓練大模型技術系列，另外一條則是大小模型協同的Agent系統。最后，嚴明老師對“ModelScope”實戰應用相關話題展開了詳細的講解與闡述。

嚴明老師

至此，第3期人工智能創新技術講習班“多模態大模型技術前沿與應用”的6節課程全部結束。邱錫鵬教授在線上為此次講習班做了結業總結，他回顧了6位專家學者精彩的授課內容，指出從學術介紹到從應用落地，這些研究最前沿的成果讓聽眾耳目一新。此外，邱錫鵬教授還表示，多模態大模型的發展處于起步階段，在未來發展的過程中既充滿了機遇，也難免會遇到挑戰，而本次講習班為各位研究者構建了一個交流互動的平臺，幫助各位學者不論在學術研究還是落地應用層面，都能共同探索、學習和進步。

邱錫鵬教授

（圖文/中國人工智能學會）

關鍵詞：