人民網(wǎng)北京3月3日電 （記者申佳平）第二屆北京人工智能產(chǎn)業(yè)創(chuàng)新發(fā)展大會(huì)日前在北京舉行。中國(guó)工程院院士倪光南在大會(huì)致辭中表示，中國(guó)在人工智能市場(chǎng)和應(yīng)用場(chǎng)景上潛力巨大，當(dāng)下一方面要搶抓發(fā)展機(jī)遇，在垂直領(lǐng)域和應(yīng)用場(chǎng)景方面發(fā)力，另一方面要有針對(duì)性地思考和研究生成式AI存在的諸多問題，統(tǒng)籌發(fā)展與安全。

倪光南認(rèn)為，當(dāng)前生成式AI正處在發(fā)展初期，檢索增強(qiáng)生成（RAG）、精準(zhǔn)算法增強(qiáng)等大模型增強(qiáng)技術(shù)仍有較大的發(fā)展空間。

他以近日備受關(guān)注的文生視頻應(yīng)用Sora舉例指出，盡管Sora系統(tǒng)通過輸入提示詞可輸出對(duì)應(yīng)的視頻，但其目前還無(wú)法準(zhǔn)確模擬復(fù)雜場(chǎng)景的物理特性，也無(wú)法理解實(shí)體之間的因果關(guān)系。如，在Sora生成的果汁潑濺視頻中，實(shí)體有兩個(gè)穩(wěn)定狀態(tài)，一個(gè)是水杯直立的狀態(tài)，另一個(gè)是果汁已經(jīng)潑濺出來(lái)的狀態(tài)。但是最為復(fù)雜的物理狀態(tài)，即果汁從杯中流灑出來(lái)的過程并沒有生成出來(lái)。

“要做到這一步還需要將眾多科學(xué)定律、工業(yè)軟件和計(jì)算能力等與大模型融合，很有挑戰(zhàn)性�！蹦吖饽媳硎�，目前我國(guó)很多企業(yè)和機(jī)構(gòu)正在許多垂直領(lǐng)域和應(yīng)用場(chǎng)景的中小模型方面發(fā)力，值得鼓勵(lì)和支持。

據(jù)悉，倪光南院士曾于2019年11月至2023年12月，擔(dān)任人民日?qǐng)?bào)社主管、依托人民網(wǎng)建設(shè)的“傳播內(nèi)容認(rèn)知全國(guó)重點(diǎn)實(shí)驗(yàn)室”學(xué)術(shù)委員會(huì)主任。該室驗(yàn)室在生成式AI垂直應(yīng)用領(lǐng)域開展了積極探索，其推出的“寫易”智能創(chuàng)作引擎，訓(xùn)練之初就充分運(yùn)用符合我國(guó)主流價(jià)值觀的數(shù)據(jù)集和語(yǔ)料庫(kù)，內(nèi)容涵蓋政治、經(jīng)濟(jì)、文化、社會(huì)、生態(tài)、黨建、國(guó)防、外交等重點(diǎn)領(lǐng)域，保障生成內(nèi)容安全，著重為公務(wù)人員、事業(yè)單位、國(guó)有企業(yè)提供優(yōu)質(zhì)、持續(xù)迭代的智能創(chuàng)作服務(wù)�！皩懸住笨苫�于標(biāo)題生成觀點(diǎn)評(píng)論、會(huì)議材料、方案策劃等，目前已在多個(gè)黨政系統(tǒng)應(yīng)用。

倪光南坦言，在可解釋、透明、公平、合法、安全等方面，生成式AI仍存在很多問題，需要有針對(duì)性地進(jìn)行深入思考和認(rèn)真研究，并采取一系列迅速有效的舉措，以保障安全有效地應(yīng)用生成AI。

他指出，有多種途徑可“人為”影響生成式AI系統(tǒng)的“價(jià)值觀”傾向，包括：訓(xùn)練時(shí)所使用的大數(shù)據(jù)集合；依靠人類反饋進(jìn)行增強(qiáng)訓(xùn)練時(shí)所采用的獎(jiǎng)懲規(guī)則；算法中的某些環(huán)節(jié)或者運(yùn)行中施加的某種干預(yù)；使用交互中對(duì)其進(jìn)行的誘導(dǎo)等。對(duì)于此類“價(jià)值觀”傾向，建議由權(quán)威機(jī)構(gòu)按照“主流價(jià)值觀”的要求，對(duì)生成式AI的產(chǎn)品和服務(wù)進(jìn)行相應(yīng)的價(jià)值觀測(cè)評(píng)，以幫助用戶選取適合的對(duì)象。

據(jù)了解，傳播內(nèi)容認(rèn)知全國(guó)重點(diǎn)實(shí)驗(yàn)室針對(duì)大模型存在的意識(shí)形態(tài)風(fēng)險(xiǎn)，于2023年3月研究建立了生成式大模型內(nèi)容安全測(cè)評(píng)技術(shù)體系，對(duì)大模型的應(yīng)答內(nèi)容，從政治方向、輿論導(dǎo)向、價(jià)值取向、倫理安全等10余個(gè)維度，采用人機(jī)結(jié)合的方式進(jìn)行綜合測(cè)評(píng)。與此同時(shí)，人民網(wǎng)在對(duì)各人工智能大模型進(jìn)行內(nèi)容安全測(cè)評(píng)的基礎(chǔ)上，針對(duì)大模型普遍遇到的、自身難以克服的意識(shí)形態(tài)安全問題，建設(shè)了“主流價(jià)值語(yǔ)料庫(kù)”，為人工智能大模型提供安全語(yǔ)料支撐、知識(shí)增強(qiáng)服務(wù)，助力各類機(jī)構(gòu)研發(fā)的人工智能系統(tǒng)提升意識(shí)形態(tài)安全水平。

“生成式AI是當(dāng)代的重大科技創(chuàng)新，將催生新產(chǎn)業(yè)、新模式、新動(dòng)能，是發(fā)展新質(zhì)生產(chǎn)力的核心要素。要以全球視野進(jìn)行謀劃和發(fā)展，爭(zhēng)取在人工智能時(shí)代躋身世界前列，為實(shí)現(xiàn)科技強(qiáng)國(guó)夢(mèng)和民族偉大復(fù)興作出更大貢獻(xiàn)。”倪光南說。

以下為演講全文：

女士們、先生們：

大家下午好!

很高興參加第二屆北京人工智能產(chǎn)業(yè)創(chuàng)新發(fā)展大會(huì)。由人工智能引領(lǐng)的新一輪科技革命和產(chǎn)業(yè)變革在全球范圍內(nèi)蓬勃興起,當(dāng)前世界各國(guó)都在做出重大部署，將人工智能領(lǐng)域作為提升國(guó)家競(jìng)爭(zhēng)力的科創(chuàng)高地。

不久前以ChatGPT為代表的大模型揭開了了生成式AI發(fā)展的新篇章，雖然我們還很難預(yù)測(cè)其今后的具體發(fā)展途徑，但是它肯定會(huì)對(duì)人類社會(huì)產(chǎn)生巨大的影響，我們必須直面應(yīng)對(duì)，迎接相應(yīng)的機(jī)遇和挑戰(zhàn)。

首先我們應(yīng)當(dāng)看到，在生成式AI的基礎(chǔ)研究與人才方面，我們與西方國(guó)家仍有顯著的差距，為此，我們應(yīng)當(dāng)思考如何在基礎(chǔ)大模型研發(fā)上趕上去，同時(shí)，要思考未來(lái)在教育模式上的改變，要面向新產(chǎn)業(yè)、新模式、新業(yè)態(tài)，發(fā)展新的人才培養(yǎng)方式和標(biāo)準(zhǔn)。

現(xiàn)在生成式AI的應(yīng)用還剛起步，中國(guó)在人工智能市場(chǎng)和應(yīng)用場(chǎng)景上有很大的潛力，當(dāng)下應(yīng)當(dāng)狠抓應(yīng)用，以此促進(jìn)基礎(chǔ)大模型及AI算力的發(fā)展。目前我國(guó)很多企業(yè)和機(jī)構(gòu)正在許多垂直領(lǐng)域和應(yīng)用場(chǎng)景的中小模型方面發(fā)力，這是值得鼓勵(lì)和支持的。

生成式AI現(xiàn)正處在發(fā)展初期，大模型的增強(qiáng)技術(shù)還有很大的發(fā)展空間。例如RAG技術(shù)，即運(yùn)用檢索獲得的精準(zhǔn)結(jié)果來(lái)提升大模型響應(yīng)的專業(yè)性和準(zhǔn)確性，這一技術(shù)已得到業(yè)界的普遍認(rèn)可。再例如精準(zhǔn)算法增強(qiáng)也很有前景。最近發(fā)表的文生視頻Sora系統(tǒng)引人注目，它通過輸入提示詞，可輸出對(duì)應(yīng)的視頻。然而Sora目前還無(wú)法準(zhǔn)確模擬復(fù)雜場(chǎng)景的物理特性，也無(wú)法理解實(shí)體之間的因果關(guān)系。如在Sora生成的果汁潑濺視頻中，實(shí)體有兩個(gè)穩(wěn)定狀態(tài)，一個(gè)是水杯直立的狀態(tài)，另一個(gè)是果汁已經(jīng)潑濺出來(lái)的狀態(tài)。但是最為復(fù)雜的物理狀態(tài)，即果汁從杯中流灑出來(lái)的過程卻沒有生成出來(lái)。顯然，要做到這一步需要將眾多科學(xué)定律、工業(yè)軟件和計(jì)算能力等等與大模型融合起來(lái)，這是很有挑戰(zhàn)性的工作。顯然，圍繞大模型發(fā)展各種增強(qiáng)技術(shù)是很有意義、很有前途的。

應(yīng)當(dāng)指出，生成式AI還存在很多問題值得我們深入思考，例如在可解釋、透明、公平、合法、安全等等方面，都需要認(rèn)真研究，而且這些問題在短期內(nèi)不可能都完全徹底地解決，為此，需要采取一些迅速有效的舉措，以保障人們可以盡可能安全有效地應(yīng)用生成式AI。建議終端廠商在各種終端上加上“AI代理”軟件，這個(gè)軟件類似于終端上已經(jīng)普遍使用的“管家”、“助手”這類小工具，不過要將這類小工具的功能擴(kuò)展到監(jiān)控生成式AI的應(yīng)用方面。例如：是否調(diào)用某個(gè)大模型，是否采用大模型給出的特定響應(yīng)，如何將大模型與終端上的小模型融合起來(lái)……鑒于“AI代理”的能力遠(yuǎn)遠(yuǎn)超過了常規(guī)小工具，它當(dāng)然可以包含并提升這些小工具的原有功能，從而將終端的運(yùn)維、升級(jí)、安全防護(hù)等等功能都擔(dān)當(dāng)起來(lái)。在技術(shù)架構(gòu)上，它可以處于系統(tǒng)的最底層，取得終端的最高權(quán)限，而將原先的OS作為宿主OS。這里，對(duì)它冠以“AI代理”的名稱，意味著它可以代理終端所有者對(duì)終端實(shí)施管控，在身份、價(jià)值觀、愛好、習(xí)慣等等方面都可以代理終端所有者。

我看到國(guó)內(nèi)有的終端已經(jīng)裝備了“AI助手”（例如榮耀的魔法OS 8.0），使終端設(shè)備更智能、更有效率，更人性化和個(gè)性化。如上述工具加以延伸和擴(kuò)展，就可以演進(jìn)成“AI代理”，將AI應(yīng)用融入終端設(shè)備當(dāng)中 。

這里我還要強(qiáng)調(diào)一下對(duì)生成式AI系統(tǒng)及其所提供結(jié)論是否應(yīng)當(dāng)引入“價(jià)值觀”傾向的概念，因?yàn)橛卸喾N途徑可以導(dǎo)致這類系統(tǒng)帶有傾向，包括：訓(xùn)練時(shí)所使用的大數(shù)據(jù)集合；依靠人類反饋進(jìn)行增強(qiáng)訓(xùn)練時(shí)所采用的獎(jiǎng)懲規(guī)則；算法中的某些環(huán)節(jié)或者運(yùn)行中施加的某種干預(yù)；使用交互中對(duì)其進(jìn)行的誘導(dǎo)等等。既然有傾向，當(dāng)然也可以實(shí)行評(píng)估。如同為了保障信息安全，可由權(quán)威測(cè)評(píng)機(jī)構(gòu)進(jìn)行相應(yīng)的安全測(cè)評(píng)那樣，對(duì)于AI產(chǎn)品和服務(wù)，為了保障倫理安全，也可引入相應(yīng)的測(cè)評(píng)機(jī)制�？捎蓹�(quán)威機(jī)構(gòu)按照“主流價(jià)值觀”的要求，對(duì)生成式AI的產(chǎn)品和服務(wù)進(jìn)行相應(yīng)的價(jià)值觀測(cè)評(píng)，以幫助用戶選取適合的對(duì)象。

綜上所述，生成式AI是當(dāng)代的重大科技創(chuàng)新，它將催生新產(chǎn)業(yè)、新模式、新動(dòng)能，是發(fā)展新質(zhì)生產(chǎn)力的核心要素。我們要以全球視野進(jìn)行謀劃和發(fā)展，爭(zhēng)取在人工智能時(shí)代躋身于世界前列，為實(shí)現(xiàn)科技強(qiáng)國(guó)的夢(mèng)想和民族偉大復(fù)興作出更大的貢獻(xiàn)。

分享讓更多人看到