中新網(wǎng)北京11月19日電 (記者 張素)上下文窗口長度，對于模型理解和生成與特定上下文相關(guān)文本極為重要，是大模型核心技術(shù)之一。記者近日采訪獲悉，鵬城實(shí)驗(yàn)室等相關(guān)機(jī)構(gòu)開展合作，在國產(chǎn)算力大模型長窗口技術(shù)方面有所突破。

　　通常來說，更長的上下文窗口可以提供更豐富的語義信息，并且能夠讓模型生成的內(nèi)容更準(zhǔn)確流暢。“鵬城—百川·腦海33B”的128K長上下文窗口基于“鵬城云腦”國產(chǎn)算力平臺(tái)訓(xùn)練，未來可升級(jí)至192K。

　　據(jù)知，為提升上下文窗口長度和模型整體性能，百川智能和鵬城實(shí)驗(yàn)室對模型進(jìn)行了全流程優(yōu)化。在數(shù)據(jù)集構(gòu)建方面，研發(fā)人員采用精細(xì)的數(shù)據(jù)構(gòu)造，實(shí)現(xiàn)段落、句子粒度的自動(dòng)化數(shù)據(jù)過濾、選擇、配比，進(jìn)一步提升了數(shù)據(jù)質(zhì)量。

　　在全生命周期的模型工具集中方面，包括來自北京大學(xué)的王亦洲、楊耀東團(tuán)隊(duì)在內(nèi)，多方開展合作，創(chuàng)新提出帶安全約束的RLHF對齊技術(shù)，有效提升了模型內(nèi)容生成質(zhì)量和安全性。

　　鵬城實(shí)驗(yàn)室相關(guān)負(fù)責(zé)人表示，接下來還將廣泛聯(lián)合企業(yè)、高校和科研院所，通過開源群智的合作模式共享資源，為千行百業(yè)插上人工智能的“翅膀”。百川智能相關(guān)負(fù)責(zé)人也表示，希望通過開源、與合作伙伴共創(chuàng)等方式，助力中國大模型創(chuàng)新，促進(jìn)本土大模型生態(tài)日益繁榮。

　　有評(píng)論認(rèn)為，上述在大模型訓(xùn)練和應(yīng)用領(lǐng)域的合作研發(fā)實(shí)踐，對于國產(chǎn)算力大模型發(fā)展具有積極示范作用，希望更多科研機(jī)構(gòu)、企業(yè)廠商基于各自優(yōu)勢形成合力，更好地滿足國內(nèi)不斷增長的智能化轉(zhuǎn)型需求，助力中國人工智能產(chǎn)業(yè)持續(xù)發(fā)展。(完)