中國西藏網(wǎng) > 即時(shí)新聞 > 國內(nèi)

鵬城實(shí)驗(yàn)室等開展合作 突破國產(chǎn)算力大模型長窗口技術(shù)

發(fā)布時(shí)間:2023-11-20 13:57:00來源: 中國新聞網(wǎng)

  中新網(wǎng)北京11月19日電 (記者 張素)上下文窗口長度,對(duì)于模型理解和生成與特定上下文相關(guān)文本極為重要,是大模型核心技術(shù)之一。記者近日采訪獲悉,鵬城實(shí)驗(yàn)室等相關(guān)機(jī)構(gòu)開展合作,在國產(chǎn)算力大模型長窗口技術(shù)方面有所突破。

  通常來說,更長的上下文窗口可以提供更豐富的語義信息,并且能夠讓模型生成的內(nèi)容更準(zhǔn)確流暢?!谤i城—百川·腦海33B”的128K長上下文窗口基于“鵬城云腦”國產(chǎn)算力平臺(tái)訓(xùn)練,未來可升級(jí)至192K。

  據(jù)知,為提升上下文窗口長度和模型整體性能,百川智能和鵬城實(shí)驗(yàn)室對(duì)模型進(jìn)行了全流程優(yōu)化。在數(shù)據(jù)集構(gòu)建方面,研發(fā)人員采用精細(xì)的數(shù)據(jù)構(gòu)造,實(shí)現(xiàn)段落、句子粒度的自動(dòng)化數(shù)據(jù)過濾、選擇、配比,進(jìn)一步提升了數(shù)據(jù)質(zhì)量。

  在全生命周期的模型工具集中方面,包括來自北京大學(xué)的王亦洲、楊耀東團(tuán)隊(duì)在內(nèi),多方開展合作,創(chuàng)新提出帶安全約束的RLHF對(duì)齊技術(shù),有效提升了模型內(nèi)容生成質(zhì)量和安全性。

  鵬城實(shí)驗(yàn)室相關(guān)負(fù)責(zé)人表示,接下來還將廣泛聯(lián)合企業(yè)、高校和科研院所,通過開源群智的合作模式共享資源,為千行百業(yè)插上人工智能的“翅膀”。百川智能相關(guān)負(fù)責(zé)人也表示,希望通過開源、與合作伙伴共創(chuàng)等方式,助力中國大模型創(chuàng)新,促進(jìn)本土大模型生態(tài)日益繁榮。

  有評(píng)論認(rèn)為,上述在大模型訓(xùn)練和應(yīng)用領(lǐng)域的合作研發(fā)實(shí)踐,對(duì)于國產(chǎn)算力大模型發(fā)展具有積極示范作用,希望更多科研機(jī)構(gòu)、企業(yè)廠商基于各自優(yōu)勢(shì)形成合力,更好地滿足國內(nèi)不斷增長的智能化轉(zhuǎn)型需求,助力中國人工智能產(chǎn)業(yè)持續(xù)發(fā)展。(完)

(責(zé)編:陳濛濛)

版權(quán)聲明:凡注明“來源:中國西藏網(wǎng)”或“中國西藏網(wǎng)文”的所有作品,版權(quán)歸高原(北京)文化傳播有限公司。任何媒體轉(zhuǎn)載、摘編、引用,須注明來源中國西藏網(wǎng)和署著作者名,否則將追究相關(guān)法律責(zé)任。

无码人妻精品一区二区蜜桃百度 | 成人麻豆日韩在无码视频| 中文无码伦av中文字幕| 天堂网www中文在线| 最近更新2019中文字幕| 欧美日韩中文字幕久久久不卡 | 中文字幕乱人伦| 中文字幕精品无码一区二区三区| 亚洲av永久无码精品网站| 无码中文字幕日韩专区| 亚洲中文字幕在线乱码| 国产精品无码无在线观看| 久久精品aⅴ无码中文字字幕不卡 久久精品aⅴ无码中文字字幕重口 | 中文字幕天天躁日日躁狠狠躁免费| 国产乱子伦精品无码专区| 激情欧美一区二区三区中文字幕| 久久无码中文字幕东京热| a级毛片无码兔费真人久久| 亚洲Av永久无码精品三区在线| 中文字幕在线播放| 一级片无码中文字幕乱伦| 在线天堂中文在线资源网| 波多野结衣中文字幕免费视频| 漂亮人妻被中出中文字幕久久| 五月婷婷无码观看| 人妻无码久久精品| 无码av中文一二三区| 亚洲va中文字幕无码| 中文字幕乱偷无码AV先锋 | 亚洲中文字幕无码中文字在线| 无码人妻精品一区二区蜜桃网站 | 一级中文字幕免费乱码专区| 天堂资源在线最新版天堂中文| 精品久久久久久中文字幕| 日本中文字幕在线不卡高清| 最近最新免费中文字幕高清| 亚洲日韩在线中文字幕综合| 亚洲色无码播放| 无码专区久久综合久中文字幕| 中文字幕无码人妻AAA片| 久久久久久久人妻无码中文字幕爆|