国产精品久久精品牛牛影视-国产精品久久精品视-国产精品久久九九-国产精品久久久-国产精品久久久99

大型語言模型在生成文本段落、模擬人類對話和解決數(shù)學(xué)問題方面表現(xiàn)出色，顯然是近年來AI發(fā)展最受歡迎的領(lǐng)域之一。然而，這種大型語言模型不僅可以自己生成有害內(nèi)容，還可以通過下游應(yīng)用程序傳播。

芯片采購網(wǎng)專注于整合國內(nèi)外授權(quán)IC代理商現(xiàn)貨資源，芯片庫存實時查詢，行業(yè)價格合理，采購方便IC芯片，國內(nèi)專業(yè)芯片采購平臺。

理論上，更多的人的參與應(yīng)該有助于解決問題。然而，由于語言模型的培訓(xùn)需要大量的數(shù)據(jù)和計算能力，它們?nèi)匀恢皇谴笮涂萍脊�司的�?dú)特項目。在學(xué)術(shù)界、倫理學(xué)家和社會科學(xué)家等更廣泛的群體中，只有旁觀者擔(dān)心人工智能濫用。

我相信建立信任的唯一方法就是極其透明。Meta AI常務(wù)董事喬爾·皮諾（Joelle Pineau）說。當(dāng)?shù)貢r間5月3日，Meta AI擁有1750億參數(shù)的大語言模型開放OPT-175B（Open Pretrained Transformer，OPT）。

這對大型科技公司來說是前所未有的。即使在大語言模型的歷史上，這也是第一次毫無保留地披露所有的預(yù)訓(xùn)練模型、訓(xùn)練代碼和使用代碼。

我們中的許多人都是大學(xué)的研究人員，皮諾說。我們知道，大學(xué)和行業(yè)在建立這些模式的能力上存在著明顯的差距。很明顯，讓研究人員討論這項技術(shù)的好處。她希望其他人能仔細(xì)研究他們的工作，分析它們，或在此基礎(chǔ)上建立它們。她認(rèn)為，當(dāng)更多的人參與進(jìn)來時，突破就會更快地實現(xiàn)。

OPT語言模型中約有1750億個參數(shù)(這些參數(shù)是神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中可以調(diào)整的參數(shù))OpenAI開創(chuàng)性的神經(jīng)網(wǎng)絡(luò)GPT-3規(guī)模基本相同，有付費(fèi)服務(wù)GPT-非凡的能力和不可避免的缺陷。

這是經(jīng)過精心設(shè)計的，皮諾說OPT考慮語言任務(wù)的準(zhǔn)確性和有害性GPT-3相匹配。OPT為研究人員提供類似的語言模型進(jìn)行研究。

OpenAI拒絕了對Meta評論聲明。

OpenAI谷歌的母公司正在探索在其搜索產(chǎn)品中使用大型語言模型，但也因缺乏透明度而受到批評。谷歌在人工智能倫理研究員方面存在許多爭議Timnit Gebru如果你想發(fā)表一篇關(guān)于谷歌當(dāng)時語言系統(tǒng)的論文，你可能會從網(wǎng)站上學(xué)習(xí)包含偏見和仇恨的論文，最近解雇了另一名反對發(fā)表研究的員工。

那么，Meta為什么要這樣做？Meta也很少提到臉書和臉書Instagram科技公司背后的算法工作原理利問題而聞名的科技公司背后的算法工作原理。

根據(jù)麻省理工科技評論，Meta采用不同方法的一個重要原因是皮諾本人多年來一直在促進(jìn)人工智能研發(fā)的透明度。

在核心學(xué)術(shù)會議發(fā)表的研究方法中，皮諾要求研究人員提交包括代碼以及如何進(jìn)行實驗的詳細(xì)信息和結(jié)果。她自2017年加入Meta（當(dāng)時的Facebook）人工智能實驗室一直倡導(dǎo)這種文化。

“Meta對開放科學(xué)的承諾條件來這里工作，皮諾說。

除代碼外，Meta開發(fā)日志也公布了。日志包括團(tuán)隊成員對數(shù)據(jù)培訓(xùn)的日常更新:如何將其添加到模型中，以及何時、有效和無效。在100多頁的筆記中，研究人員記錄了2021年10月至2022年1月持續(xù)運(yùn)行的三個月訓(xùn)練過程中的每一個錯誤、崩潰和ILSI代理重啟。

斯坦福大學(xué)基礎(chǔ)模型研究中心主任Percy Liang將大模型的開放程度總結(jié)為四個層次：

第一層論文開放，證明一些想法的可行性，并提供構(gòu)建思路；第二層API開放允許研究人員探索和評估現(xiàn)有模型的能力（如推理能力）和限制（如偏見）；第三層模型權(quán)重和培訓(xùn)數(shù)據(jù)的開放允許研究人員逐步改進(jìn)現(xiàn)有模型，開發(fā)更深入的可解釋技術(shù)和更有效的微調(diào)方法，讓研究人員更好地了解培訓(xùn)數(shù)據(jù)在模型行為中的作用；第四層開放的計算能力允許研究人員嘗試新的系統(tǒng)結(jié)構(gòu)、培訓(xùn)目標(biāo)和過程、數(shù)據(jù)集成，并在不同領(lǐng)域開發(fā)新的模型。

更高層次的開放可以讓研究者關(guān)注更深層次的問題，同時帶來更多的風(fēng)險。Percy Liang明確指出這一點(diǎn)。

Meta在這種程度上，開源其大型語言模型是一項非常大膽的措施，可能會產(chǎn)生目前無法想象的風(fēng)險。OpenAI對于不發(fā)布GPT-3的前身GPT-給出的原因。

我不能告訴你這個模型不會有其他可怕的風(fēng)險。皮諾駁斥了僅僅因為它太危險了，所以不應(yīng)該發(fā)布模型的想法。她說：我理解這些模型的弱點(diǎn)，但這不是一種研究心態(tài)。

根據(jù)《麻省理工科技評論》，人工智能倫理研究員瑪格麗特因違反其行為準(zhǔn)則被谷歌解雇·米切爾（Margaret Mitchell）認(rèn)為，OPT發(fā)布是一項積極的措施。但她認(rèn)為透明度是有限的。她問：語言模型是否經(jīng)過了足夠嚴(yán)格的測試？可預(yù)見的好處是否超過其可預(yù)見的危害？如何避免在這個過程中產(chǎn)生錯誤的信息，或者種族主義和厭惡女性的語言？“

艾米麗，華盛頓大學(xué)的計算語言學(xué)家·M·本德（Emily M.Bender）她曾在谷歌中心與米切爾合作研究，并擔(dān)心如何處理潛在的危害。降低任何機(jī)器學(xué)習(xí)技術(shù)風(fēng)險的真正關(guān)鍵是在特定的用例中進(jìn)行評估和探索，例如，該系統(tǒng)是用來做什么的？誰會使用它？系統(tǒng)輸出將如何呈現(xiàn)給他們？

對于皮諾來說，這些擔(dān)憂應(yīng)該通過更多的公開討論來解決，而不是減少溝通。世界各地的人們對什么樣的對話有不同的看法，人工智能是對話的一部分，皮諾不希望語言模型能說出每個人都同意的話，但我們應(yīng)該如何處理呢？也就是說，在討論過程中聽別人的聲音。