鞭牛士報(bào)道，1月31日消息，英偉達(dá)官方公告稱，DeepSeek-R1 是一個(gè)具有最先進(jìn)推理能力的開(kāi)放模型。DeepSeek-R1 等推理模型不會(huì)提供直接響應(yīng)，而是對(duì)查詢進(jìn)行多次推理，采用思路鏈、共識(shí)和搜索方法來(lái)生成最佳答案。
執(zhí)行這一系列推理過(guò)程（使用推理得出最佳答案）稱為測(cè)試時(shí)間擴(kuò)展。DeepSeek-R1 是此擴(kuò)展定律的完美示例，證明了加速計(jì)算對(duì)于代理 AI推理的需求至關(guān)重要。
由于模型可以反復(fù)思考問(wèn)題，因此它們會(huì)創(chuàng)建更多輸出標(biāo)記和更長(zhǎng)的生成周期，因此模型質(zhì)量會(huì)不斷提高。大量的測(cè)試時(shí)計(jì)算對(duì)于實(shí)現(xiàn)實(shí)時(shí)推理和來(lái)自 DeepSeek-R1 等推理模型的更高質(zhì)量響應(yīng)至關(guān)重要，這需要更大規(guī)模的推理部署。
R1 在需要邏輯推理、推理、數(shù)學(xué)、編碼和語(yǔ)言理解的任務(wù)中提供了領(lǐng)先的準(zhǔn)確性，同時(shí)還提供了高推理效率。
為了幫助開(kāi)發(fā)人員安全地試驗(yàn)這些功能并構(gòu)建自己的專用代理，6710 億參數(shù)的 DeepSeek-R1 模型現(xiàn)已作為 NVIDIA NIM 微服務(wù)預(yù)覽版在build.nvidia.com上提供。
DeepSeek-R1 NIM 微服務(wù)可以在單個(gè) NVIDIA HGX H200 系統(tǒng)上每秒提供多達(dá) 3,872 個(gè)令牌。
開(kāi)發(fā)人員可以使用應(yīng)用程序編程接口 (API) 進(jìn)行測(cè)試和試驗(yàn)，該接口預(yù)計(jì)很快將作為可下載的 NIM 微服務(wù)提供，是NVIDIA AI Enterprise軟件平臺(tái)的一部分。
DeepSeek-R1 NIM 微服務(wù)通過(guò)支持行業(yè)標(biāo)準(zhǔn) API 簡(jiǎn)化了部署。企業(yè)可以通過(guò)在其首選的加速計(jì)算基礎(chǔ)設(shè)施上運(yùn)行 NIM 微服務(wù)來(lái)最大限度地提高安全性和數(shù)據(jù)隱私。通過(guò)使用NVIDIA AI Foundry和NVIDIA NeMo軟件，企業(yè)還可以為專門的 AI 代理創(chuàng)建定制的 DeepSeek-R1 NIM 微服務(wù)。