器集群產(chǎn)品圖..png)
器產(chǎn)品圖.png)
器產(chǎn)品圖.png)
器產(chǎn)品圖.png)
器產(chǎn)品圖1-8080.png)
品主圖.png)
Llama 3 王者歸來(lái)，Airbox 率先支持部署
前天，智算領(lǐng)域迎來(lái)一則令人振奮的消息：Meta 正式發(fā)布了備受期待的開(kāi)源大模型——Llama 3。
?
Llama 3 的卓越性能
Meta 表示，Llama 3 在多個(gè)關(guān)鍵基準測試中展現出卓越性能，超越了業(yè)內先進(jìn)的同類(lèi)模型。無(wú)論是在代碼生成、復雜推理，還是在遵循指令和可視化想法方面，Llama 3 都實(shí)現了全面領(lǐng)先。該模型在以下五個(gè)基準測試中均表現出色：
- MMLU（學(xué)科知識理解）
- GPQA（一般問(wèn)題解答）
- HumanEval（代碼能力）
- GSM-8K（數學(xué)能力）
- MATH（高難度數學(xué)問(wèn)題）
無(wú)論是 8B 規格的 Llama3 還是 70B 規格，它們都較市場(chǎng)上其他優(yōu)秀大模型表現更佳。
?
縱向對比顯示，Llama 3 的性能大幅領(lǐng)先于前代產(chǎn)品 Llama 2，尤其是在 8B 規格上，遠超過(guò) Llama 2 時(shí)代的 13B 和 70B 規格；新的 70B 規格更是展現出與 GPT-4 早期版本相媲美的能力。
指令調優(yōu)模型
|
Benchmark |
Llama 3 8B |
Llama 2 7B |
Llama 2 13B |
Llama 3 70B |
Llama 2 70B |
|
MMLU (5-shot) |
68.4 |
34.1 |
47.8 |
82 |
52.9 |
|
GPQA (0-shot) |
34.2 |
21.7 |
22.3 |
39.5 |
21 |
|
HumanEval (0-shot) |
62.2 |
7.9 |
14 |
81.7 |
25.6 |
|
GSM-8K (8-shot, CoT) |
79.6 |
25.7 |
77.4 |
93 |
57.5 |
|
MATH (4-shot, CoT) |
30 |
3.8 |
6.7 |
50.4 |
11.6 |
?
瑞莎 Airbox 快速支持 Llama 3
面對 Llama 3 如此激動(dòng)人心的性能，Airbox 團隊積極響應，快速將 Llama 8B 移植并成功在 Airbox 上運行。以下視頻展示了 Llama 8B 在 Airbox 上的運行情況：
?
?
(注：Llama 3 8B 知識更新到 2023 年 3 月)
可以看到，Llama 3 8B 在 Airbox 上的運行表現極為流暢，達到了 9.6 token/s 的處理速度，已充分展現出其實(shí)用價(jià)值。與其他應用結合使用時(shí)，更開(kāi)辟了廣闊的應用前景和創(chuàng )新可能性。Airbox 團隊后續會(huì )對 Llama 3 8B 做更多測試并公布結果。
關(guān)于瑞莎 Fogwise Airbox
瑞莎智算盒子 Fogwise Airbox 是一款面向側端生成式智算的邊緣計算微型服務(wù)器，基于算能最新專(zhuān)為生成式智算打造的 SG2300X 處理器設計，具有開(kāi)箱即用，本地離線(xiàn)部署，注重數據隱私，多精度支持，高能效比，高性?xún)r(jià)比，系統/文檔/工具鏈開(kāi)源等特點(diǎn)，是當前為數不多甚至是唯一的低成本在邊緣側部署生成式智算的方案。
瑞莎 Fogwise Airbox 現已準備就緒，即將在近期發(fā)售，敬請期待。