邊緣智能新范式:當大模型“遇見(jiàn)”算能芯
隨著(zhù)DeepSeek、Qwen等大模型陸續開(kāi)源,大模型正經(jīng)歷一場(chǎng)深刻的“下沉運動(dòng)”。云端的神話(huà),開(kāi)始尋求地面的答案——當智能需要在城市道路、園區街角、工廠(chǎng)產(chǎn)線(xiàn)中實(shí)時(shí)涌現,我們面臨的,是海量數據、嚴苛延時(shí)與有限功耗的終極博弈。邊緣計算專(zhuān)用方案,已成為大模型規?;涞氐年P(guān)鍵。在這一浪潮中,算能以芯見(jiàn)智,推出了多個(gè)邊緣計算場(chǎng)景解決方案,在智能落地的廣度和深度上取得了巧妙平衡。
Part1:馭算開(kāi)物 開(kāi)源芯動(dòng)
2025年,隨著(zhù)DeepSeek、通義千問(wèn)等頂尖模型相繼開(kāi)源,行業(yè)焦點(diǎn)正從“規模競賽”轉向“落地競速”。 當智能從云端下沉至邊緣,算能正在用其堅實(shí)的算力底座鋪就這最后一公里。
1.?持續適配CNN開(kāi)源模型,打造輕量大型多模態(tài)模型(L2M2)場(chǎng)景落地應用。
2.?適配ChatGLM?|?Llama?|?Qwen?|?MiniCPM?| DeepSeek等主流邊緣大模型,部署代碼全部開(kāi)源。
3.?助力合作伙伴完成"視頻/音頻+AI“場(chǎng)景落地,拓展邊緣智能的交互邊界。
?
Part2:多元適配 深度優(yōu)化
算能深入主流開(kāi)源模型架構,完成了從傳統CNN模型到大語(yǔ)言模型和多模態(tài)大模型的全面兼容與性能攻堅。更重要的是,我們將這些深度優(yōu)化的能力,凝結為一整套標準化、高性能的邊緣AI硬件產(chǎn)品,讓端側的模型部署,從一項復雜的工程挑戰,轉變?yōu)楦咝Э煽康臉藴驶鞒獭?/p>
1.?完整模型適配矩陣
**視覺(jué)模型**
https://github.com/sophgo/sophon-demo/tree/release/sample/YOLOv34
|
檢測 |
YOLOv34 | YOLOv5 | YOLOv7 | YOLOv10 YOLOX | YOLO_world |
|
YOLOv8_det | YOLOv9_det | YOLOv11_det YOLOv12_det |
|
|
YOLOv5_opt | YOLOv5_fuse |
|
|
YOLOv8_obb | YOLOv11_obb |
|
|
YOLOv8_pose | OpenPose | HRNet_pose |
|
|
ppYOLOv3 | ppYoloe |
|
|
SSD | D-FINE |
|
|
RetinaFace | SCRFD |
|
|
DirectMHP |
|
|
識別 |
LPRNet | PP-OCR |
|
CenterNet |
|
|
C3D | SlowFast |
|
|
P2PNet |
|
|
分類(lèi) |
ResNet | Recognize-Anything | YOLOv8_plus_cls |
|
CLIP | SuperGlue | LightStereo |
|
|
分割 |
P2PNet |
|
segformer | SAM | SAM2 |
|
|
yolact | YOLOv8_plus_seg | YOLOv8_plus_seg_fuse YOLOv9_seg |
|
|
生成 |
StableDiffusionV1.5 | StableDiffusionXL | FLUX.1 |
|
Real-ESRGAN |
|
|
跟蹤 |
DeepSORT |
|
ByteTrack |
**音頻模型**
https://github.com/sophgo/sophon-demo/tree/release/sample/WeNet
|
類(lèi)型 |
模型 |
|
識別 |
WeNet |
|
Whisper |
|
|
Seamless |
|
|
CAM++ |
|
|
優(yōu)化 |
FaceFormer |
|
MP_SENet |
|
|
生成 |
VITS_CHINESE |
|
ChatTTS |
**大語(yǔ)言模型**
https://github.com/sophgo/sophon-demo/tree/release/sample/ChatGLM2
|
類(lèi)型 |
模型 |
|
Chat系列 |
ChatGLM2?|?ChatGLM3?|?ChatGLM4 |
|
Qwen系列 |
Qwen-7b Qwen1.5-1.8B | Qwen1.5-7B Qwen2-7b Qwen2.5-0.5B?|?Qwen2.5-1.5B?|?Qwen2.5-3B |?Qwen2.5-7B Qwen3-0.6B |?Qwen3-1.7B |?Qwen3-4B |?Qwen3-7B |
|
? |
QwQ-32B |
|
DeepSeek系列 |
deepseek-r1-distill-qwen-1.5b deepseek-r1-distill-qwen-7b |
|
? |
deepseek-r1-distill-qwen2-1.5b deepseek-r1-distill-qwen2-7b deepseek-r1-distill-qwen2-14b |
|
Mini CPM系列 |
MiniCPM?|?MiniCPM3?|?MiniCPM4 |
?**多模態(tài)大模型**
https://github.com/sophgo/sophon-demo/tree/release/sample/Qwen-VL-Chat
|
類(lèi)型 |
模型 |
|
Qwen系列 |
Qwen-VL-Chat Qwen2-VL | Qwen2.5-VL-3B | Qwen2.5-VL-7B Qwen3-VL-2B | Qwen3-VL-4B | Qwen3-VL-8B |
|
Intern系列 |
InternVL2 | InternVL3-2B | InternVL3-8B |
|
其他 |
Vila | Llama3_2_Vision | MiniCPMV-4B GroundingDINO | Phi4mm | VITA1_5 | BLIP |
模型適配參考鏈接:
https://github.com/sophgo/sophon-demo
2.?深度優(yōu)化性能強大
●?LLM適配性能


●?VLM適配性能


?
Part3:算力為基 生態(tài)共創(chuàng )
1.?視覺(jué)模型典型應用產(chǎn)品——全時(shí)全域感知計算一體機
全時(shí)全域一體機是智能體的數字基礎設施,通感算定安一體化,是城市智能體的“數智基站”,廣泛應用于路邊燈桿、街角箱柜、社區機房等系統中。

2.?音頻模型典型應用產(chǎn)品——談話(huà)記錄拾音器
提供語(yǔ)音實(shí)時(shí)轉寫(xiě),支持生僻詞配置識別等功能,準確率高。支持全文轉寫(xiě),關(guān)鍵詞告警等特色功能。產(chǎn)品應用在需要語(yǔ)音轉錄的場(chǎng)景如司法審訊或教育過(guò)程錄制等。

3.?大語(yǔ)言模型典型應用產(chǎn)品——AI NAS
覆蓋2~6盤(pán)位組合,配套移動(dòng)端(Android & IOS)/PC端/TV端管理平臺。能集中管理家庭所有IPC,并支持“對話(huà)式”文搜功能:AI自動(dòng)分類(lèi)人物與場(chǎng)景,用自然語(yǔ)言搜索文件與照片,并通過(guò)AI Agent自動(dòng)處理任務(wù),是每個(gè)家庭的私人管家。

4.?多模態(tài)大模型典型應用產(chǎn)品——智能分析主機
集IPC接入、存儲、管理、智能分析、智能展示于一體,實(shí)現智能文搜、圖搜、精確目標分析、周界防范和人/車(chē)視頻結構化等智能分析應用的邊緣計算主機。

Part4:持算篤行 芯向未來(lái)
過(guò)去的一年,算能始終持算力芯片之基,篤行業(yè)賦能之行。我們的邊緣產(chǎn)品矩陣,為產(chǎn)業(yè)智能的落地提供了堅實(shí)底座。從核心的算力硬件到開(kāi)源的軟件工具,從標桿性的一體機產(chǎn)品到與生態(tài)伙伴共創(chuàng )的行業(yè)方案,算能正與產(chǎn)業(yè)同行,將智能算力轉化為千行百業(yè)切實(shí)的生產(chǎn)力與創(chuàng )新力。