RM新时代_算豐學(xué)院

作為框架和硬件之間的橋梁，深度學(xué)習編譯器可以實(shí)現一次性代碼開(kāi)發(fā)和重用各種計算能力處理器的目標。最近，算能也開(kāi)源了自己開(kāi)發(fā)的TPU編譯工具——TPU-MLIR (Multi-Level Intermediate Representation)。TPU-MLIR是一個(gè)面向深度學(xué)習處理器的開(kāi)源TPU編譯器。該項目提供了完整的工具鏈，將各種框架下預訓練的神經(jīng)網(wǎng)絡(luò )轉換為可在TPU中高效運行的二進(jìn)制文件bmodel，以實(shí)現更高效的推理。本課程以實(shí)際實(shí)踐為驅動(dòng)，引導您直觀(guān)地理解、實(shí)踐、掌握智能深度學(xué)習處理器的TPU編譯框架。

目前，TPU-MLIR項目已應用于算能開(kāi)發(fā)的最新一代深度學(xué)習處理器BM1684X。結合處理器本身的高性能ARM內核以及相應的SDK，可以實(shí)現深度學(xué)習算法的快速部署。本課程將介紹MLIR的基本語(yǔ)法，以及編譯器中各種優(yōu)化操作的實(shí)現細節，如圖形優(yōu)化、int8量化、算子分割、地址分配等。

與其他編譯工具相比，TPU-MLIR有幾個(gè)優(yōu)點(diǎn)

1. 簡(jiǎn)單方便

通過(guò)閱讀開(kāi)發(fā)手冊和項目中包含的示例，用戶(hù)可以了解模型轉換的過(guò)程和原理，并快速入門(mén)。此外，TPU-MLIR是基于當前主流編譯工具庫MLIR設計的，用戶(hù)也可以通過(guò)它了解MLIR的應用。本項目提供了一套完整的工具鏈，用戶(hù)可直接通過(guò)現有接口快速完成模型轉換工作，無(wú)需適應不同的網(wǎng)絡(luò )。

2. 通用性

目前，TPU- mlir已經(jīng)支持TFLite和onnx兩種格式，這兩種格式的模型可以直接轉換為T(mén)PU可用的bmodel。如果不是這兩種格式呢?事實(shí)上，onnx提供了一套轉換工具，可以將目前市場(chǎng)上主要的深度學(xué)習框架編寫(xiě)的模型轉換為onnx格式，然后再進(jìn)行bmodel轉換。

3、精度與效率并存

在模型轉換過(guò)程中，有時(shí)會(huì )失去精度。TPU-MLIR支持INT8對稱(chēng)和非對稱(chēng)量化，結合原開(kāi)發(fā)公司的校準和tune技術(shù)，大大提高了性能，保證了模型的高精度。此外，TPU-MLIR還使用了大量的圖優(yōu)化和算子分割優(yōu)化技術(shù)來(lái)保證模型的高效運行。

4. 實(shí)現終極性?xún)r(jià)比，構建下一代深度學(xué)習編譯器

為了支持圖形化計算，神經(jīng)網(wǎng)絡(luò )模型中的算子需要開(kāi)發(fā)圖形化版本;為了適應TPU，應該為每個(gè)運營(yíng)商開(kāi)發(fā)一個(gè)版本的TPU。此外，有些場(chǎng)景需要適應相同計算能力處理器的不同型號，每次都必須手工編譯，這將非常耗時(shí)。深度學(xué)習編譯器就是用來(lái)解決這些問(wèn)題的。TPU-mlir的一系列自動(dòng)優(yōu)化工具可以節省大量的人工優(yōu)化時(shí)間，因此在RISC-V上開(kāi)發(fā)的模型可以順利自由地移植到TPU上，以獲得最佳的性能和性?xún)r(jià)比。

5. 完整的信息

課程包括中英文視頻教學(xué)、文檔指導、代碼腳本等，詳實(shí)豐富的視頻資料詳細應用指導清晰的代碼腳本TPU-MLIR站在MLIR巨頭的肩膀上打造，現在整個(gè)項目的所有代碼都已經(jīng)開(kāi)源，免費向所有用戶(hù)開(kāi)放。

代碼下載鏈接:https://github.com/sophgo/tpu-mlir

tpu - mlir開(kāi)發(fā)參考手冊:https://tpumlir.org/docs/developer_manual/01_introduction.html

總體設計思想論文:https://arxiv.org/abs/2210.15016

視頻教程:https://space.bilibili.com/1829795304/channel/collectiondetail?sid=734875

課程目錄

序號	課程名	課程分類(lèi)	課程資料
?	?	?	視頻	文檔	代碼
1.1	Deep learning編譯器基礎	TPU_MLIR基礎	√	√	√
1.2	MLIR基礎	TPU_MLIR基礎	√	√	√
1.3	MLIR基本結構	TPU_MLIR基礎	√	√	√
1.4	MLIR之op定義	TPU_MLIR基礎	√	√	√
1.5	TPU_MLIR介紹（一）	TPU_MLIR基礎	√	√	√
1.6	TPU_MLIR介紹（二）	TPU_MLIR基礎	√	√	√
1.7	TPU_MLIR介紹（三）	TPU_MLIR基礎	√	√	√
1.8	量化概述	TPU_MLIR基礎	√	√	√
1.9	量化推導	TPU_MLIR基礎	√	√	√
1.10?	量化校準	TPU_MLIR基礎	√	√	√
1.11	量化感知訓練（一）	TPU_MLIR基礎	√	√	√
1.12?	量化感知訓練（二）	TPU_MLIR基礎	√	√	√
2.1	Pattern Rewriting	TPU_MLIR實(shí)戰	√	√	√
2.2	Dialect Conversion	TPU_MLIR實(shí)戰	√	√	√
2.3	前端轉換	TPU_MLIR實(shí)戰	√	√	√
2.4	Lowering in TPU_MLIR	TPU_MLIR實(shí)戰	√	√	√
2.5	添加新算子	TPU_MLIR實(shí)戰	√	√	√
2.6	TPU_MLIR圖優(yōu)化	TPU_MLIR實(shí)戰	√	√	√
2.7	TPU_MLIR常用操作	TPU_MLIR實(shí)戰	√	√	√
2.8	TPU原理（一）	TPU_MLIR實(shí)戰	√	√	√
2.9	TPU原理（二）	TPU_MLIR實(shí)戰	√	√	√
2.10?	后端算子實(shí)現	TPU_MLIR實(shí)戰	√	√	√
2.11	TPU層優(yōu)化	TPU_MLIR實(shí)戰	√	√	√
2.12	bmodel生成	TPU_MLIR實(shí)戰	√	√	√
2.13	To ONNX format	TPU_MLIR實(shí)戰	√	√	√
2.14	Add a New Operator	TPU_MLIR實(shí)戰	√	√	√
2.15	TPU_MLIR模型適配	TPU_MLIR實(shí)戰	√	√	√
2.16	Fuse Preprocess	TPU_MLIR實(shí)戰	√	√	√
2.17	精度驗證	TPU_MLIR實(shí)戰	√	√	√

?

高級 | 時(shí)長(cháng) 3.7小時(shí)

編譯器

SOPHON.NET

35181

3

2

Milk-V Duo開(kāi)發(fā)板實(shí)踐課程

本課程介紹了硬件電路的設計和基本環(huán)境的搭建，并提供了一些簡(jiǎn)單的開(kāi)發(fā)示例和一些基本的深度學(xué)習示例。

Milk-V Duo是基于CV1800B的超小型嵌入式開(kāi)發(fā)平臺。它體積小，功能全面，配備雙核，可以分別運行linux和rtos系統，并具有各種可連接的外設。

可擴展性:Milk-V Duo核心板具有多種接口，如GPIO, I2C, UART, SDIO1, SPI, ADC, PWM等。
多種可連接外設:Milk-V Duo核心板可擴展各種設備，如LED，便攜式屏幕，攝像頭，WIFI等。

課程特點(diǎn):

內容材料豐富完整，包括開(kāi)發(fā)板硬件設計、外設接口說(shuō)明、基本環(huán)境設置方法、示例代碼腳本等。
學(xué)習路徑科學(xué)合理，從開(kāi)發(fā)板的介紹和基本使用開(kāi)始，引導到實(shí)際項目，充分利用開(kāi)發(fā)板，為用戶(hù)自身開(kāi)發(fā)提供參考。
實(shí)際項目豐富，課程提供了許多實(shí)際代碼使用和功能演示的示例。通過(guò)簡(jiǎn)單地修改和組合代碼，可以實(shí)現不同的功能。

課程目錄

初級 | 時(shí)長(cháng) 0.2小時(shí)

Duo

CV1800B

10455

4

SE5開(kāi)發(fā)系列課

深度神經(jīng)網(wǎng)絡(luò )模型可以快速訓練和測試，然后由行業(yè)部署，在現實(shí)世界中有效地執行任務(wù)。在小型、低功耗的深度學(xué)習邊緣計算平臺上部署這樣的系統受到業(yè)界的高度青睞。本課程采用實(shí)踐驅動(dòng)的方法，引導你直觀(guān)地學(xué)習、實(shí)踐和掌握深度神經(jīng)網(wǎng)絡(luò )的知識和技術(shù)。

SOPHON深度學(xué)習微服務(wù)器SE5是采用SOPHON自主研發(fā)的第三代TPU處理器BM1684的高性能、低功耗邊緣計算產(chǎn)品。INT8運算能力高達17.6 TOPS，支持32路全高清視頻硬件解碼和2路編碼。本課程將快速引導您了解SE5服務(wù)器的強大功能。通過(guò)本課程，您可以了解深度學(xué)習的基礎知識并掌握其基本應用。

課程的特點(diǎn)

1. 一站式服務(wù)

?在SE5應用程序中遇到的所有常見(jiàn)問(wèn)題都可以在這里找到。

為深度學(xué)習微服務(wù)器提供全棧解決方案
一步一步、詳細而清晰地分解開(kāi)發(fā)過(guò)程
支持所有主流框架，易于使用的產(chǎn)品

2. 系統的教學(xué)

它包括設置環(huán)境、開(kāi)發(fā)應用程序、轉換模型和部署產(chǎn)品，以及擁有鏡像的實(shí)際環(huán)境等所有內容。

環(huán)境是如何構建的?
如何編譯模型?
應用程序是如何開(kāi)發(fā)的?
場(chǎng)景如何部署?

3. 完整的材料

本課程包括視頻教程、文檔指南、代碼腳本和其他綜合材料。

豐富的視頻素材
詳細的應用指導
清晰的代碼腳本
代碼下載鏈接:https://github.com/sophon-ai-algo/examples

4. 免費的云開(kāi)發(fā)資源

在線(xiàn)免費申請使用SE5-16微服務(wù)器云測試空間

SE5-16微服務(wù)器云測試空間可用于在線(xiàn)開(kāi)發(fā)和測試，支持用戶(hù)數據保留和導出

SE5-16微服務(wù)器云測試空間具有與物理機環(huán)境相同的資源性能

云平臺應用鏈接:https://account.sophgo.com/sign_in?service=https://cloud.sophgo.com&locale=zh-CN
云平臺使用說(shuō)明:https://cloud.sophgo.com/tpu.pdf

?

初級 | 時(shí)長(cháng) 5.7小時(shí)

SE5

BM1684

81368

0

1

少林派開(kāi)發(fā)板實(shí)踐課程

本課程介紹了少林派的硬件電路設計和周邊資源利用方法，并提供了使用深度學(xué)習硬件加速接口的教程和一些基本的深度學(xué)習示例。

“少林派”是一個(gè)基于BM1684的開(kāi)發(fā)平臺，擁有大約20 TOPS的計算能力。它基于Mini-PCIe接口，具有良好的硬件可擴展性，豐富的生態(tài)系統和各種可連接的外設。

可擴展性:“少林派”核心板的Mini-PCIe可轉換為WiFi、4G、藍牙、GPIO、M2接口、USB、RJ45、SATA、SFP、HDMI、can等多種接口。
多種可連接外設:“少林派”核心板可擴展各種設備，如便攜式屏幕、鍵盤(pán)、鼠標、攝像頭、耳機、VR等。用戶(hù)可以在“少林派”上DIY一個(gè)全場(chǎng)景Linux工作站，隨心所欲地進(jìn)行各種深度學(xué)習實(shí)驗。

課程特點(diǎn):

內容豐富完整，包括開(kāi)發(fā)板硬件設計、外設接口說(shuō)明、開(kāi)發(fā)板升級過(guò)程、樣例代碼腳本等。
學(xué)習路徑科學(xué)合理，從開(kāi)發(fā)板的介紹和基本使用開(kāi)始，通過(guò)對內部系統架構和代碼的學(xué)習，加深對開(kāi)發(fā)細節的了解，最后引導到實(shí)際項目中，充分利用開(kāi)發(fā)板，為用戶(hù)自身開(kāi)發(fā)提供參考。
實(shí)際項目豐富，課程提供了許多實(shí)際代碼使用和功能演示的示例。通過(guò)簡(jiǎn)單地修改和組合代碼，可以實(shí)現不同的功能。

代碼下載鏈接:https://github.com/sophgo/sophpi-shaolin

注:模型轉換部分可參考SE5開(kāi)發(fā)系列課程。

初級 | 時(shí)長(cháng) 1.6小時(shí)

少林派

BM1684

21845

0

1

RISC-V+TPU開(kāi)發(fā)板實(shí)踐課程

本課程介紹了“華山派”系列CV1812H開(kāi)發(fā)板的硬件電路設計和外圍資源的操作方法。它還提供了使用深度學(xué)習硬件加速接口的教程和一些基本的深度學(xué)習示例。

華山派(CV1812H開(kāi)發(fā)板)是由TPU處理器及其生態(tài)合作伙伴共同推出的開(kāi)源生態(tài)開(kāi)發(fā)板。提供基于RISC-V的開(kāi)源開(kāi)發(fā)環(huán)境，實(shí)現基于視覺(jué)和深度學(xué)習場(chǎng)景的功能。該處理器集成了自主研發(fā)的第二代深度學(xué)習張量處理器(TPU)、自主研發(fā)的智能圖像處理引擎(Smart ISP)、硬件級高安全數據保護架構(Security)、語(yǔ)音處理引擎和H.264/265智能編解碼技術(shù)。它還具有匹配的多媒體軟件平臺和IVE硬件加速接口，使深度學(xué)習的部署和執行更加高效、快速、方便。主流的深度學(xué)習框架，如Caffe、Pytorch、ONNX、MXNet和TensorFlow (Lite)，可以很容易地移植到平臺上。

課程的特點(diǎn)
1. 內容資料豐富完整，包括開(kāi)發(fā)板硬件設計、SDK使用文檔、平臺開(kāi)發(fā)指南、樣例代碼腳本等。

2. 科學(xué)合理的學(xué)習路徑。課程介紹開(kāi)發(fā)板和基本例程，然后深入研究系統內部架構和代碼學(xué)習，了解開(kāi)發(fā)細節。最后介紹了充分利用開(kāi)發(fā)板的實(shí)際工程，也可以作為用戶(hù)自主開(kāi)發(fā)的參考。

3. 適合不同的觀(guān)眾。對于想要快速使用開(kāi)發(fā)功能的用戶(hù)，課程提供了許多代碼示例供使用和功能展示，可以方便地修改和組合以實(shí)現不同的功能。對于相關(guān)行業(yè)的愛(ài)好者或開(kāi)發(fā)人員，課程還提供了詳細的SDK開(kāi)發(fā)使用指南和代碼示例分析文檔，可以幫助用戶(hù)深入了解。

4. 課程的長(cháng)期維護。未來(lái)，我們將推出更多的開(kāi)發(fā)課程，與開(kāi)發(fā)者交流，共同成長(cháng)。

課程內容

華山派開(kāi)發(fā)板的開(kāi)源代碼鏈接:https://github.com/sophgo/sophpi-huashan.git

初級 | 時(shí)長(cháng) 2.2小時(shí)

華山派

CV1812H

9332

1

智能汽車(chē)編程實(shí)踐課程

智能機器人的種類(lèi)很多，應用最廣泛的是輪式移動(dòng)機器人，主要用于室內或倉庫巡邏、行星探測、教學(xué)、科研、民用交通等。在這個(gè)過(guò)程中，智能汽車(chē)通過(guò)內置攝像頭(視覺(jué)傳感器)獲取視頻信息，識別周?chē)h(huán)境，并基于激光雷達和慣性測量單元(IMU)等傳感器，在小空間內實(shí)現自主導航和避障。本課程以實(shí)用的方式引導您直觀(guān)地學(xué)習機器人操作系統(ROS)，并利用少林派開(kāi)發(fā)板搭建智能汽車(chē)視覺(jué)應用平臺。通過(guò)對智能汽車(chē)的編程實(shí)踐練習，掌握深度學(xué)習的基本知識和應用。

少林派開(kāi)發(fā)板是一款高性能、低功耗的邊緣計算產(chǎn)品，搭載了算能自主研發(fā)的第三代TPU處理器BM1684, INT8計算能力高達17.6 TOPS。它支持32路全高清視頻的硬件解碼和2通道編碼。少林派開(kāi)發(fā)板外設配置靈活，支持3個(gè)mini-PCIe接口和4個(gè)USB接口，支持直流電源和Type-C電源。根據不同場(chǎng)景的需求，實(shí)現最優(yōu)配置、合理成本、最優(yōu)能耗、最優(yōu)功能選擇。本課程將幫助您快速掌握少林派開(kāi)發(fā)板的強大功能。通過(guò)本課程，您不僅能夠掌握機器人操作系統(ROS)和深度學(xué)習的基礎知識，還可以了解深度學(xué)習的基本應用。

課程的特點(diǎn)

1. 一站式服務(wù)

所有與KT001智能車(chē)相關(guān)的常見(jiàn)問(wèn)題都可以在這里找到。

為KT001智能車(chē)提供全棧解決方案。
全面介紹ROS的基本概念和實(shí)際應用。
以實(shí)際應用為核心，講解了基于OpenCV的圖像處理、基于YOLOv5的目標檢測、基于DeepSort的多目標跟蹤、基于RetinaFace的人臉檢測、基于ResNet的人臉識別等大量計算機視覺(jué)案例研究，以及基于TSM的動(dòng)作識別的實(shí)現原理和方法。

2. 系統的教學(xué)

從產(chǎn)品介紹到環(huán)境營(yíng)造，再到視覺(jué)應用。

智能汽車(chē)的組成是什么?
智能汽車(chē)是如何組裝的?
環(huán)境是如何建立的?
應用程序是如何開(kāi)發(fā)的?

3. 完整的材料

課程包括視頻教程、文檔指南、代碼腳本等，內容詳細豐富。

豐富的視頻資料。
詳細的應用指導。
清理代碼腳本。
代碼下載鏈接:https://github.com/sophgo/sophon_robot

課程目錄

中級 | 時(shí)長(cháng) 1.2小時(shí)

少林派

BM1684

8335

0

1

算法試驗箱應用開(kāi)發(fā)

課程介紹

算能SE5 計算盒是基于模組，但比模組形態(tài)的產(chǎn)品面向場(chǎng)景更加廣泛的高性能、低功耗邊緣計算產(chǎn)品，搭載算能自主研發(fā)的第三代TPU BM1684，INT8算力高達17.6TOPS，可同時(shí)處理16路高清視頻，為諸多安防、泛安防、教育、金融、安檢等行業(yè)項目智能運算提供算力。

SE5 計算盒是基于邊緣計算的小微型服務(wù)器，基本可以支持各個(gè)行業(yè)的算法，通過(guò)完備的生態(tài)方便用戶(hù)將訓練好的模型移植，不光支持人臉識別算法模型，還支持數十種輔助模型，所以面向場(chǎng)景非常廣泛?？梢詰迷趫@區、社區、商業(yè)樓宇等室內外場(chǎng)景，以及集成類(lèi)室外半封閉場(chǎng)景，不需要依托X86架構服務(wù)器，充分利用其內部ARM資源，直接獨立一體化開(kāi)發(fā)應用。

該計算盒的算力性能高，市場(chǎng)競爭力強，但同樣保留了一部分高精度的算力。在需要高精度算力的場(chǎng)景，保留了高精度優(yōu)勢，如動(dòng)態(tài)視覺(jué)無(wú)人零售柜、智慧冰箱系統中商品識別等。SE5實(shí)際可應用場(chǎng)景如，作為邊緣人臉?lè )?wù)器布置在園區，進(jìn)行園區通行識別比對或園區監控；在智慧食堂進(jìn)行人臉支付；在家?；ヂ?lián)系統做學(xué)生人臉識別；在學(xué)校宿舍系統做出入管理；在餐飲系統中植入菜品識別算法進(jìn)行菜品結算；替代傳統安檢人員識圖，機器判圖準確度更高、降低安檢員培訓成本，通行速度更快，實(shí)現智能輔助安檢?？梢灾踩氲乃惴Ｐ投喾N多樣，從而實(shí)現應用場(chǎng)景的多樣化。

本課程將對se5計算盒以及應用流程進(jìn)行講解，通過(guò)本課程你將對該試驗盒有明確的了解，并熟悉將該試驗盒應用到特定場(chǎng)景的流程。

課程特點(diǎn)

體系化教學(xué)：從產(chǎn)品介紹到環(huán)境搭建再到應用流程

Se5試驗盒是什么？
應用環(huán)境如何搭建？
應用是如何開(kāi)發(fā)的？

資料齊全：課程包括視頻教學(xué)、文檔指導、代碼腳本等，詳盡豐富

豐富的視頻資料
詳盡的應用指導
清晰的代碼腳本

初級 | 時(shí)長(cháng) 1.8小時(shí)

SE5

BM1684

6761

2

LLM的概念與實(shí)踐

歡迎來(lái)到大模型課程!本課程將帶您深入到大模型的領(lǐng)域，并幫助您掌握應用這些大模型的技能。無(wú)論您是對深度學(xué)習領(lǐng)域感興趣，還是希望在現實(shí)世界的項目中應用大型模型，本課程都將為您提供寶貴的知識和實(shí)踐經(jīng)驗。

大模型是指具有巨大參數和復雜結構的深度學(xué)習模型。這些模型在處理大規模數據集和復雜任務(wù)(如圖像識別、自然語(yǔ)言處理、語(yǔ)音識別等)時(shí)表現得非常好。大模型的出現引發(fā)了深度學(xué)習領(lǐng)域的重大變化，導致各個(gè)領(lǐng)域的突破。

在本課程中，您將學(xué)習大模型的基本概念和原理。我們將深入研究基礎理論，發(fā)展歷史，常用的大模型，以及l(fā)lm(大語(yǔ)言模型)中的提示和上下文學(xué)習等不斷發(fā)展的技術(shù)。隨著(zhù)課程的進(jìn)展，我們將深入研究大模型的實(shí)際應用。您將學(xué)習如何部署高度重視的大模型，如 Stable Diffusion和ChatGLM2-6B到SOPHON的最新一代深度學(xué)習處理器，SOPHON BM1684X。SOPHON BM1684X是SOPHON專(zhuān)門(mén)針對深度學(xué)習領(lǐng)域推出的第四代張量處理器，具有32TOPS計算能力，支持32路高清硬件解碼，12路高清硬件編碼，適用于深度學(xué)習、計算機視覺(jué)、高性能計算等環(huán)境。

無(wú)論您是傾向于對大模型或其工業(yè)應用進(jìn)行深入的學(xué)術(shù)研究，本課程都將為您提供堅實(shí)的基礎和實(shí)踐技能。你準備好接受大模型的挑戰了嗎?讓我們一起深入這個(gè)迷人的領(lǐng)域吧!

高級 | 時(shí)長(cháng) 2.4小時(shí)

Airbox

BM1684X

16692

1

2

編譯器:TPU-MLIR環(huán)境構建及使用指南

TPU-MLIR是一種專(zhuān)用于處理器的TPU編譯器。該編譯器項目提供了一個(gè)完整的工具鏈，可以將來(lái)自不同深度學(xué)習框架(PyTorch, ONNX, TFLite和Caffe)的各種預訓練神經(jīng)網(wǎng)絡(luò )模型轉換為高效的模型文件(bmodel/cvimodel)，以便在SOPHON?TPU上運行。通過(guò)量化到不同精度的bmodel/cvimodel，優(yōu)化了模型在sophon計算TPU上的加速和性能。這使得可以將與對象檢測、語(yǔ)義分割和對象跟蹤相關(guān)的各種模型部署到底層硬件上以實(shí)現加速。

本課程主要分為三個(gè)部分:

搭建和配置本地開(kāi)發(fā)環(huán)境，了解相關(guān)的SOPHON?SDK, TPU-MLIR編譯器核心理論，以及相關(guān)的加速接口。
轉換和量化來(lái)自ONNX, TFLite, Caffe和PyTorch的示例深度學(xué)習模型，以及將其他深度學(xué)習框架模型轉換為中間ONNX格式的方法。
指導參與者實(shí)際移植四種實(shí)例算法(檢測、識別、跟蹤)進(jìn)行編譯、轉換、量化，并最終部署到SOPHON?1684x張量處理器的TPU上進(jìn)行性能測試。

本課程旨在通過(guò)實(shí)際演示，全面、直觀(guān)地展示TPU- mlir編譯器的使用方法，使學(xué)生能夠快速理解各種深度學(xué)習模型算法的轉換和量化，以及它們在SOPHGO計算處理器TPU上的部署測試。目前，TPU-MLIR的使用已應用于由SOPHGO開(kāi)發(fā)的最新一代深度學(xué)習處理器BM168X和CV18XX，并輔以處理器的高性能ARM內核和相應的SDK，用于快速部署深度學(xué)習算法。

本課程在模型移植和部署方面的優(yōu)勢:

1. 支持多種深度學(xué)習框架
目前支持的框架包括PyTorch、ONNX、TFLite和Caffe。來(lái)自其他框架的模型需要轉換為ONNX模型。有關(guān)將其他深度學(xué)習架構的網(wǎng)絡(luò )模型轉換為ONNX的指導，請參考ONNX官方網(wǎng)站:https://github.com/onnx/tutorials。

2. 用戶(hù)友好的操作
通過(guò)開(kāi)發(fā)手冊和相關(guān)部署案例了解TPU-MLIR的原理和操作步驟，可以從頭開(kāi)始進(jìn)行模型部署。熟悉Linux命令和模型編譯量化命令對于動(dòng)手實(shí)踐是足夠的。

3. 簡(jiǎn)化量化部署步驟
模型轉換需要在SOPHGO提供的docker中執行，主要包括兩個(gè)步驟:使用model_transform.py將原始模型轉換為MLIR文件，使用model_deploy.py將MLIR文件轉換為bmodel格式。bmodel是可以在SOPHGO TPU硬件上加速的模型文件格式。

4. 適應多種架構和硬件模式
量化的bmodel模型可以在PCIe和SOC模式下運行在TPU上進(jìn)行性能測試。

5. 全面的文檔
豐富的教學(xué)視頻，包括詳細的理論解釋和實(shí)際操作，以及充足的指導和標準化的代碼腳本，在課程中開(kāi)放源代碼，供所有用戶(hù)學(xué)習。

SOPHON-SDK Development Guide	SOPHON SDK 開(kāi)發(fā)指南
TPU-MLIR Quick Start Manual	TPU-MLIR快速入門(mén)手冊
Example model repository	SophonSDK樣例倉介紹
TPU-MLIR Official Repository	TPU-MLIR
SOPHON-SDK Development Manual	sophon-sail 用戶(hù)手冊

?

課程目錄

?

中級 | 時(shí)長(cháng) 3.6小時(shí)

編譯器

SOPHON.NET

25183

2

3

智能多媒體與TPU編程實(shí)踐課程

多媒體，通常理解為“multi”和“media”的結合，是指文本、聲音、圖像、視頻等媒體形式的整合。近年來(lái)，4K超高清、VR、全息投影、5G直播等新興多媒體應用和服務(wù)層出不窮。

智能多媒體

深度學(xué)習是基于多媒體技術(shù)，如圖像處理和識別、音頻處理和語(yǔ)音識別等。本課程基于BM1684深度學(xué)習處理器，其峰值性能為17.6 TOPS INT8和2.2 TFTOPS FP32，支持32路高清硬件解碼。它展示了處理器的核心能力:計算能力+多媒體處理能力。

智能多媒體關(guān)鍵技術(shù)與指標

關(guān)鍵技術(shù)包括編解碼技術(shù)、圖像處理技術(shù)和媒體通信技術(shù)。關(guān)鍵指標包括解碼通道的數量、幀速率、分辨率、圖像處理接口的豐富程度、延遲和協(xié)議支持。

本課程將著(zhù)重介紹圖像處理技術(shù)、編解碼技術(shù)、媒體通信技術(shù)三個(gè)方面的內容。通過(guò)理論與實(shí)踐相結合，使學(xué)生了解智能多媒體的相關(guān)理論，快速掌握基本的實(shí)踐方法。

相關(guān)GitHub鏈接

sophgo_ffmpeg:?https://github.com/sophgo/sophon_ffmpeg

sophgo_opencv:?https://github.com/sophgo/sophon_opencv

?

中級 | 時(shí)長(cháng) 10.8小時(shí)

SE5

BM1684

30109

1

SOPHON職業(yè)技能認證考試-初級IT運維工程師

本課程旨在讓學(xué)習者熟悉SOPHGO產(chǎn)品，了解其基本用法，掌握其應用場(chǎng)景，初步了解SOPHGO產(chǎn)品。本課程涵蓋產(chǎn)品介紹、SE5服務(wù)器開(kāi)發(fā)環(huán)境設置、產(chǎn)品部署和應用示例。完成本課程的所有內容使您有資格參加“初級IT運營(yíng)工程師”認證考試。

課程的特點(diǎn)

材料豐富全面:課程包括視頻教程、教學(xué)文檔，提供詳細豐富的信息。代碼下載鏈接:https://github.com/sophon-ai-algo/examples
系統教學(xué):從基礎介紹到搭建開(kāi)發(fā)環(huán)境，再到產(chǎn)品的實(shí)際部署，系統地涵蓋了整個(gè)開(kāi)發(fā)過(guò)程，為讀者提供了完整的知識體系。
免費云開(kāi)發(fā)資源:您可以在線(xiàn)申請免費使用SE5-16微服務(wù)器云測試空間:

云平臺應用鏈接:https://account.sophgo.com/sign_in?service=https://cloud.sophgo.com&locale=zh-CN
云平臺使用說(shuō)明:https://cloud.sophgo.com/tpu.pdf
注:SE5-16微服務(wù)器云測試空間允許在線(xiàn)開(kāi)發(fā)、測試，支持用戶(hù)數據保留和導出;SE5-16微服務(wù)器云測試空間內的資源性能與物理機環(huán)境一致。

課程目錄

本課程是一門(mén)與“初級IT運維工程師”認證考試相對應的學(xué)習課程，旨在為學(xué)習者提供基本的產(chǎn)品知識和技能。雖然本課程假設學(xué)習者沒(méi)有編程背景，但為了讓學(xué)習者更好地掌握課程內容，我們建議學(xué)生具備以下先決條件:

基本的Linux操作:大多數開(kāi)發(fā)都是在Linux環(huán)境中完成的，開(kāi)發(fā)涉及到基本的Linux操作，包括文件管理、網(wǎng)絡(luò )配置、文本編輯器Vim等等。
基本的Docker用法:包括提取鏡像、創(chuàng )建容器、運行/刪除容器等。
編程語(yǔ)言:本課程的教程涵蓋Python和c++編程語(yǔ)言，計算能量工具鏈還為這兩種語(yǔ)言提供了api，供開(kāi)發(fā)人員調用。

盡管有以上的先決條件/建議，但歡迎沒(méi)有經(jīng)驗的學(xué)習者加入課程。本課程將采用簡(jiǎn)單易懂的教學(xué)方法，輔以例題和練習，幫助學(xué)生逐步掌握編程技能。對于沒(méi)有經(jīng)驗的學(xué)習者，您可以通過(guò)本課程的第2章“常用命令”快速學(xué)習預要求;對于那些有開(kāi)發(fā)經(jīng)驗的人，您可以自動(dòng)跳過(guò)第2章的內容，直接通過(guò)第3章和第4章進(jìn)行部署。同時(shí)，有實(shí)力學(xué)習的開(kāi)發(fā)者可以嘗試在設備上完成新模型的移植部署。

初級 | 時(shí)長(cháng) 2.2小時(shí)

SE5

BM1684

5695

1

RM新时代|官方理财平台

在線(xiàn)課堂

課堂介紹

課程概覽

全部課程

課程目錄

為什么選擇算豐學(xué)院在線(xiàn)課程?

靈活控制學(xué)習進(jìn)度

專(zhuān)業(yè)技能學(xué)習

行業(yè)標準的工具和框架

SOPHON 技術(shù)能力認證

SOPHON.NET云開(kāi)發(fā)環(huán)境

行業(yè)應用案例