RM新时代|官方理财平台

課程介紹

智能機器人的種類(lèi)很多，應用最廣泛的是輪式移動(dòng)機器人，主要用于室內或倉庫巡邏、行星探測、教學(xué)、科研、民用交通等。在這個(gè)過(guò)程中，智能汽車(chē)通過(guò)內置攝像頭(視覺(jué)傳感器)獲取視頻信息，識別周?chē)h(huán)境，并基于激光雷達和慣性測量單元(IMU)等傳感器，在小空間內實(shí)現自主導航和避障。本課程以實(shí)用的方式引導您直觀(guān)地學(xué)習機器人操作系統(ROS)，并利用少林派開(kāi)發(fā)板搭建智能汽車(chē)視覺(jué)應用平臺。通過(guò)對智能汽車(chē)的編程實(shí)踐練習，掌握深度學(xué)習的基本知識和應用。

少林派開(kāi)發(fā)板是一款高性能、低功耗的邊緣計算產(chǎn)品，搭載了算能自主研發(fā)的第三代TPU處理器BM1684, INT8計算能力高達17.6 TOPS。它支持32路全高清視頻的硬件解碼和2通道編碼。少林派開(kāi)發(fā)板外設配置靈活，支持3個(gè)mini-PCIe接口和4個(gè)USB接口，支持直流電源和Type-C電源。根據不同場(chǎng)景的需求，實(shí)現最優(yōu)配置、合理成本、最優(yōu)能耗、最優(yōu)功能選擇。本課程將幫助您快速掌握少林派開(kāi)發(fā)板的強大功能。通過(guò)本課程，您不僅能夠掌握機器人操作系統(ROS)和深度學(xué)習的基礎知識，還可以了解深度學(xué)習的基本應用。

課程的特點(diǎn)

1. 一站式服務(wù)

所有與KT001智能車(chē)相關(guān)的常見(jiàn)問(wèn)題都可以在這里找到。

  • 為KT001智能車(chē)提供全棧解決方案。
  • 全面介紹ROS的基本概念和實(shí)際應用。
  • 以實(shí)際應用為核心，講解了基于OpenCV的圖像處理、基于YOLOv5的目標檢測、基于DeepSort的多目標跟蹤、基于RetinaFace的人臉檢測、基于ResNet的人臉識別等大量計算機視覺(jué)案例研究，以及基于TSM的動(dòng)作識別的實(shí)現原理和方法。

2. 系統的教學(xué)

從產(chǎn)品介紹到環(huán)境營(yíng)造，再到視覺(jué)應用。

  • 智能汽車(chē)的組成是什么?
  • 智能汽車(chē)是如何組裝的?
  • 環(huán)境是如何建立的?
  • 應用程序是如何開(kāi)發(fā)的?

3. 完整的材料

課程包括視頻教程、文檔指南、代碼腳本等，內容詳細豐富。

  • 豐富的視頻資料。
  • 詳細的應用指導。
  • 清理代碼腳本。
  • 代碼下載鏈接:https://github.com/sophgo/sophon_robot

課程目錄

課程章節 （ 38節課）

1_ 產(chǎn)品介紹
開(kāi)始學(xué)習
1.1 整機概述
待學(xué)習
1.2 少林派硬件原理圖
待學(xué)習
1.3 峨嵋派硬件原理圖
待學(xué)習
1.4 傳感器模組介紹
待學(xué)習
1.5 KT001循跡及交通牌識別
待學(xué)習
2_ 環(huán)境搭建
開(kāi)始學(xué)習
2.1 開(kāi)發(fā)環(huán)境搭建
待學(xué)習
2.2 核心板少林派系統安裝及連接
待學(xué)習
2.3 核心板少林派無(wú)線(xiàn)接入配置
待學(xué)習
2.4 核心板少林派無(wú)線(xiàn)熱點(diǎn)配置
待學(xué)習
2.5 控制板峨嵋派開(kāi)發(fā)環(huán)境搭建
待學(xué)習
3_ 操作基礎
開(kāi)始學(xué)習
3.1 Linux常用命令
待學(xué)習
3.2 Docker基礎使用
待學(xué)習
3.3 VIM編輯器基礎使用
待學(xué)習
4_ 理論基礎
開(kāi)始學(xué)習
4.1 ROS基礎概念介紹
待學(xué)習
4.2 ROS架構設計
待學(xué)習
4.3 ROS運行基礎
待學(xué)習
4.4 ROS中的Topic通訊
待學(xué)習
4.5 ROS中的Service通訊
待學(xué)習
4.6 ROS中的消息
待學(xué)習
4.7 ROS中的日志
待學(xué)習
4.8 智能車(chē)控制理論介紹
待學(xué)習
4.9 智能車(chē)PID控制器介紹
待學(xué)習
4.10 智能車(chē)里程計與狀態(tài)更新介紹
待學(xué)習
4.11 智能車(chē)兩輪差速運動(dòng)學(xué)模型介紹
待學(xué)習
5_ 智能車(chē)基礎功能
開(kāi)始學(xué)習
5.1 多機通訊ROS分布式系統建立
待學(xué)習
5.2 鍵盤(pán)控制
待學(xué)習
5.3 IMU角度校正功能測試
待學(xué)習
5.4 雷達跟隨
待學(xué)習
5.5 雷達避障
待學(xué)習
5.6 SLAM建圖與導航
待學(xué)習
5.7 深度相機使用說(shuō)明
待學(xué)習
6_ 智能車(chē)應用
開(kāi)始學(xué)習
6.1 基于OpenCV的圖像處理應用
待學(xué)習
6.2 基于DeepSort的多目標跟隨應用
待學(xué)習
6.3 基于TSM的動(dòng)作識別應用
待學(xué)習
6.4 基于圖像的人物身份識別應用
待學(xué)習
6.5 基于YOLOv5的物體檢測應用
待學(xué)習
7_ Q&A-常見(jiàn)問(wèn)題匯總
開(kāi)始學(xué)習
7.1 智能車(chē)核心板少林派刷機指導
待學(xué)習
7.2 智能車(chē)電量指示與低壓預警
待學(xué)習

課程目標

完成本課程后，學(xué)生將能夠掌握以下技能:

  • ROS環(huán)境設置，配置智能車(chē)與虛擬機之間的通信
  • 熟悉常用的ROS開(kāi)發(fā)命令和ROS工具
  • 了解ROS操作系統的組成、ROS的框架邏輯、ROS的通信機制
  • 掌握BM1684的體系結構，算法開(kāi)發(fā)團隊的TPU處理器，以及平臺的使用，以及交叉編譯環(huán)境的設置和使用
  • 學(xué)習在TPU平臺上實(shí)現人體跟蹤、人臉檢測、人臉識別、人體關(guān)鍵點(diǎn)檢測、動(dòng)作檢測等神經(jīng)網(wǎng)絡(luò )
  • 運用深度學(xué)習知識解決具體問(wèn)題的基本能力。

課程對象

本課程全面、系統地介紹了智能汽車(chē)ROS開(kāi)發(fā)的基礎知識、TPU硬件平臺和TPU平臺的實(shí)踐，以及人員識別、動(dòng)作檢測等內容。學(xué)習本課程，需要具備一定的Python編程基礎，基本的Linux系統操作能力，以及機器人的一般理論基礎。

課程推薦

course-cover

編譯器開(kāi)發(fā)

作為框架和硬件之間的橋梁，深度學(xué)習編譯器可以實(shí)現一次性代碼開(kāi)發(fā)和重用各種計算能力處理器的目標。最近，算能也開(kāi)源了自己開(kāi)發(fā)的TPU編譯工具——TPU-MLIR (Multi-Level Intermediate Representation)。TPU-MLIR是一個(gè)面向深度學(xué)習處理器的開(kāi)源TPU編譯器。該項目提供了完整的工具鏈，將各種框架下預訓練的神經(jīng)網(wǎng)絡(luò )轉換為可在TPU中高效運行的二進(jìn)制文件bmodel，以實(shí)現更高效的推理。本課程以實(shí)際實(shí)踐為驅動(dòng)，引導您直觀(guān)地理解、實(shí)踐、掌握智能深度學(xué)習處理器的TPU編譯框架。

目前，TPU-MLIR項目已應用于算能開(kāi)發(fā)的最新一代深度學(xué)習處理器BM1684X。結合處理器本身的高性能ARM內核以及相應的SDK，可以實(shí)現深度學(xué)習算法的快速部署。本課程將介紹MLIR的基本語(yǔ)法，以及編譯器中各種優(yōu)化操作的實(shí)現細節，如圖形優(yōu)化、int8量化、算子分割、地址分配等。

與其他編譯工具相比，TPU-MLIR有幾個(gè)優(yōu)點(diǎn)

1. 簡(jiǎn)單方便

通過(guò)閱讀開(kāi)發(fā)手冊和項目中包含的示例，用戶(hù)可以了解模型轉換的過(guò)程和原理，并快速入門(mén)。此外，TPU-MLIR是基于當前主流編譯工具庫MLIR設計的，用戶(hù)也可以通過(guò)它了解MLIR的應用。本項目提供了一套完整的工具鏈，用戶(hù)可直接通過(guò)現有接口快速完成模型轉換工作，無(wú)需適應不同的網(wǎng)絡(luò )。

2. 通用性

目前，TPU- mlir已經(jīng)支持TFLite和onnx兩種格式，這兩種格式的模型可以直接轉換為T(mén)PU可用的bmodel。如果不是這兩種格式呢?事實(shí)上，onnx提供了一套轉換工具，可以將目前市場(chǎng)上主要的深度學(xué)習框架編寫(xiě)的模型轉換為onnx格式，然后再進(jìn)行bmodel轉換。

3、精度與效率并存

在模型轉換過(guò)程中，有時(shí)會(huì )失去精度。TPU-MLIR支持INT8對稱(chēng)和非對稱(chēng)量化，結合原開(kāi)發(fā)公司的校準和tune技術(shù)，大大提高了性能，保證了模型的高精度。此外，TPU-MLIR還使用了大量的圖優(yōu)化和算子分割優(yōu)化技術(shù)來(lái)保證模型的高效運行。

4. 實(shí)現終極性?xún)r(jià)比，構建下一代深度學(xué)習編譯器

為了支持圖形化計算，神經(jīng)網(wǎng)絡(luò )模型中的算子需要開(kāi)發(fā)圖形化版本;為了適應TPU，應該為每個(gè)運營(yíng)商開(kāi)發(fā)一個(gè)版本的TPU。此外，有些場(chǎng)景需要適應相同計算能力處理器的不同型號，每次都必須手工編譯，這將非常耗時(shí)。深度學(xué)習編譯器就是用來(lái)解決這些問(wèn)題的。TPU-mlir的一系列自動(dòng)優(yōu)化工具可以節省大量的人工優(yōu)化時(shí)間，因此在RISC-V上開(kāi)發(fā)的模型可以順利自由地移植到TPU上，以獲得最佳的性能和性?xún)r(jià)比。

5. 完整的信息

課程包括中英文視頻教學(xué)、文檔指導、代碼腳本等，詳實(shí)豐富的視頻資料詳細應用指導清晰的代碼腳本TPU-MLIR站在MLIR巨頭的肩膀上打造，現在整個(gè)項目的所有代碼都已經(jīng)開(kāi)源，免費向所有用戶(hù)開(kāi)放。

代碼下載鏈接:https://github.com/sophgo/tpu-mlir

tpu - mlir開(kāi)發(fā)參考手冊:https://tpumlir.org/docs/developer_manual/01_introduction.html

總體設計思想論文:https://arxiv.org/abs/2210.15016

視頻教程:https://space.bilibili.com/1829795304/channel/collectiondetail?sid=734875

課程目錄

序號 課程名 課程分類(lèi) 課程資料
? ? ? 視頻 文檔 代碼
1.1 Deep learning編譯器基礎 TPU_MLIR基礎 √ √ √
1.2 MLIR基礎 TPU_MLIR基礎 √ √ √
1.3 MLIR基本結構 TPU_MLIR基礎 √ √ √
1.4 MLIR之op定義 TPU_MLIR基礎 √ √ √
1.5 TPU_MLIR介紹（一） TPU_MLIR基礎 √ √ √
1.6 TPU_MLIR介紹（二） TPU_MLIR基礎 √ √ √
1.7 TPU_MLIR介紹（三） TPU_MLIR基礎 √ √ √
1.8 量化概述 TPU_MLIR基礎 √ √ √
1.9 量化推導 TPU_MLIR基礎 √ √ √
1.10? 量化校準 TPU_MLIR基礎 √ √ √
1.11 量化感知訓練（一） TPU_MLIR基礎 √ √ √
1.12? 量化感知訓練（二） TPU_MLIR基礎 √ √ √
2.1 Pattern Rewriting TPU_MLIR實(shí)戰 √ √ √
2.2 Dialect Conversion TPU_MLIR實(shí)戰 √ √ √
2.3 前端轉換 TPU_MLIR實(shí)戰 √ √ √
2.4 Lowering in TPU_MLIR TPU_MLIR實(shí)戰 √ √ √
2.5 添加新算子 TPU_MLIR實(shí)戰 √ √ √
2.6 TPU_MLIR圖優(yōu)化 TPU_MLIR實(shí)戰 √ √ √
2.7 TPU_MLIR常用操作 TPU_MLIR實(shí)戰 √ √ √
2.8 TPU原理（一） TPU_MLIR實(shí)戰 √ √ √
2.9 TPU原理（二） TPU_MLIR實(shí)戰 √ √ √
2.10? 后端算子實(shí)現 TPU_MLIR實(shí)戰 √ √ √
2.11 TPU層優(yōu)化 TPU_MLIR實(shí)戰 √ √ √
2.12 bmodel生成 TPU_MLIR實(shí)戰 √ √ √
2.13 To ONNX format TPU_MLIR實(shí)戰 √ √ √
2.14 Add a New Operator TPU_MLIR實(shí)戰 √ √ √
2.15 TPU_MLIR模型適配 TPU_MLIR實(shí)戰 √ √ √
2.16 Fuse Preprocess TPU_MLIR實(shí)戰 √ √ √
2.17 精度驗證 TPU_MLIR實(shí)戰 √ √ √

?

course-cover

Milk-V Duo開(kāi)發(fā)板實(shí)踐課程

本課程介紹了硬件電路的設計和基本環(huán)境的搭建，并提供了一些簡(jiǎn)單的開(kāi)發(fā)示例和一些基本的深度學(xué)習示例。

Milk-V Duo是基于CV1800B的超小型嵌入式開(kāi)發(fā)平臺。它體積小，功能全面，配備雙核，可以分別運行linux和rtos系統，并具有各種可連接的外設。

  • 可擴展性:Milk-V Duo核心板具有多種接口，如GPIO, I2C, UART, SDIO1, SPI, ADC, PWM等。
  • 多種可連接外設:Milk-V Duo核心板可擴展各種設備，如LED，便攜式屏幕，攝像頭，WIFI等。

課程特點(diǎn):

  • 內容材料豐富完整，包括開(kāi)發(fā)板硬件設計、外設接口說(shuō)明、基本環(huán)境設置方法、示例代碼腳本等。
  • 學(xué)習路徑科學(xué)合理，從開(kāi)發(fā)板的介紹和基本使用開(kāi)始，引導到實(shí)際項目，充分利用開(kāi)發(fā)板，為用戶(hù)自身開(kāi)發(fā)提供參考。
  • 實(shí)際項目豐富，課程提供了許多實(shí)際代碼使用和功能演示的示例。通過(guò)簡(jiǎn)單地修改和組合代碼，可以實(shí)現不同的功能。

課程目錄

course-cover

SE5開(kāi)發(fā)系列課

深度神經(jīng)網(wǎng)絡(luò )模型可以快速訓練和測試，然后由行業(yè)部署，在現實(shí)世界中有效地執行任務(wù)。在小型、低功耗的深度學(xué)習邊緣計算平臺上部署這樣的系統受到業(yè)界的高度青睞。本課程采用實(shí)踐驅動(dòng)的方法，引導你直觀(guān)地學(xué)習、實(shí)踐和掌握深度神經(jīng)網(wǎng)絡(luò )的知識和技術(shù)。

SOPHON深度學(xué)習微服務(wù)器SE5是采用SOPHON自主研發(fā)的第三代TPU處理器BM1684的高性能、低功耗邊緣計算產(chǎn)品。INT8運算能力高達17.6 TOPS，支持32路全高清視頻硬件解碼和2路編碼。本課程將快速引導您了解SE5服務(wù)器的強大功能。通過(guò)本課程，您可以了解深度學(xué)習的基礎知識并掌握其基本應用。

課程的特點(diǎn)

1. 一站式服務(wù)

?在SE5應用程序中遇到的所有常見(jiàn)問(wèn)題都可以在這里找到。

  • 為深度學(xué)習微服務(wù)器提供全棧解決方案
  • 一步一步、詳細而清晰地分解開(kāi)發(fā)過(guò)程
  • 支持所有主流框架，易于使用的產(chǎn)品

2. 系統的教學(xué)

它包括設置環(huán)境、開(kāi)發(fā)應用程序、轉換模型和部署產(chǎn)品，以及擁有鏡像的實(shí)際環(huán)境等所有內容。

  • 環(huán)境是如何構建的?
  • 如何編譯模型?
  • 應用程序是如何開(kāi)發(fā)的?
  • 場(chǎng)景如何部署?

3. 完整的材料

本課程包括視頻教程、文檔指南、代碼腳本和其他綜合材料。

  • 豐富的視頻素材
  • 詳細的應用指導
  • 清晰的代碼腳本
  • 代碼下載鏈接:https://github.com/sophon-ai-algo/examples

4. 免費的云開(kāi)發(fā)資源

在線(xiàn)免費申請使用SE5-16微服務(wù)器云測試空間

?

RM新时代|官方理财平台