|
文章目錄 安卓直播推流專欄博客總結(jié) 一,、 服務(wù)器搭建 二、 手機(jī)端推流 三,、 電腦端觀看直播 四,、 RTMP 服務(wù)器端狀態(tài) 安卓直播推流專欄博客總結(jié) Android RTMP 直播推流技術(shù)專欄 : 0 . 資源和源碼地址 : 資源下載地址 : 資源下載地址 , 服務(wù)器搭建 , x264 , faac , RTMPDump , 源碼及交叉編譯庫 , 本專欄 Android 直播推流源碼 ; GitHub 源碼地址 : han1202012 / RTMP_Pusher 1. 搭建 RTMP 服務(wù)器 : 下面的博客中講解了如何在 VMWare 虛擬機(jī)中搭建 RTMP 直播推流服務(wù)器 ; 【Android RTMP】RTMP 直播推流服務(wù)器搭建 ( Ubuntu 18.04.4 虛擬機(jī) ) 2. 準(zhǔn)備視頻編碼的 x264 編碼器開源庫 , 和 RTMP 數(shù)據(jù)包封裝開源庫 : 【Android RTMP】RTMPDumb 源碼導(dǎo)入 Android Studio ( 交叉編譯 | 配置 CMakeList.txt 構(gòu)建腳本 ) 【Android RTMP】Android Studio 集成 x264 開源庫 ( Ubuntu 交叉編譯 | Android Studio 導(dǎo)入函數(shù)庫 ) 3. 講解 RTMP 數(shù)據(jù)包封裝格式 : 【Android RTMP】RTMP 數(shù)據(jù)格式 ( FLV 視頻格式分析 | 文件頭 Header 分析 | 標(biāo)簽 Tag 分析 | 視頻標(biāo)簽 Tag 數(shù)據(jù)分析 ) 【Android RTMP】RTMP 數(shù)據(jù)格式 ( FLV 視頻格式分析 | AVC 序列頭格式解析 ) 4. 圖像數(shù)據(jù)采集 : 從 Camera 攝像頭中采集 NV21 格式的圖像數(shù)據(jù) , 并預(yù)覽該數(shù)據(jù) ; 【Android RTMP】Android Camera 視頻數(shù)據(jù)采集預(yù)覽 ( 視頻采集相關(guān)概念 | 攝像頭預(yù)覽參數(shù)設(shè)置 | 攝像頭預(yù)覽數(shù)據(jù)回調(diào)接口 ) 【Android RTMP】Android Camera 視頻數(shù)據(jù)采集預(yù)覽 ( NV21 圖像格式 | I420 圖像格式 | NV21 與 I420 格式對比 | NV21 轉(zhuǎn) I420 算法 ) 【Android RTMP】Android Camera 視頻數(shù)據(jù)采集預(yù)覽 ( 圖像傳感器方向設(shè)置 | Camera 使用流程 | 動態(tài)權(quán)限申請 ) 5. NV21 格式的圖像數(shù)據(jù)編碼成 H.264 格式的視頻數(shù)據(jù) : 【Android RTMP】x264 編碼器初始化及設(shè)置 ( 獲取 x264 編碼參數(shù) | 編碼規(guī)格 | 碼率 | 幀率 | B幀個數(shù) | 關(guān)鍵幀間隔 | 關(guān)鍵幀解碼數(shù)據(jù) SPS PPS ) 【Android RTMP】x264 圖像數(shù)據(jù)編碼 ( Camera 圖像數(shù)據(jù)采集 | NV21 圖像數(shù)據(jù)傳到 Native 處理 | JNI 傳輸字節(jié)數(shù)組 | 局部引用變量處理 | 線程互斥 ) 【Android RTMP】x264 圖像數(shù)據(jù)編碼 ( NV21 格式中的 YUV 數(shù)據(jù)排列 | Y 灰度數(shù)據(jù)拷貝 | U 色彩值數(shù)據(jù)拷貝 | V 飽和度數(shù)據(jù)拷貝 | 圖像編碼操作 ) 6. 將 H.264 格式的視頻數(shù)據(jù)封裝到 RTMP 數(shù)據(jù)包中 : 【Android RTMP】RTMPDump 封裝 RTMPPacket 數(shù)據(jù)包 ( 封裝 SPS / PPS 數(shù)據(jù)包 ) 【Android RTMP】RTMPDump 封裝 RTMPPacket 數(shù)據(jù)包 ( 關(guān)鍵幀數(shù)據(jù)格式 | 非關(guān)鍵幀數(shù)據(jù)格式 | x264 編碼后的數(shù)據(jù)處理 | 封裝 H.264 視頻數(shù)據(jù)幀 ) 【Android RTMP】RTMPDump 推流過程 ( 獨(dú)立線程推流 | 創(chuàng)建推流器 | 初始化操作 | 設(shè)置推流地址 | 啟用寫出 | 連接 RTMP 服務(wù)器 | 發(fā)送 RTMP 數(shù)據(jù)包 ) 7. 階段總結(jié) : 阿里云服務(wù)器中搭建 RTMP 服務(wù)器 , 并使用電腦軟件推流和觀看直播內(nèi)容 ; 【Android RTMP】RTMP 直播推流 ( 阿里云服務(wù)器購買 | 遠(yuǎn)程服務(wù)器控制 | 搭建 RTMP 服務(wù)器 | 服務(wù)器配置 | 推流軟件配置 | 直播軟件配置 | 推流直播效果展示 ) 【Android RTMP】RTMP 直播推流階段總結(jié) ( 服務(wù)器端搭建 | Android 手機(jī)端編碼推流 | 電腦端觀看直播 | 服務(wù)器狀態(tài)查看 ) 8. 處理 Camera 圖像傳感器導(dǎo)致的 NV21 格式圖像旋轉(zhuǎn)問題 : 【Android RTMP】NV21 圖像旋轉(zhuǎn)處理 ( 問題描述 | 圖像順時針旋轉(zhuǎn) 90 度方案 | YUV 圖像旋轉(zhuǎn)細(xì)節(jié) | 手機(jī)屏幕旋轉(zhuǎn)方向 ) 【Android RTMP】NV21 圖像旋轉(zhuǎn)處理 ( 圖像旋轉(zhuǎn)算法 | 后置攝像頭順時針旋轉(zhuǎn) 90 度 | 前置攝像頭順時針旋轉(zhuǎn) 90 度 ) 9. 下面這篇博客比較重要 , 里面有一個快速搭建 RTMP 服務(wù)器的腳本 , 強(qiáng)烈建議使用 ; 【Android RTMP】NV21 圖像旋轉(zhuǎn)處理 ( 快速搭建 RTMP 服務(wù)器 Shell 腳本 | 創(chuàng)建 RTMP 服務(wù)器鏡像 | 瀏覽器觀看直播 | 前置 / 后置攝像頭圖像旋轉(zhuǎn)效果展示 ) 10. 編碼 AAC 音頻數(shù)據(jù)的開源庫 FAAC 交叉編譯與 Android Studio 環(huán)境搭建 : 【Android RTMP】音頻數(shù)據(jù)采集編碼 ( 音頻數(shù)據(jù)采集編碼 | AAC 高級音頻編碼 | FAAC 編碼器 | Ubuntu 交叉編譯 FAAC 編碼器 ) 【Android RTMP】音頻數(shù)據(jù)采集編碼 ( FAAC 頭文件與靜態(tài)庫拷貝到 AS | CMakeList.txt 配置 FAAC | AudioRecord 音頻采樣 PCM 格式 ) 11. 解析 AAC 音頻格式 : 【Android RTMP】音頻數(shù)據(jù)采集編碼 ( AAC 音頻格式解析 | FLV 音頻數(shù)據(jù)標(biāo)簽解析 | AAC 音頻數(shù)據(jù)標(biāo)簽頭 | 音頻解碼配置信息 ) 12 . 將麥克風(fēng)采集的 PCM 音頻采樣編碼成 AAC 格式音頻 , 并封裝到 RTMP 包中 , 推流到客戶端 : 【Android RTMP】音頻數(shù)據(jù)采集編碼 ( FAAC 音頻編碼參數(shù)設(shè)置 | FAAC 編碼器創(chuàng)建 | 獲取編碼器參數(shù) | 設(shè)置 AAC 編碼規(guī)格 | 設(shè)置編碼器輸入輸出參數(shù) ) 【Android RTMP】音頻數(shù)據(jù)采集編碼 ( FAAC 編碼器編碼 AAC 音頻解碼信息 | 封裝 RTMP 音頻數(shù)據(jù)頭 | 設(shè)置 AAC 音頻數(shù)據(jù)類型 | 封裝 RTMP 數(shù)據(jù)包 ) 【Android RTMP】音頻數(shù)據(jù)采集編碼 ( FAAC 編碼器編碼 AAC 音頻采樣數(shù)據(jù) | 封裝 RTMP 音頻數(shù)據(jù)頭 | 設(shè)置 AAC 音頻數(shù)據(jù)類型 | 封裝 RTMP 數(shù)據(jù)包 ) Android 直播推流流程 : 手機(jī)采集視頻 / 音頻數(shù)據(jù) , 視頻數(shù)據(jù)使用 H.264 編碼 , 音頻數(shù)據(jù)使用 AAC 編碼 , 最后將音視頻數(shù)據(jù)都打包到 RTMP 數(shù)據(jù)包中 , 使用 RTMP 協(xié)議上傳到 RTMP 服務(wù)器中 ; Android 端中主要完成手機(jī)端采集視頻數(shù)據(jù)操作 , 并將視頻數(shù)據(jù)傳遞給 JNI , 在 NDK 中使用 x264 將圖像轉(zhuǎn)為 H.264 格式的視頻 , 最后將 H.264 格式的視頻打包到 RTMP 數(shù)據(jù)包中 , 上傳到 RTMP 服務(wù)器中 ; 一,、 服務(wù)器搭建 首先按照 【Android RTMP】RTMP 直播推流 ( 阿里云服務(wù)器購買 | 遠(yuǎn)程服務(wù)器控制 | 搭建 RTMP 服務(wù)器 | 服務(wù)器配置 | 推流軟件配置 | 直播軟件配置 | 推流直播效果展示 ) 中的流程搭建服務(wù)器端 , 然后才能開始推流操作 ; 也可以按照 【Android RTMP】RTMP 直播推流服務(wù)器搭建 ( Ubuntu 18.04.4 虛擬機(jī) ) 博客中的內(nèi)容 , 在 VMWare 虛擬機(jī)中搭建 RTMP 直播推流服務(wù)器 ; 加粗樣式配置說明 : ① HTTP 端口號 : 在 http server 中配置的端口號是查看 RTMP 服務(wù)器狀態(tài)網(wǎng)址的端口號 , 如 http://47.94.36.51:8080/stat 地址中 , 就需要注明其端口號是 8080 ; listen 8080; ② HTTP 狀態(tài)查看地址 : 在 conf/nginx.conf 配置文件中配置的該選項(xiàng) , 就代表了使用 http://47.94.36.51:8080/stat 地址訪問即可查看當(dāng)前直播推流 , 與觀看直播的狀態(tài) ; location /stat { rtmp_stat all; rtmp_stat_stylesheet stat.xsl; } ③ RTMP 直播端口號 : 下面給 RTMP 服務(wù)配置 1935 端口號 , 是 RTMP 的默認(rèn)端口號 , 因此這里 rtmp://47.94.36.51/myapp/0 直播地址中沒有端口號 ; ④ RTMP 直播應(yīng)用 : 其中 myapp 就是直播的應(yīng)用名稱 , rtmp://47.94.36.51/myapp/0 地址中的 myapp 就是在 rtmp 中配置的 application 應(yīng)用; rtmp { server { listen 1935; application myapp { live on; } } } 二、 手機(jī)端推流 1 . 手機(jī)直播推流 : ① 開始播放代碼 : 向 rtmp://47.94.36.51/myapp/0 地址推流 ; // rtmp://47.94.36.51/myapp/0 // 0 相當(dāng)于 直播的 密碼 // 配置好服務(wù)器后, 記錄 IP 地址, 替換 47.94.36.51 IP 地址 mLivePusher.startLive("rtmp://47.94.36.51/myapp/0"); ② Camera 采集畫面并預(yù)覽推流 : 這里注意 , 之前圖像被逆時針旋轉(zhuǎn)了 90 度 , 設(shè)置了圖像傳感器角度后 , 預(yù)覽圖片糾正過來了 , 但是 Camera 的圖像傳感器采集的 NV21 格式的圖像還是被旋轉(zhuǎn)了 90 度 ; 具體涉及到的圖像格式 , 以及圖像傳感器方向 , 屏幕方向的關(guān)系 , 參考博客 【Android RTMP】Android Camera 視頻數(shù)據(jù)采集預(yù)覽 ( 圖像傳感器方向設(shè)置 | Camera 使用流程 | 動態(tài)權(quán)限申請 ) 2 . 關(guān)于手機(jī)端的開發(fā)流程 : ① 首先實(shí)現(xiàn) Camera 采集圖像數(shù)據(jù) : 【Android RTMP】Android Camera 視頻數(shù)據(jù)采集預(yù)覽 ( 視頻采集相關(guān)概念 | 攝像頭預(yù)覽參數(shù)設(shè)置 | 攝像頭預(yù)覽數(shù)據(jù)回調(diào)接口 ) 【Android RTMP】Android Camera 視頻數(shù)據(jù)采集預(yù)覽 ( 圖像傳感器方向設(shè)置 | Camera 使用流程 | 動態(tài)權(quán)限申請 ) 【Android RTMP】Android Camera 視頻數(shù)據(jù)采集預(yù)覽 ( 圖像傳感器方向設(shè)置 | Camera 使用流程 | 動態(tài)權(quán)限申請 ) ② 理解 NV21 格式的圖像數(shù)據(jù) : 【Android RTMP】RTMP 數(shù)據(jù)格式 ( FLV 視頻格式分析 | 文件頭 Header 分析 | 標(biāo)簽 Tag 分析 | 視頻標(biāo)簽 Tag 數(shù)據(jù)分析 ) 【Android RTMP】RTMP 數(shù)據(jù)格式 ( FLV 視頻格式分析 | AVC 序列頭格式解析 ) ③ 將 NV21 格式的圖像數(shù)據(jù)編碼為 H.264 格式的圖像數(shù)據(jù) : 【Android RTMP】x264 編碼器初始化及設(shè)置 ( 獲取 x264 編碼參數(shù) | 編碼規(guī)格 | 碼率 | 幀率 | B幀個數(shù) | 關(guān)鍵幀間隔 | 關(guān)鍵幀解碼數(shù)據(jù) SPS PPS ) Android RTMP】x264 圖像數(shù)據(jù)編碼 ( Camera 圖像數(shù)據(jù)采集 | NV21 圖像數(shù)據(jù)傳到 Native 處理 | JNI 傳輸字節(jié)數(shù)組 | 局部引用變量處理 | 線程互斥 ) 【Android RTMP】x264 圖像數(shù)據(jù)編碼 ( NV21 格式中的 YUV 數(shù)據(jù)排列 | Y 灰度數(shù)據(jù)拷貝 | U 色彩值數(shù)據(jù)拷貝 | V 飽和度數(shù)據(jù)拷貝 | 圖像編碼操作 ) ④ 將編碼后的 H.264 格式的視頻幀數(shù)據(jù)打包成 RTMP 數(shù)據(jù)包 : 【Android RTMP】RTMPDump 封裝 RTMPPacket 數(shù)據(jù)包 ( 封裝 SPS / PPS 數(shù)據(jù)包 ) 【Android RTMP】RTMPDump 封裝 RTMPPacket 數(shù)據(jù)包 ( 關(guān)鍵幀數(shù)據(jù)格式 | 非關(guān)鍵幀數(shù)據(jù)格式 | x264 編碼后的數(shù)據(jù)處理 | 封裝 H.264 視頻數(shù)據(jù)幀 ) ⑤ 將 RTMP 數(shù)據(jù)包發(fā)送到服務(wù)器端 : 【Android RTMP】RTMPDump 推流過程 ( 獨(dú)立線程推流 | 創(chuàng)建推流器 | 初始化操作 | 設(shè)置推流地址 | 啟用寫出 | 連接 RTMP 服務(wù)器 | 發(fā)送 RTMP 數(shù)據(jù)包 ) 三,、 電腦端觀看直播 電腦端使用 EVPlayer 觀看直播 : 先配置直播地址 , 然后即可觀看直播 ; ① 配置直播地址 : rtmp://47.94.36.51/myapp/0 . 這是手機(jī)端設(shè)置的直播地址 , myapp 表示服務(wù)器端的 Nginx 服務(wù)器配置的應(yīng)用 , 端口號是 1935 , RTMP 默認(rèn)端口號就是 1935 , 這里可以不寫 ; ② 電腦端觀看直播效果展示 : 屏幕畫面被逆時針旋轉(zhuǎn)了 90 度 , 這是因?yàn)橹皵z像頭傳感器只設(shè)置了將預(yù)覽畫面糾正過來 , 但是 NV21 格式的圖像數(shù)據(jù)還是被逆時針旋轉(zhuǎn)了 90 度的數(shù)據(jù) ; 具體涉及到的圖像格式 , 以及圖像傳感器方向 , 屏幕方向的關(guān)系 , 參考博客 【Android RTMP】Android Camera 視頻數(shù)據(jù)采集預(yù)覽 ( 圖像傳感器方向設(shè)置 | Camera 使用流程 | 動態(tài)權(quán)限申請 ) 四,、 RTMP 服務(wù)器端狀態(tài) 查看服務(wù)器端狀態(tài)信息 : 查看地址 http://47.94.36.51:8080/stat , 可以看到有一個 publishing 推流端 , 有一個 playing 觀看直播端 ; ① 服務(wù)器端 : 服務(wù)器端是 Nginx 服務(wù)器 , 運(yùn)行了 RTMP Module 應(yīng)用 , 可以實(shí)現(xiàn)直播推流中功能 ; ② 推流端 : 直播推流端就是手機(jī) , 手機(jī)端 Camera 采集 NV21 格式的圖像數(shù)據(jù) , 并使用 x264 將其編碼為 H.264 格式 , 最后使用 RTMPDump 將 H.264 數(shù)據(jù)幀編碼為 RTMP 數(shù)據(jù)包 , 推送到 RTMP 服務(wù)器端 ; ③ 播放端 : 直播內(nèi)容播放端就是電腦上使用 EVPlayer 觀看直播 ; https://blog.csdn.net/shulianghan/article/details/106752312?utm_term=%E6%89%8B%E6%9C%BA%E6%8E%A8%E6%B5%81%E5%88%B0%E6%9C%AC%E5%9C%B0%E6%9C%8D%E5%8A%A1%E5%99%A8&utm_medium=distribute.pc_aggpage_search_result.none-task-blog-2~all~sobaiduweb~default-2-106752312&spm=3001.4430 |
|
|
