###### tags: `即時音訊圖像` # 音訊圖像化 --- 1. 擷取音訊的流程 a. 從 本來就在本機的 音訊檔案 i. 直接 分析/提取音訊檔案 ii. 所有本機"正在播放中"的音訊 b. 從 外界麥克風 輸入到本機的 串流音訊 c. 從 其他電腦 經由網路 將串流音訊 傳送到本機 總而言之可分為 1-1.只有播放或使用一個 已經封裝好的聲音檔案 才能對這個檔案的音訊做處理 1-2.實時監聽本機內所有的音訊 實時呈現 2.實時麥克風輸入 實時呈現 4.實時監聽本機內個別音源(瀏覽器)的音訊 實時呈現 --- 2. 音訊的本質: 1.麥克風對空氣的震動採樣,把模擬訊號轉換成離散訊號儲存起來. 2.每秒採樣次數極高,遠大於影片的偵數 3.只有單一採樣點連成一片是沒有意義的,必須再次小範圍的採樣點"一段一段"轉換成頻譜 4.檔案:把一段資料流封裝起來 關鍵字:容器 封裝格式(各有不同) 5.音訊串流:一楨一楨為單位 傳送串流音訊 即使是檔案傳輸 或者在本機內播放音訊 也會涉及到串流訊息 但一般我們在討論串流時 經常是在討論與網路傳輸 跨電腦傳出訊息有關 5-a:題外話 無線電收放音訊的原理,和現在電腦上串流媒體收放音訊的原理差別巨大 6.協議和格式 a. 採樣率 b. 位元深度 c. 採樣次數 d. 採樣頻率 --- 3. 模擬音訊 數位音訊 和音訊圖像化 a. 人耳對聲音音量大小是感知 和聲音振幅大小 呈現類似指數的關係(分貝) b. 將數位音訊轉換成圖像 頻譜圖: 涉及高等數學 --- 4. 視窗與即時動畫 1.這些即時音訊圖像,可以藉由既有的套件實現 2.但如果想要客製化,依造個人需求,對這些聲音的訊息做出不一樣的呈現,該怎麼辦? 即時將(間隔時間很短的)音訊串流資料,轉換成圖像(動畫) 你必須要有能力 a.(笨方法)真的把每個採樣點的資料(的原始數值)顯示出來 i:這訊息是指什麼?已經封裝在mp3或wav檔案的資料? 這些資料和採樣點 振幅有什麼關係? b.知道怎"即時"處理這些音訊 i.即時反應,並顯示出音量 並藉由動畫顯示音量高低 ii.即時反映 並顯示出人聲基本頻率 iii.即時反映出"人聲共振鋒" 並藉由動畫顯示共振鋒 iv.即時(可允許些微落後0.X秒)反映出聲音的性質 a.母音 b.子音 c.真假音 d.破音 v.紀錄輕重音 --- 5. 能不能即時把這些聲音存檔,不只存下聲音,還要把一連串音高變化,音量變化的訊息存起來? a.另問,能不能把既有檔案的聲音訊號,提取出來,變成簡單顯示 音高音量變化的圖案/文件? b.能不能記錄個人的音域? 5. 將聲音和時間,歌詞或字幕,粗糙的樂譜一一對應 --- 6. 現有的歌詞網站/原曲/翻唱版(和資料庫有關)(和本專題重點較不相關) 7. 有沒有在電腦上的輸入法,用來輸入國際音標的各種特殊符號?