自动影像注解研究-利用MPEG7与GHSOM-国立高雄大学.ppt

透過本研 究之方法，我們仍可藉由分群的結果發現兩種語言 間之關連性，並進而探勘出主題與主體間之隱藏相 關訊息。因此，未來我們可以經由此種對映關連性， 解決存在於兩種語言之間的障礙。並且協助建構一 套跨語言間的檢索系統 * 基於增長層級式自我組織圖之自動影像註解方法 國立高雄大學資訊管理學系 楊新章 莊智翔 大綱 前言 GHSOM簡介 方法與架構 註解前置處理 影像前置處理 影像與與註解階層對應 新進影像註解 實驗結果 結論 前言 影像資料數量不斷蓬勃發展，將影像資料交由電腦系統自動做處理、分析、分類與解釋，提供人們做搜尋、檢索、擷取與再利用，這樣的議題引起人們的重視與我們的研究興趣。 前言 影像檢索目前現況 根據影像內容進行查詢仍有困難，主要仍以影像之註解為查詢依據 具註解之影像少且註解品質不固定 人工註解成本過高且不具一致性 常見影像特徵表達 Mpeg-7標準、影像頻譜、顏色直方圖、背景紋理、物件輪廓……等等 研究動機 不同之檢索與分群方法結合 改進影像特徵淬取與表達不易及檢索介面較為繁複之缺點 發展一註解與影像之對應方法 相關文獻 Rauber, Merkl, Dittenbach (2002) 提出”Growing Hierarchical Self-Organizing Map“資料訓練方式，並受到廣泛接受與運用。 Jeon et al. (2003)將影像註解問題視為跨語言資訊檢索(cross-lingual information retrieval)問題。 Yang, H.C., Lee, C.H., Chen, D.W. (2008)提出一新穎多語言探勘方法，本研究參考該方法概念並提出全新影像註解方法。 GHSOM簡介 起源:Rauber,2002。 目的:改良自我組織圖(SOM)之缺失。 需預先設定結構 無法顯示資料階層關係 特色:是一種動態的自我組織圖演算法。 GHSOM演算法 參數設定。 水平增長 建立SOM分群，分群完成後，評量是否再新增神經元。 重複上一步驟，直到達到停止條件。 垂直增長 當水平的增長完成後，在對每一個聚類評量是否要垂直的增長。 重複上一步驟，直到每個聚類達到停止垂直增長的條件。 方法與架構 註解前置處理 GHSOM訓練註解 分群/樹狀節構 註解階層 訓練影像內容 輸入影像 影像前置處理 萃取影像特徵 影像標記 影像階層 註解產生 註解完成之影像 影像與註解階層對應 影像與註解階層對應 訓練影像註解 GHSOM訓練註解 分群/樹狀節構 影像特徵 訓練階段 註解階段 註解前置處理 Step1:訓練影像註解 擷取影像註解並標記存檔 Step2:註解前置處理 轉換文字成為特徵向量 Step3:註解關聯階層訓練 以GHSOM訓練影像註解向量並輸出具階層關係之關聯階層 方法與架構 註解前置處理 GHSOM訓練註解 分群/樹狀節構 註解階層 訓練影像內容 輸入影像 影像前置處理 萃取影像特徵 影像標記 影像階層 註解產生 註解完成之影像 影像與註解階層對應 影像與註解階層對應 訓練影像註解 GHSOM訓練註解 分群/樹狀節構 訓練階段 註解階段 影像特徵 影像前置處理 Step1:訓練影像 讀取訓練影像資料集影像 Step2:前置處理 以FFT與Color Histogram擷取影像之特徵並轉換為特徵向量 Step3:影像關聯階層訓練 以GHSOM訓練影像之特徵向量並輸出具階層關係之影像關聯階層 方法與架構 註解前置處理 GHSOM訓練註解 分群/樹狀節構 註解階層 訓練影像內容 輸入影像 影像前置處理 萃取影像特徵 影像標記 影像階層 註解產生 註解完成之影像 影像與註解階層對應 影像與註解階層對應 訓練影像註解 GHSOM訓練註解 分群/樹狀節構 訓練階段 註解階段 影像特徵 階層對應方法(I) H1 H2 1 2 3 4 5 6 7 8 1 2 4 5 3 6 7 8 9 I1 I2 I3 A1 A3 A2 階層對應方法(II) 影像標記後之註解加註方式 1.兩兩成對計算,共需 次計算步驟數 2.影像對應之註解所在群集均給予一分 3.另給予途經群集 分 4.求算各群集所得之分數 5.分數最高者為優勝 方法與架構 訓