使用Q-metric作影像相似撷取.PPT

影片資料庫擷取系統Video Database Retrieval System 相關研究(Video Database Retrieval) Fast Image/Video Retrieval On Compressed Image And Video Databases 利用Q-metric來量測query image與target image之間在頻率域的相似度。 δ: δ(Q,I)=1 = QT and IT with threshold T. δ(Q,I)=0 = otherwise. 使用 Q-metric 作影像相似擷取: Ix is return, if , for and 使用 Q-metric 作影片相似擷取: ◎只有MPEG視訊影片的I-frames會被擷取 ◎計算出query影像和每個MPEG視訊影片的I-frame的 Q-distance 系統 : Just A Content-Based Query System For Video Databases System: 場景切割: (scene cut detection) 根據類神經網路. 擷取r-frames: 影片小於1秒=只抓一張影格為r-frame Shot大於一秒=每秒抓一張r-frame 特徵擷取: color-based feature:1)取位元組最高的前3個位元=使顏色空間減少為512種 顏色.統計出這512種顏色在每個 r-frame量化後的RGB Histogram分別的個數. 3)使用512 levels histogram 作為特徵向量. texture-based feature:(使用邊緣密度) 經由方向遮罩計算傾斜強度along the direction O °, 45 °, 90° and 135 ° Database querying: direct query:給特徵找圖 query by example:以圖找圖 Experimental Results: 場景變化主要形式: 突然場景變化 (Abrupt cut) 緩慢場景變化 (Gradual transition) Support vector clustering: 資料分類 Benhur[2000] =支援向量分類 判斷是否產生新的群集： 判斷依據: 3. 分析曲線變化 對半徑變化圖作一次微分 Multiple-Instance Learning: 找出一個最佳特徵點 : 找出一個最佳特徵點 : 找出一個最佳特徵點 : 相似區域: 每個concept 所屬之區域，法則為下列之式子。 If , then 相似性測量: 特徵區域分散程度 特徵群比例 特徵群結構(特徵群之間空間分佈關係) 其中d:資料庫影像 ; q:正相關範例 _ _ _ _ _ _ _ _ 0 0 0 =0~31 0 0 1 =32~63 0 1 0 =64~95 0 1 1 =96~127 1 0 0 =128~159 1 0 1 =160~191 1 1 0 =192~223 1 1 1 =224~255 Demo.swf * 研究生：林家玄 指導教授：蔣依吾博士 中山大學資訊工程學系 … … … … Key frame 偵測出的場景 Query 搜尋比對影片資料庫 … Video Database 實驗結果 : Query 傳回排名前九名的影像 DB population session DB querying session Shots extractor Video sequence Shots DB Query interface Match engine Query Shots Features extractor Shots Shots Features Features Features DB Pointer to Shot Output Shot Input Video Sequences Input Query Shots selected By match