비디오 세그먼트 단위의 부분 복사 검출을 위한 CNN 기반 프레임 특징 벡터 융합 방법

초록

최근 유튜브나 인스타그램과 같은 콘텐츠 플랫폼을 주축으로 미디어에 대한 수요가 급속하게증가하고 있다. 이에 따라 저작권 보호나 불법 콘텐츠의 유포와 같은 문제들이 발생하고 있다. 이러한 문제를 해결하기 위해 내용에 기반한 고유의 식별자를 추출하는 방법들이 제안되었지만 기존의 연구들은 미리 정해진 변형에 대하여 고안되었기 때문에 실제 비디오에서는 검출에 실패하였다. 본 논문에서는 실제유통되는 비디오의 다양한 변형에 강인한 부분 복사 검출을 위해 프레임 정보를 융합한 딥러닝 기반의 세그먼트 Fingerprint를 제안한다. TIRI를 이용한 데이터 수준의 융합 방법과 풀링을 이용한 특징 벡터 수준의 융합 방법으로 추출한 Fingerprint를 Triplet loss를 이용하여 학습하고 검출 시스템을 설계하여 성능을 분석한다. 본 논문의 실험은 유튜브를 기반으로 수집한 데이터셋인 VCDB를 이용하였으며 5초 동안샘플링한 프레임 특징 벡터를 Max 풀링으로 융합하여 66%의 성능을 얻었다.

키워드