딥페이크 탐지 (미지 생성기 일반화)

페인

딥페이크 탐지의 진짜 난점은 학습에서 본 적 없는 생성기다. 익숙한 생성 방식에는 잘 맞춰도, 처음 보는 생성기로 만든 이미지가 들어오면 성능이 무너진다. 대회 평가셋도 미지 생성기 일반화를 정조준했다.

접근

DINOv3 백본에 LoRA를 얹은 dual model 구조로 갔다. 백본의 일반 특징은 살리고 LoRA로 도메인만 가볍게 적응시키는 방식이다. 추론에서는 TTA로 입력 변형을 평균 내고, 두 모델을 soft-voting으로 합쳐 미지 생성기에서의 흔들림을 줄였다. 데이터 전처리부터 모델 학습, 앙상블 추론 파이프라인까지 구현을 맡았다.

지표

• Macro F1 0.9353 — 국과수 경진대회 Private LB 최종 (public-benchmark)
• Chameleon 0.8945 — vs SOTA 0.6577 (public-benchmark)

국립과학수사연구원 주최 경진대회에서 최우수상을 받았다. Private LB Macro F1 0.9353. 미지 생성기 평가셋인 Chameleon에서 0.8945로, 공개 SOTA 0.6577을 크게 넘겼다.

스택 표

회고

LoRA rank와 TTA 변형 조합을 어디까지 키울지가 고민이었다. 키울수록 학습 분포에는 잘 맞았지만 미지 생성기 일반화가 같이 좋아지진 않아서, Chameleon 점수를 기준으로 보수적으로 잡았다. 검증셋 점수보다 미지 분포 점수를 신뢰한 판단이 대회 결과로 이어졌다.

시각 자산

커버는 imagegen(0b). 본문은 LoRA dual model 아키텍처 다이어그램, Effort(SOTA) 대비 생성기별 오류율, family별 F1 일반화 차트(미지·최신 생성기 강건성)를 자산으로 사용. 수상 상장 이미지 추가 예정.