진경원 · Vision AI

How I work

학습을 한 번 더 돌리기 전에, 원인을 먼저 가려냅니다

3년간 상용 탐지 모델을 운영하며 정리된 판단 기준 세 가지입니다.

Diagnose

증상이 아니라 원인을 고칩니다

오탐이 나면 데이터를 더 붓기 전에 오탐 사례부터 분석합니다. 속도가 안 나오면 레이어 단위로 연산 이동을 추적합니다.

손에 든 사각형 물체를 전부 스마트폰으로 오탐 → 라벨 안에 손 영역이 포함된 것이 원인. 렌즈 기준 상단만 라벨링하는 방식으로 전환.

Verify

검증 점수가 좋으면 데이터를 의심합니다

검증 수치와 실사용 성능이 어긋날 때는 모델이 아니라 평가 체계를 먼저 봅니다. 데이터 누수는 세 개 프로젝트에서 반복해 발견했습니다.

태블릿 검증셋의 random split 누수 · X-ray 9-view 교차 혼입 · 학습–벤치 데이터 유출(콘텐츠 해시로 적발).

Ship

채택 기준에 배포 제약을 함께 둡니다

정확도가 가장 높은 모델이 항상 답은 아닙니다. 엣지 런타임 호환성과 추론 비용을 같은 표에 올려놓고 고릅니다.

DEIM은 미탐율 최저(1.44%)였지만 RKNN 미지원이 확인돼 보류. 대신 C2PSA→C3K2 교체로 양자화 비호환까지 함께 해소.

Interactive

모델은 숫자 하나로 고르지 않습니다

오탐이 곧 비용인 시스템에서는 평균 정확도가 아니라 운용 오탐률에서의 실탐지율이 기준이 됩니다. 아래는 태블릿 오탐을 걸러낼 2차 판정기 후보 3종을 비교했던 실험입니다. 임계값을 움직여 보세요.

판정기 후보 3종의 ROC

가로축 오탐률(FPR) · 세로축 실탐지율(TPR)

판정 임계값 FPR 10.0%

엄격 — 놓쳐도 오탐 없이느슨 — 오탐 감수하고 다 잡기

판정기	AUROC	실탐지율	오탐률

실제 채택 결과

기하 프라이어·임베딩·경량 분류기 3안을 비교해 경량 분류기를 채택. 평가셋의 장면 수준 근중복 유출을 자체 감사로 적발하고 클린 스플릿으로 재측정한 뒤 라이브 데모 시스템에 배포했습니다. 운용점에서 모니터 오인식 80% 제거, 실탐지 95% 유지(AUROC 0.978).

VLM은 왜 탈락했나

Qwen2.5-VL 제로샷 판정에서 프롬프트를 '기기 여부'에서 '촬영 가능 렌즈면'으로 재정의하자 AUROC가 0.504 → 0.762로 반전했습니다. 다만 대규모 자동검수에는 추론이 70배 빠르고 정확도도 높은(AUROC 0.99 vs 0.762) 경량 전용 분류기가 적합하다는 결론.

실배포 형상 전수 검증

INT8 양자화 + 2단 추론 형상 그대로 전수 검증 — Precision 0.999 / Recall 0.817, 오탐률 2.01%.

AUROC 0.504 / 0.762 / 0.99는 실험에서 측정된 값입니다. 곡선 자체는 해당 AUROC를 만족하도록 이항정규 모델로 그린 개념 곡선이며, 원자료의 점수 분포를 그대로 옮긴 것은 아닙니다.

Method

수 픽셀짜리 객체를 찾는 방법

광각 카메라 원거리에서는 촬영기기가 수 픽셀 크기로 축소돼 원본 추론만으로는 미탐이 납니다. 인물을 먼저 찾고 그 영역만 잘라 다시 추론하는 2단계 구조로 해결했습니다.

1단계 · 원본 추론인물은 잡히지만 손에 든 기기는 수 픽셀이라 검출되지 않습니다.

2단계 · crop 재추론인물 bbox에 마진을 주고 잘라 640으로 다시 넣으면 같은 기기가 90 px급으로 커집니다.

거리별 mAP50 — 12기종 · 거리별 수집 데이터로 재학습

2026.02 ~ 03 광각(AEW) 장거리 탐지 개선

기존 모델 개선 모델

Projects

주요 프로젝트

각 카드의 상세 보기를 열면 문제 → 해결 → 결과 순의 기록이 펼쳐집니다.

device-detection

영상보안 솔루션 촬영기기 탐지

2023.06 ~ 현재 · 3년+ 상용 배포 운영 중

재택근무 웹캠·엣지(광각) 카메라 영상에서 스마트폰·카메라·태블릿 등 촬영기기를 실시간 탐지하는 상용 솔루션입니다. 촬영기기·악세사리·깨진 이미지·가림 탐지로 이루어진 탐지 모델군을 전담하며, 대기업 고객사 전사 재택근무 환경에 배포·운영 중입니다. 쓸 수 있는 학습 데이터가 없어 웹 크롤링 수집과 소량 라벨링 검증부터 시작했습니다.

CPU 추론10.2 → 7.2 ms

외부 검증 오탐16× 감소

2m mAP500.737 → 0.978

Bezel mAP5083.3 → 99.5%

YOLO v8~v26 · Pose/Keypoint · OpenVINO INT8(NNCF) · RKNN · Auto Labeling

상세 보기접기

라벨링 방식 재설계 2023

문제

초기 모델이 손에 든 사각형 물체를 전부 스마트폰으로 오탐 — 사용 불가 수준.

해결

오탐 사례를 분석해 라벨 안에 손 영역이 포함된 것이 원인임을 확인, 렌즈 기준 상단만 라벨링하는 방식으로 전환.

결과

첫 배포 모델부터 오탐이 크게 줄었고, 이 방식은 3년간 라벨링 표준으로 정착했습니다.

경량화 — P5를 제거했더니 왜 느려졌나 2026.03 ~ 04

문제

nano + INT8 양자화 이후 추가 경량화 여지가 없었습니다. 소형 객체 중심 태스크라 큰 객체용 P5 레이어를 제거했는데, 예상과 달리 추론이 느려졌습니다.

해결

원인을 추적해 P5의 C2PSA(attention) 연산이 해상도가 큰 P4로 이동하며 연산량이 늘어난 것을 확인, C2PSA를 C3K2로 교체. 양자화 outlier는 레이어 평균 10배 클리핑으로 처리.

결과

CPU 추론 약 30% 단축, RKNN 양자화의 attention 비호환 문제도 함께 해소됐습니다.

모델 구성	CPU 추론 시간
YOLOv11 Baseline	10.2 ms
P5 제거 + C2PSA 유지	12.4 ms (악화)
P5 제거 + C3K2 대체 (최종)	7.2 ~ 7.7 ms

DETR 계열(DEIM, RF-DETR)도 직접 학습·벤치마크했습니다. DEIM은 미탐율이 가장 낮았지만(1.44%) RKNN 미지원이 확인돼 보류했습니다.

오탐 대응 — 실사용 시나리오 기반 null 데이터 설계 2024.09 ~ 2025.03

문제

컵·텀블러 등 손에 든 물체를 스마트폰으로 오탐하는 이슈가 운영 중 계속 제기됐습니다.

해결

실사용 환경에서 오탐이 날 만한 물체를 미리 예측해 null 데이터셋을 설계했고, 운영 오탐 사례는 추론 구조(원본 + crop)에 맞춰 양쪽 모두 재학습했습니다. ImageNet 130만 장을 운영 모델로 역추론해 오검출 유형 8,994장을 null로 확보하는 방식도 병행했습니다.

결과

외부 데이터(COCO 11.8만 장) 검증에서 오탐 16배 감소, 배포 후 실사용 오탐 이슈 제기가 줄었습니다.

소형 객체 — Body Crop 2단계 검출 2024 ~ 2026

인물 탐지 후 해당 영역을 crop해 재탐지하는 2단계 구조를 도입하고, crop 마진·추론 사이즈 실험으로 최적점(10~20 px · 640)을 도출했습니다. 거리별(1m/1.5m/2m)·12기종 데이터를 수집해 학습, 원거리 소형 객체 탐지의 기본 구조로 정착했습니다. 위 그림과 거리별 성능을 참고하세요.

탐지 모델 3종 통합 2025.07 ~ 2026.03

문제

카메라 · Face&Body · Bezel&Paper(liveness) 3개 모델을 단일 모델로 통합하는 과정에서, 1차 통합 시 loss는 수렴하는데 keypoint 결과가 비정상이었습니다.

해결

라벨 정합성 분석으로 두 가지 원인 — 일부 모델의 bbox 라벨 오류, face 외 클래스의 keypoint 근사값 오염 — 을 찾아 교정.

결과

기존 개별 모델 대비 성능 저하 없이 단일 모델로 통합·배포(Bezel mAP50 83.3 → 99.5%), 운영·배포 파이프라인이 3개에서 1개로 단순화됐습니다.

데이터 운영 기반

수십만 장 규모 데이터를 소수 인원으로 운영하기 위해, 수집·검수·라벨링 각 단계의 반복 작업을 자동화했습니다.

수집 — 외부 지원자 19명·재택 40명 등 60명 이상(50만 장) 크라우드소싱 관리. 부족한 유형은 유튜브 API 크롤링으로 보충 — 115만 프레임에서 모델 추론으로 후보만 자동 선별해 10만 장 확보.
검수 — 24만 장을 직접 검수하며 흐림 때문에 렌즈 식별이 안 되는 이미지가 주요 탈락 원인임을 확인. 저조도·bbox 크기 미달·블러(Laplacian 분산)·null 정제 4종 자동 필터로 사람이 볼 물량 자체를 축소하고, 검수용 이미지 뷰어를 만들어 협업 부서에 배포.
라벨링 — 수작업을 오토라벨링으로 대체. SAM2(비디오 트래킹) → Grounding DINO → Grounded-SAM2로 도구를 교체하며 처리 속도 5배 확보.
신규 라벨 구축 — 스마트폰 렌즈 위치처럼 새 라벨이 필요할 때는 소량만 직접 라벨링해 초기 모델을 만들고, 추론 결과를 검수·재학습하는 루프 운영(렌즈 검출 mAP50 66% → 98%).
평가 — 모든 모델 교체를 오탐율/미탐율 벤치마크로 검증. 검증 점수와 실사용 성능이 어긋나면 데이터부터 의심 — 태블릿 검증셋의 random split 누수를 발견해 인물 단위 분리로 교정.
신모델 추적 — YOLOv8~v26, YOLOv12, mamba-yolo, RF-DETR, DEIM을 출시 직후 직접 학습·벤치마크해 정확도·속도·엣지 호환성 기준으로 채택/보류를 판단.

sprint-2026.07

집중 스프린트 — 탐지 모델 라인 총점검

2026.07

웹캠·광각·전면 카메라 탐지 모델 라인 전체를 점검하는 스프린트를 수행했습니다. AI 에이전트 병렬 오케스트레이션으로 실험 설계 → 실행 → 검증 사이클을 자동화해 동시 5~8개 작업을 운영했습니다(SLURM 클러스터 자원 오케스트레이션 포함).

웹캠 mAP500.834 → 0.955

배경 오탐12.3% → 4.2%

모니터 오인식80% 제거

스마트글래스 F10.816 → 0.841

상세 보기접기

성과	Before → After
웹캠 탐지 모델 세대교체	mAP50 0.834 → 0.955 · 배경 오탐 12.3% → 4.2%
실배포 형상(INT8 + 2단 추론) 전수 검증	P 0.999 / R 0.817 · 오탐률 2.01%
태블릿 오탐 2차 검증기 설계·배포	모니터 오인식 80% 제거 (실탐지 95% 유지, AUROC 0.978)
스마트글래스 탐지 융합 개선	F1 0.816 → 0.841 (검출 + DINOv2 임베딩 융합)

모델 세대교체 — 후보 74종을 3개 벤치마크로 비교 평가해 도메인별 최적 모델을 선정. 과정에서 학습–벤치 데이터 유출을 콘텐츠 해시로 적발하고 클린 벤치를 재구축했습니다. 2단 추론(TTA)은 미탐을 줄이는 대신(recall +4.5 pt) 추론이 2배 느려지는 트레이드오프를 측정해, 정확도 우선/속도 우선 시나리오별 사용 권고안을 도출했습니다.
2차 검증기 — 기하 프라이어·임베딩·경량 분류기 3안을 비교 설계해 경량 분류기 채택. 평가셋의 장면 수준 근중복 유출을 자체 감사로 적발하고 클린 스플릿 재측정으로 성능을 확정한 뒤 라이브 데모 시스템에 배포했습니다.
VLM 활용성 평가 — Qwen2.5-VL 제로샷 판정 실험. 프롬프트를 '기기 여부'에서 '촬영 가능 렌즈면'으로 재정의하자 AUROC 0.504 → 0.762로 반전. 대규모 자동검수에는 VLM보다 추론이 70배 빠르고 정확도도 높은(AUROC 0.99 vs 0.762) 경량 전용 분류기가 적합하다는 결론을 냈습니다.
3년 모델 자산 감사 — 학습 651개를 전수 스캔하고 MD5 콘텐츠 계보로 데이터 사용 이력을 복원, 미활용 데이터 3.9만 장을 발굴했습니다.

xray-threat

X-ray 위해물품 탐지

2026.04 ~ 진행 중 · 2025.11 1차 참여

공공 보안검색 과제. 73개 클래스 · 약 28만 장(Train/Val/Test = 239,084 / 24,256 / 24,183) 규모를 담당자 퇴사로 단독 인수했습니다. 인수 시점 mAP50 0.986으로 완성 단계처럼 보였지만, 실환경 대비 과도하게 높은 수치라 의문을 제기한 것이 출발점이었습니다.

오경보율2.18% → 1.68%

정탐률94.4 ~ 95% 유지

규모73 class · 28만 장

YOLOv11x · 9-view Late Fusion · 물성(Zeff) 채널 실험

상세 보기접기

문제

인수 시점 mAP50 0.986 — 실환경 대비 과도하게 높은 수치.

해결

데이터 구조를 추적해 동일 장면을 9개 각도로 촬영한 9-view 이미지가 train/test에 교차 혼입된 누수를 확인, 장면(scene) 단위로 재분할해 평가 체계를 다시 세웠습니다.

결과

재구축한 평가 기준에서 9-view 세트 판정 정탐률 95% 수준을 확보하고, 모델 개선 반복으로 오경보율을 2.18% → 1.68%로 낮췄습니다.

box 크기·종횡비 검증으로 오라벨 필터링
9-view 특성을 성능으로 전환 — box 크기별 가중치 기반 late fusion 앙상블
물성(Zeff) 채널 추가 실험 — 공식 데이터 전달 전 color 이미지에서 Zeff를 역추출해 선행 검증

지표 (9-view 세트 판정)	1차 모델	개선 모델
정탐률	95.05%	94.44 ~ 95% 유지
오경보율	2.18%	1.68%

casino-vision

카지노 영상분석

2025.11 ~ 진행 중 · 고객사 2곳

코드·데이터 반출입마다 담당자를 거쳐야 하는 폐쇄망 환경에서 3주간 현장에 상주하며 칩·카드 인식 파이프라인을 처음부터 구축했습니다. BMT·데모를 마친 뒤 신규 고객사 스마트테이블 프로젝트로 확장됐습니다.

PoC폐쇄망 3주 · 현장 상주

전달BMT · 데모 완료

확장치팅 탐지 1차 완성본

상세 보기접기

좌표계 변환 — 사선 카메라 영상을 탑뷰 좌표계로 변환. 단일 Homography는 곡면형 베팅 영역에서 왜곡이 발생해, keypoint 기반 영역 검출 후 Piecewise Affine 변환으로 보정했습니다.
칩 카운팅 — 이진화·원통 펼치기·line 검출 등 영상처리 접근을 비교했습니다.
도구 제작 — segmentation 라벨링 툴을 자체 제작하고 [소량 라벨링 → 학습 → 추론 → 재라벨링] 사이클을 운영했습니다.
확장 — 신규 고객사 스마트테이블 프로젝트에 치팅 탐지 알고리즘(LATE 베팅, 칩 이동·회수, 카드 치팅 등) 1차 완성본을 전달하고, 현장 CCTV 설치 기반 데이터 수집을 설계하고 있습니다.

History

프로젝트 이력

(주)시선에이아이 AI Lab · 2022.03 ~ 재직 중

Stack

기술

Detection

YOLO v8 ~ v26
RT-DETR, DEIM, RF-DETR
YOLO-Pose / Keypoint
Grounding DINO, SAM2
Python, PyTorch

경량화 · 배포

OpenVINO INT8 (NNCF)
RKNN (Rockchip 엣지)
ONNX
모델 구조 수정 (layer pruning)
Docker, Linux

데이터

대규모 수집·검수 설계
Auto Labeling 파이프라인
Grounded-SAM2
크롤링 자동화
합성 데이터 설계

Papers & Certification

논문 · 자격

SCI · IEEE

Assessing Visual Fatigue of Welding Mask Wearers Through Infrared Imaging-Based Ocular Feature Analysis 적외선 동공 영상 기반 시각 피로도 정량 평가

SCI · MDPI

Improving the Performance of Frequently Used Korean Handwritten Character Verification through Multimodal Fusion ResNet 기반 Siamese Network 필적 유사도 학습

자격

정보처리기사 2023.09 · 한국산업인력공단