← ALL FIELDS

FIELD / 02

SED

Sound Event Detection

소리 속 사건을 읽다.

소리의 종류와 발생 구간을 학습하는 모델부터 학습 데이터를 만드는 도구까지 다뤘습니다. DCASE Task 4 재현, EAT 오디오 표현 모델 학습, AST·BEATs 기반 데이터 검수로 연구와 데이터 작업을 연결했습니다.

Event recognitionOnset & offsetTemporal patterns
CONCEPTUAL AUDIO VIEW
TEMPORAL FIELDEVENT + DURATIONTIMEFIND THE MOMENT THAT MATTERS
SEDWhen sound happens

FIG. 02소리의 종류와 발생 시점을 찾습니다.

Research
DCASE Task 4 모델 재현
Representation
EAT 사전학습·미세조정
Data quality
발생 구간 라벨링·음원 검수

EXPERIENCE / FROM RESEARCH TO PRACTICE

직접 풀어 온 문제들.

기간은 관련 업무가 기록된 시점 기준입니다.

CASE / 01재현 실험·사전학습 완료

DCASE Task 4 모델 재현

라벨 형태와 평가 기준을 이해하고, 공개 SED 모델을 실제로 학습할 수 있는 환경을 구성했습니다.

기록 기간2024.10–2025.01

DCASE Task 4CRNNBEATsTeacher–StudentHDF5

해결할 문제

Weak·Strong·Soft 라벨을 다루는 학습 구조와 여러 데이터셋, 공개 코드의 의존성을 함께 정리해야 했습니다.

수행한 작업

  • DCASE Task 4 선행연구와 CRNN·FBCRNN, Teacher–Student 학습 구조를 분석했습니다.
  • DESED·MAESTRO Real 데이터를 전처리하고 누락 음원 제거와 BEATs 임베딩 저장을 구현했습니다.
  • 학습 코드와 패키지 의존성 문제를 해결하고 Strong label 실험 환경을 구성했습니다.

결과와 적용 범위

DCASE 2024 Baseline CRNN의 300 epoch 사전학습을 완료하고, 후속 표현 모델 실험에 사용할 데이터·학습 환경을 마련했습니다.

CASE / 02학습·출력 검증 완료

EAT 오디오 표현 모델 사전학습

공개 EAT 코드를 수정해 보유 데이터로 직접 사전학습하고, 소리 이벤트 분류로 미세조정했습니다.

기록 기간2025.01–2025.03

EATAudioSetPre-trainingFine-tuningMixed precision

해결할 문제

공개 코드의 데이터 형식과 실행 환경을 맞추고, 소규모 동작 검증에서 대규모 AudioSet 학습으로 확장해야 했습니다.

수행한 작업

  • 데이터 구조·학습 스크립트·설정을 수정해 사전학습과 미세조정 흐름을 구성했습니다.
  • 10종 이벤트 데이터로 학습하고 입력 오디오별 이벤트 발생 확률 출력을 확인했습니다.
  • AudioSet 수집·전처리·라벨 변환과 누락 데이터 정리를 수행하고 FP16·FP32 학습을 비교했습니다.

결과와 적용 범위

직접 사전학습부터 이벤트 확률 출력까지 검증하고 AudioSet 학습을 완료했습니다. BEATs와의 최종 성능 비교는 후속 과제로 남았습니다.

CASE / 03도구 개발·검수 적용

발생 구간 자동 라벨링과 음원 품질 검수

소리의 시작·끝 라벨을 자동으로 만들고, 검토가 필요한 음원을 선별하는 도구를 개발했습니다.

기록 기간2026.06–2026.10

ASTBEATsOnset / OffsetAudio QAMultiprocessing

해결할 문제

많은 음원의 발생 구간을 일관되게 표시하면서, 클래스가 맞지 않거나 신뢰도가 낮은 데이터를 찾아야 했습니다.

수행한 작업

  • 에너지·RMS 기반 onset/offset 추출과 여러 파일의 병렬 처리를 구현했습니다.
  • 사전학습 AST·BEATs의 예측 불일치와 낮은 확률을 이용해 검수 대상을 선별했습니다.
  • 녹음 도구의 WAV·CSV 저장 흐름에 라벨링을 연결하고, 자동 결과를 수동 검수할 수 있도록 지원했습니다.

결과와 적용 범위

자동 라벨 생성과 검수 대상 선별을 실제 데이터 작업에 적용했습니다. 자동 라벨링과 수동 검수를 연결하는 처리 흐름을 구성했습니다.

EXPLORE MORE

SELD어떤 소리가, 언제, 어디에서 발생했는지.ASD평소와 다른 소리에서 이상 징후를 찾습니다.