← ALL FIELDS

FIELD / 01

SELD

Sound Event Localization & Detection

소리에 위치를 더하다.

소리의 종류와 방향을 추정하는 모델을 만들고, 그 결과가 실제 장비에서 동작하도록 연결했습니다. 학습 코드의 재현성과 처리 효율을 다듬는 일부터 위치 정답을 얻는 수집 도구, 실시간 추론과 엣지 제어까지 경험을 쌓았습니다.

Sound eventsSpatial audioDirection of arrival
CONCEPTUAL AUDIO VIEW
SOURCEZXYSPATIAL FIELDDIRECTION + EVENTLISTEN IN EVERY DIRECTION
SELDWhere sound happens

FIG. 01어떤 소리가, 언제, 어디에서 발생했는지.

모델과 학습
PyTorch · DDP · ResMamba
데이터와 검증
RTK 위치 정답 · 오디오 동기화
실시간과 엣지
FastAPI · TensorRT · Jetson

EXPERIENCE / FROM RESEARCH TO PRACTICE

직접 풀어 온 문제들.

기간은 관련 업무가 기록된 시점 기준입니다.

CASE / 01모델 개발·검증

재현 가능한 학습에서 경량 모델까지

DCASE Baseline 재현과 BiSELD 코드 이식을 바탕으로, ResMamba 계열 모델의 학습·튜닝·경량화를 이어갔습니다.

기록 기간2025.04–2026.09

PyTorchDDPResMambaOptunaMLflow

해결할 문제

서로 다른 실행 환경과 학습 코드를 정리하고, 인식 성능과 계산 비용을 함께 비교할 수 있는 실험 체계가 필요했습니다.

수행한 작업

  • DCASE SELD Baseline을 재현하고, BiSELD의 TensorFlow/Keras 코드를 PyTorch로 이식했습니다. 설정·로깅을 모듈화하고 다중 GPU 학습을 DDP로 전환했습니다.
  • Conformer·BiMamba·CST-Former 구조를 구현·비교하고, Optuna 튜닝과 Depthwise convolution을 적용해 성능과 연산량의 균형을 검토했습니다.
  • HDF5 데이터 로딩, AMP, GPU 전처리와 모델 내부 정규화를 적용했습니다. MLflow 실험 추적을 연결하고 학습·추론 경로를 실행 환경에 맞게 정리했습니다.

결과와 적용 범위

ResMambaSELD 릴리즈와 BiSELD 학습 코드 개선을 완료했습니다. CPU·GPU 환경에서 모델별 정확도, 메모리 사용량과 처리 시간을 비교하고 실시간 추론으로 이어지는 실행 경로를 검증했습니다.

CASE / 02PoC 구현·통합

마이크 입력을 실시간 결과로 연결하기

오디오 수집, 버퍼 처리, 특징 추출, 모델 추론과 웹 시각화를 하나의 흐름으로 연결했습니다.

기록 기간2025.08–2026.10

Streaming audioFastAPIWebSocketRabbitMQDocker

해결할 문제

지속적으로 들어오는 오디오를 처리하면서 이벤트와 방향을 화면에 전달하고, 서버와 엣지의 서로 다른 자원 조건에 대응해야 했습니다.

수행한 작업

  • 실시간 마이크 입력과 WAV 검증 경로를 구성하고, 멀티스레드 작업 분리와 리샘플링 개선으로 오디오 처리 지연을 줄였습니다.
  • FastAPI·WebSocket으로 추론 결과를 전달하고, RabbitMQ 기반 메시지 처리와 비동기 실행 구조를 구성했습니다.
  • 이벤트 타임라인과 방향 시각화, 연결 복구와 상태 표시를 구현했습니다. 서버 분산 구조와 마이크·모델·웹을 함께 실행하는 단일 엣지 구조를 구성했습니다.

결과와 적용 범위

GPU 모델을 실시간 PoC 서비스에 통합하고 엣지 장비에서도 입력부터 화면 표시까지 동작을 확인했습니다. 대시보드와 API 구조를 개선해 장비의 자원 사용을 줄였습니다.

CASE / 03수집 도구 구현·연동 검증

녹음과 위치 정답을 같은 시간축에 놓기

야외 오디오 평가를 위해 RTK-GPS 위치 정보와 녹음을 연결하는 도구를 구성했습니다.

기록 기간2026.05–2026.07

RTK-GPSGround truthAudio recordingUTC syncFastAPI

해결할 문제

모델이 추정한 방향을 평가하려면 음원과 수신 장비의 상대 위치를 계산하고, 해당 위치를 오디오 시점에 맞춰 기록해야 했습니다.

수행한 작업

  • RTK 장비 연동 협의와 현장 통신 시험에 참여하고, 기준국·이동국 구성의 정확도와 통신 상태를 검증했습니다.
  • 위치 정보 수신과 상대 방위각·고도각·거리 계산을 구현하고, FastAPI 대시보드에서 현장 상태를 확인하도록 구성했습니다.
  • ASIO 녹음과 WAV·CSV 저장 도구를 구현했습니다. UTC 기준으로 위치 기록과 오디오를 연결하는 정답 라벨 흐름을 설계했습니다.

결과와 적용 범위

녹음과 위치 정보를 함께 확인·저장하는 수집 도구를 구현하고, 야외 가시성과 현장 위치 확인 방식을 개선했습니다. 위치 정답을 오디오 평가에 연결할 수 있는 수집·검증 기반을 마련했습니다.

CASE / 04엣지 이식·통합 시험

엣지 추론에서 방향 제어까지

Jetson에서 SELD 모델을 실행하고, 추론 방향을 PT 장비의 제어 명령으로 연결했습니다.

기록 기간2026.06–2026.10

JetsonTensorRTONNXCUDA GraphPT control

해결할 문제

제한된 엣지 자원에서 오디오 추론을 유지하고, 모델의 방향 출력과 실제 장비의 좌표·동작 상태를 맞춰야 했습니다.

수행한 작업

  • Jetson 실행 환경과 컨테이너를 구성하고, 마이크 입력과 모델을 이식했습니다. ARM 환경의 의존성·빌드 문제를 해결했습니다.
  • PyTorch·ONNX·TensorRT의 실시간 모사 성능을 비교하고, CUDA Graph와 CPU·GPU 특징 추출 옵션을 적용했습니다.
  • RS-485·pyserial 기반 PT 제어 인터페이스와 좌표 변환을 구현했습니다. 현재 위치와 추론 방향을 결합하고, 이동 중 명령 처리와 복귀 동작을 통합했습니다.

결과와 적용 범위

Jetson에서 마이크·모델·웹을 함께 실행하고, 테스트용 모델을 이용한 PT 연동 시험을 완료했습니다. 방향 출력의 흔들림을 줄이는 필터를 추가했으며, 해당 필터의 후속 검증은 진행 과제로 남아 있습니다.

EXPLORE MORE

SED소리의 종류와 발생 시점을 찾습니다.ASD평소와 다른 소리에서 이상 징후를 찾습니다.