소리의 방향을 실시간 시스템으로
SELD 모델을 재현·개선하고, 오디오 입력부터 위치 추정과 엣지 장치 연동까지 구현했습니다.
- BiSELD PyTorch 이식 · ResMamba 모델 개발
- 실시간 추론 · RTK 정답 데이터 연계
- Jetson · TensorRT · PT 제어 연동 시험
LEGGO / PORTFOLIO
AUDIO AI ENGINEERING음향 AI·딥러닝을 연구하고 구현합니다. 데이터 수집과 정제, 모델 학습과 경량화, 실시간 추론과 엣지 장치 연동까지 하나의 시스템으로 연결해 왔습니다.
01 — EXPERTISE
모델 성능과 데이터 품질,
실행 환경을 함께 다룹니다.
Collect.
Understand.
Make it work.
연구 모델의 재현에 더해, 반복해서 실험하고 실제 입력을 처리할 수 있는 개발 환경까지 만듭니다.
현장 오디오 녹음과 RTK 위치 기록을 연결하고, 학습·평가에 필요한 데이터를 준비했습니다.
오디오 특징 추출과 정규화, 이벤트 라벨링, 사전학습 모델을 활용한 음원 검수를 다뤘습니다.
DCASE 모델 재현부터 VAE/HVAE, EAT, BiSELD·ResMamba 계열 구현까지 진행했습니다.
Optuna와 반복 실험으로 구조·입력·학습 조건을 비교하고, 분산학습과 실험 기록을 정비했습니다.
실시간 처리 제약을 고려해 모델 구조를 조정하고 PyTorch·ONNX·TensorRT 실행을 비교했습니다.
모델을 실시간 오디오 처리 서비스와 Jetson 환경에 연결하고, PT 제어 연동을 시험했습니다.
AI 서버와 NAS, GitLab CI/CD, MLflow를 구성·관리하며 개발과 실험을 지속할 기반을 만들었습니다.
02 — SELECTED WORK
어디에서, 어떤 소리가, 평소와 어떻게 다른지.
각 분야에서 수행한 작업을 정리했습니다.
SELD 모델을 재현·개선하고, 오디오 입력부터 위치 추정과 엣지 장치 연동까지 구현했습니다.
DCASE Task 4 연구를 출발점으로 모델 재현과 대규모 오디오 학습, 이벤트 라벨링과 음원 검수를 이어 갔습니다.
Rub&Buzz의 소리 분류와 정상 데이터 기반 이상음 탐지를 다루고, 실제 검사 조건과 데이터의 한계를 분석했습니다.
03 — ENGINEERING FOUNDATION
서버·데이터·코드·실험 이력을 연결해
반복 가능한 개발 흐름을 구성했습니다.
COMPUTE & DATA
4대 서버·16 GPU 분산학습 환경을 구축하고 동시 사용을 검증했습니다. 대규모 오디오 처리 과정의 메모리·스토리지·통신 병목을 다뤘습니다.
EXPERIMENTS & DELIVERY
GitLab의 브랜치·태그·릴리스 관리와 CI/CD를 구성하고, 별도 MLflow 서버를 모델 학습 코드에 연동했습니다.