LEGGO / PORTFOLIO

AUDIO AI ENGINEERING

Audio AI,
end to end.

이상세부전전자 · SR LAB

소리를 이해하는 모델, 현장에서 동작하는 시스템.

음향 AI·딥러닝을 연구하고 구현합니다. 데이터 수집과 정제, 모델 학습과 경량화, 실시간 추론과 엣지 장치 연동까지 하나의 시스템으로 연결해 왔습니다.

Contact

01 — EXPERTISE

처음부터 끝까지,
하나의 흐름으로.

모델 성능과 데이터 품질,
실행 환경을 함께 다룹니다.

MY PRACTICE

Collect.
Understand.
Make it work.

연구 모델의 재현에 더해, 반복해서 실험하고 실제 입력을 처리할 수 있는 개발 환경까지 만듭니다.

  1. 01

    데이터 수집Collect

    현장 오디오 녹음과 RTK 위치 기록을 연결하고, 학습·평가에 필요한 데이터를 준비했습니다.

  2. 02

    전처리Prepare

    오디오 특징 추출과 정규화, 이벤트 라벨링, 사전학습 모델을 활용한 음원 검수를 다뤘습니다.

  3. 03

    모델 개발Develop

    DCASE 모델 재현부터 VAE/HVAE, EAT, BiSELD·ResMamba 계열 구현까지 진행했습니다.

  4. 04

    모델 튜닝Refine

    Optuna와 반복 실험으로 구조·입력·학습 조건을 비교하고, 분산학습과 실험 기록을 정비했습니다.

  5. 05

    경량화Optimize

    실시간 처리 제약을 고려해 모델 구조를 조정하고 PyTorch·ONNX·TensorRT 실행을 비교했습니다.

  6. 06

    배포Deploy

    모델을 실시간 오디오 처리 서비스와 Jetson 환경에 연결하고, PT 제어 연동을 시험했습니다.

  7. 07

    운영Operate

    AI 서버와 NAS, GitLab CI/CD, MLflow를 구성·관리하며 개발과 실험을 지속할 기반을 만들었습니다.

02 — SELECTED WORK

소리에서 시작한 세 가지 질문.

어디에서, 어떤 소리가, 평소와 어떻게 다른지.
각 분야에서 수행한 작업을 정리했습니다.

SELD01 / FIELD

소리의 방향을 실시간 시스템으로

SELD 모델을 재현·개선하고, 오디오 입력부터 위치 추정과 엣지 장치 연동까지 구현했습니다.

  • BiSELD PyTorch 이식 · ResMamba 모델 개발
  • 실시간 추론 · RTK 정답 데이터 연계
  • Jetson · TensorRT · PT 제어 연동 시험
PyTorchFastAPITensorRT
SELD 경험 자세히 보기
SED02 / FIELD

소리의 종류와 시간을 학습하다

DCASE Task 4 연구를 출발점으로 모델 재현과 대규모 오디오 학습, 이벤트 라벨링과 음원 검수를 이어 갔습니다.

  • DCASE Task 4 · CRNN / FBCRNN 재현
  • EAT 사전학습 · AudioSet 학습 환경
  • AST / BEATs 기반 라벨·품질 검수
EATAudioSetBEATs
SED 경험 자세히 보기
ASD03 / FIELD

작은 소리의 차이를 판단 근거로

Rub&Buzz의 소리 분류와 정상 데이터 기반 이상음 탐지를 다루고, 실제 검사 조건과 데이터의 한계를 분석했습니다.

  • Kairos-A01 코드 인수 · 리팩터링 · 이관
  • VAE / HVAE · Few-shot 이상음 실험
  • TWS · 차량용 Horn 적용 가능성 검토
VAE / HVAEOptunaONNX
ASD 경험 자세히 보기

03 — ENGINEERING FOUNDATION

연구를 지탱하는 개발 환경.

서버·데이터·코드·실험 이력을 연결해
반복 가능한 개발 흐름을 구성했습니다.

COMPUTE & DATA

학습이 계속 돌아가는 기반

4대 서버·16 GPU 분산학습 환경을 구축하고 동시 사용을 검증했습니다. 대규모 오디오 처리 과정의 메모리·스토리지·통신 병목을 다뤘습니다.

  • Docker Swarm·Ray 기반 학습 환경과 PyTorch DDP 구성
  • 데이터 샤딩·지연 로드·로컬 접근으로 메모리 초과와 복제 지연 해결
  • All-Reduce 기반 분산 평가 지표 집계, NAS 저장·공유 환경 구성
DockerRayDDPNAS

EXPERIMENTS & DELIVERY

실험에서 코드 이관까지

GitLab의 브랜치·태그·릴리스 관리와 CI/CD를 구성하고, 별도 MLflow 서버를 모델 학습 코드에 연동했습니다.

  • GitLab Runner로 학습 실행과 테스트·릴리스 자동화 흐름 검증
  • GitLab 서버 이전·업그레이드와 프로젝트 관리 가이드 작성
  • BiSELD 학습의 MLflow 연동, Kairos 코드 이관과 ResMambaSELD 릴리스
GitLabCI/CDMLflow

04 — CONTACT

Let's make
sound matter.