서론

AI로 구현된 Yolo, Whisper, Mini LM과 같은 AI를 유니티에서 사용할 수 있도록 해주는 유니티 공식 패키지(Interface Engine, 구 버전 이름 : Sentice)를 통해 사용할 수 있습니다.

https://www.youtube.com/watch?v=ubVl64iJkfE

특징

• Unity6의 정식 패키지로 제공
• 호환성이 높은 Open Neural Network Exchange (ONNX) 포맷을 사용
• 빠르고 성능이 뛰어난 온디바이스 인퍼런스 엔진을 제공
• 하나의 코드로 다양한 플랫폼 (데스크톱, 콘솔, 모바일, 웹)에 배포 가능
• Burst+Job Systems, Compute Shader, Compute Buffer 사용 가능
• Serialization, Encryption, Quantization 기능 제공
• 다양한 Pre-trained 모델과 C# 샘플 코드 제공 (허깅 페이스)
• Neural Processing Units (NPU) 지원 예정

활용 가능한 모델 예시

https://huggingface.co/unity/models

본론

Unity Inference Engine을 사용하여 객체 인식을 시도해봅니다.

(학습 데이터는 GPU 학습이 현재 어려운 관계로 유니티에서 제공한 학습 데이터를 사용하였습니다.)

Mac m2 pro 유니티 에디터 구동 모습

2025-10-13 13-57-50.mp4