TwinTrack: Tracking unseen, highly dynamic objects in contact-rich scenes

Wan𝕏in Jin (@jinwanxin)

2025-06-02 | ❤️ 270 | 🔁 38

---

🚀 Tracking unseen, highly dynamic objects in contact-rich scenes? Occlusion, blur, and impacts make it tough! Introducing 🔥TwinTrack🔥: a real-time (>20 Hz) tracking framework fusing Real2Sim + Sim2Real, bridging vision and contact physics for robust tracking! GPU-accelerated!

🌐Project page: https://irislab.tech/TwinTrack-webpage/ Preprint: https://arxiv.org/abs/2505.22882

DigitalTwin Sim2Real Real2Sim VisualTracking DexterousManipulation Robotics ComputerVision EmbodiedAI

미디어

---

요약

가려짐·모션블러·충돌이 많은 접촉 환경에서 미지의 고속 물체를 20Hz+로 추적하는 TwinTrack을 소개합니다. 이미지처럼 과자 박스에 3D 축을 정렬해 포즈를 안정적으로 추정하며, Real2Sim+Sim2Real과 접촉 물리를 결합해 강건성을 높였습니다.

Tags

domain-robotics domain-simulation domain-dev-tools