로봇 등 피지컬 AI의 추론 지연을 줄이기 위해 개별 연산뿐 아니라 전체 실행 흐름을 함께 최적화하는 연구가 공개됐다.
17일 공개된 FlashRT-PAI 논문은 짧은 연산을 반복 호출하고 중간 데이터를 옮기는 과정의 부담에 주목했다. 연산 통합과 실행 간 상태 재사용 등을 결합한 추론 엔진을 제안했다.
연구진은 RTX 5090에서 6개 정책 모델, Jetson AGX Thor에서 4개 정책 모델을 평가했다고 밝혔다. 동일한 16비트 정밀도 조건에서는 공식 컴파일 실행 경로 대비 1.3~3.7배 빠른 결과를 보고했다.
정밀도 축소까지 결합한 실험은 다른 비교 조건이므로 동일 정밀도 결과와 구분해야 한다. 연구진은 코드가 공개돼 있으며 일부 커널이 LeRobot 프레임워크에 반영됐다고 설명했다.
이는 공개 논문의 실험 결과로 모든 로봇과 하드웨어에서 같은 속도 향상이 확인된 것은 아니다. 실제 적용에는 대상 모델의 정확도와 지연시간을 함께 검증해야 한다.