SPARK pipeline4 · 2026-10-21 첫 미팅
SBS 아카이브에서 고른 양손 작업 영상을 영상 AI에게 보여준 뒤, 그 AI로 가상 로봇을 가르쳐 차이가 나는지 확인하는 실험입니다. 오늘은 지금까지 해 본 것과 막힌 곳을 공유하고, 함께 할 거리를 찾고 싶습니다.
한 줄 비유
요리 영상을 많이 본 사람은, 처음 칼을 잡아도 더 빨리 배울까?
영상만 보고는 칼을 쥘 수 없습니다. 그래서 “보는 것”은 SBS 영상, “해보는 것”은 시뮬레이션 로봇에서 배웁니다.
01 · 아이디어
영상에서는 세상이 움직이는 방식을, 시뮬레이터에서는 로봇을 움직이는 법을 배웁니다.
뉴스·교양 원본에서 카메라가 고정되고 두 손이 계속 보이는 작업 장면만 자동으로 골라냅니다.
869개 클립 확보NVIDIA의 영상 예측 AI(Cosmos Predict 2B)에 SBS 영상을 추가로 학습시킵니다. 다음 장면을 더 잘 상상하게 만드는 단계입니다.
작은 실험 완료그 AI를 출발점으로 가상 로봇에게 양손 작업을 연습시키고, 처음 보는 상황에서 몇 번 성공하는지 셉니다.
로봇 과제 만드는 중02 · 워크플로우
파란색은 SBS 영상, 초록색은 시뮬레이션 로봇 쪽이며 마지막에 만나 비교됩니다.
03 · 로봇 과제 (3D)
SBS에 흔한 ‘한 손으로 잡고 칼질하기’를 단단한 블록 위 도구 따라가기로 단순화했습니다.
왼쪽 3D는 개념을 보여주는 단순 모형입니다. 실제 실험은 NVIDIA Isaac Sim 6.0.1과 Franka Panda 로봇 모델로 클라우드 GPU에서 돌립니다.
04 · 최신 결과
가장 최근 실험(2026-10-20) 기준입니다.
차이는 아직 작고(학습 영상 8개), 같은 시험 영상 5개 기준입니다. 로봇 성능과는 별개입니다.
처음(v2)엔 도구가 346N으로 짓누르고 완주 0%였습니다. 통과하면 로봇 학습을 시작합니다.
05 · 남은 과제
06 · 합성 증강 아이디어
손과 물체의 움직임은 지키고, 나머지를 바꾸거나 새로 만드는 다섯 가지 방법입니다.
손·물체 영역은 마스크로 지키고 주변만 생성형 AI로 다시 그립니다.
예: SAM 2 마스크 + 영상 편집 확산모델, NVIDIA Cosmos Transfer(깊이·윤곽 조건 변환), ROSIE·GenAug류 SKAI 연결: 조명·재질 물리 시뮬레이션 노하우로 변형 범위 설계블록을 컵·냄비·공구로 교체. 크기와 손이 닿는 위치가 맞는 3D 물체가 필요합니다.
예: 물체 자세 추정(FoundationPose) + 3D 자산 교체 후 재렌더·합성 SKAI 연결: 실물 스캔 3D 자산 라이브러리한 대로 찍은 영상에서 옆·위·1인칭 시점을 새로 만들어 멀티뷰 데이터로 확장합니다.
예: 카메라 제어 영상 생성(NVIDIA GEN3C, ReCamMaster), 4D 장면 복원 후 재촬영 SKAI 연결: 디지털 트윈 카메라 배치·렌더링손·물체 궤적을 3D로 복원해 디지털 트윈에서 재현합니다. 조명·물체·카메라를 무한히 바꾸고, 깊이·마스크·손 자세 정답이 저절로 붙습니다.
예: 손·물체 4D 복원 → Omniverse 재현 → 도메인 랜덤화 렌더 SKAI 연결: 핵심 역량(디지털 트윈·자동 라벨 합성데이터) 그대로SBS로 후학습한 영상 AI가 첫 장면과 문장만으로 새 양손 작업 영상을 만듭니다. 걸러내는 품질 검사가 필수입니다.
예: Cosmos Predict 후학습 생성, DreamGen(영상 생성 → 행동 추정) SKAI 연결: 생성 결과의 물리 타당성 검수주의: 손과 물체의 접촉이 어긋난 합성은 오히려 해가 됩니다. 원본→파생 계보와 권리 범위를 함께 기록합니다.
07 · 또 하나의 합성 방법: 리타게팅
영상 속 손목 경로를 로봇 손끝 경로로 옮겨, 로봇이 직접 해본 연습 데이터를 만듭니다.
사람 손목에 실을 매달아 로봇 손을 끌고 다니는 것과 같습니다. 손가락 모양은 버리고 “어디로 움직였나”와 “쥐었나 폈나”만 옮깁니다.
SBS는 카메라 한 대라 거리를 도마 같은 기준 물체로 추정하고, 힘은 영상에 안 보여 시뮬레이터에서 맞춥니다.
08 · 두 가지 쓰임새
영상 AI의 예측력을 키우는 데이터와 로봇의 행동을 가르치는 데이터는 필요한 것이 다릅니다.
새롭고 물리적으로 맞는 움직임이 들어 있어야 가치가 있습니다. 겉모습만 바꾸면 배울 게 적고, AI가 만든 영상을 다시 AI에 먹이면 오히려 나빠질 수 있습니다.
행동 정답이 반드시 필요합니다. 그래서 리타게팅으로 동작을 옮기고, 시뮬레이터에서 성공한 것만 씁니다. 해외에서 효과가 가장 많이 보고된 쓰임새입니다.
공개 연구 결과를 바탕으로 한 SBS의 정성 판단입니다(측정값 아님). ⑤는 예측력용으로는 순환 학습 위험이 있습니다.
09 · 협업 포인트
실제 사람이 일하는 방송 영상과 실물을 3D로 옮기고 합성하는 기술이 만나는 지점입니다.
시뮬레이터에 넣을 수 있는 실물 기반 3D 자산. 전북 R&D 계획의 “Real-to-Sim 3D 에셋 150쌍”과 바로 연결됩니다.
위 ①~⑤ 중 한두 가지로 원본 몇 개를 늘려 보는 작은 시도. 특히 ④ 3D로 옮겨 다시 찍기.
실제 영상과 합성 변형본이 짝을 이루는 데이터. 영상과 시뮬레이션의 차이를 줄이는 기준점이 됩니다.
단단한 블록 대신 실제 재료와 도구로. SBS 장면과 닮은 가상 작업장을 만듭니다.