본 포스팅은 소정의 원고료를 지원받아 작성되었습니다.
.jpg?type=w966)
요즘 로봇 영상을 보면 예전과 확실히 다릅니다. 단순히 정해진 동작을 반복하는 기계가 아니라, 주변 상황을 보고 움직이는 장면이 자주 보입니다. 스마트폰으로 휴머노이드 로봇이나 물류 로봇 영상을 보다 보면 이제 로봇 기술이 꽤 가까이 온 것처럼 느껴집니다.
다만 여기서 먼저 봐야 할 부분은 로봇의 겉모습이 아닙니다. 모터, 센서, 카메라 같은 하드웨어는 계속 좋아지고 있고, 일정 수준 이상의 부품은 시장에서 구할 수 있습니다. 실제 차이는 그 장비를 어떤 상황에서 어떻게 움직이게 하느냐에서 생깁니다. 로봇은 움직임보다 판단이 어렵습니다 피지컬 AI는 화면 안에서 답을 말하는 AI와 다릅니다. 실제 공간에서 움직이고, 물건을 집고, 충돌을 피하고, 사람이나 장비와 함께 일해야 합니다. 그래서 텍스트나 이미지 데이터만 많이 모은다고 바로 해결되지 않습니다.
예를 들어 로봇 팔이 상자를 옮긴다고 해보겠습니다. 상자의 무게가 다르고, 표면이 미끄럽고, 조명이 바뀌고, 카메라 렌즈에 먼지가 묻을 수도 있습니다. 사람에게는 사소한 차이지만 로봇에게는 작업 결과가 달라지는 변수가 됩니다.
이런 상황을 모두 실제 공장에서 반복 실험하기는 어렵습니다. 장비를 멈춰야 하고, 사람이 붙어야 하며, 실패 상황을 일부러 만들어야 합니다. 비용도 크지만 안전 문제도 있습니다. 그래서 피지컬 AI 분야에서는 현실을 대신할 학습 환경이 중요해지고 있습니다. 로봇 학습을 생각할 때 중요한 점은 같은 동작을 많이 반복하는 것만으로 충분하지 않다는 것입니다. 물체의 위치가 조금 바뀌고, 카메라 각도가 달라지고, 조명이 흔들릴 때도 안정적으로 판단해야 합니다. 그래서 실제 장비를 그대로 멈춰 세우기보다, 가상 환경에서 다양한 조건을 먼저 학습시키는 방식이 점점 중요해지고 있습니다. 현실 데이터만으로는 채우기 어렵습니다 챗GPT 같은 생성형 AI는 인터넷에 쌓인 문서와 코드, 이미지 데이터를 학습하며 발전했습니다. 하지만 로봇이 실제 공간에서 겪는 촉각, 마찰, 충돌, 조명 변화 같은 경험은 인터넷에 그대로 올라와 있지 않습니다. 특히 산업 현장에서는 정상 상황보다 예외 상황이 더 중요할 때가 많습니다. 컨베이어 위 물체가 조금 틀어져 있거나, 표면 반사가 강하거나, 카메라가 일부를 놓치는 상황처럼 말입니다. 이런 실패 장면을 많이 학습해야 현장 적응력이 올라갑니다.
문제는 실패 데이터를 현실에서 모으는 일이 쉽지 않다는 점입니다. 비싼 장비를 일부러 부딪히게 하거나, 불량 상황을 계속 만들 수는 없습니다. 피지컬 AI가 커질수록 합성데이터가 주목받는 이유도 여기에 있습니다.
결국 피지컬 AI에서 데이터는 한 장의 이미지나 짧은 영상으로 끝나지 않습니다. 카메라와 센서가 본 장면, 객체 위치, 거리, 조명 조건, 실패 가능성, 라벨링 정보가 함께 묶여야 학습 재료로 쓸 수 있습니다. 합성데이터가 필요한 이유도 여기에 있습니다. 사람이 모든 장면을 하나씩 표시하지 않아도, 가상 환경에서는 조건과 정답 데이터를 함께 만들 수 있습니다. 합성데이터는 가상에서 만든 학습 재료입니다 합성데이터는 실제로 촬영하거나 수집한 데이터가 아니라, 컴퓨터 시뮬레이션이나 생성 기술로 만든 학습용 데이터입니다. 단순한 가짜 이미지가 아니라, AI가 배워야 하는 상황을 의도적으로 구성한다는 점이 핵심입니다. 디지털트윈을 활용하면 실제 공장이나 작업 환경을 가상 공간에 옮길 수 있습니다. 그 안에서 조명, 카메라 위치, 물체 재질, 마찰, 거리, 각도 같은 조건을 바꿔가며 다양한 장면을 만들 수 있습니다.
현실에서는 한 번 촬영하기 어려운 장면도 가상 환경에서는 반복해서 만들 수 있습니다. 밝은 작업장, 어두운 작업장, 먼지가 있는 카메라, 반사가 심한 표면, 불규칙한 물체 배치까지 다양하게 넣을 수 있습니다. 이렇게 만들어진 합성데이터는 피지컬 AI가 여러 상황을 미리 겪어보는 재료가 됩니다. 디지털트윈이 데이터 생산 방식을 바꿉니다 디지털트윈의 장점은 단순히 보기 좋은 3D 화면을 만드는 데 있지 않습니다. 현실의 구조와 물리적 조건을 데이터로 다룰 수 있게 만든다는 데 있습니다. 로봇이나 비전 AI가 무엇을 보고, 어떻게 판단해야 하는지 실험할 수 있는 공간이 생기는 것입니다.
스카이인텔리전스는 3D와 AI 기술을 기반으로 산업 현장의 구조, 객체 간 상호작용, 물리 기반 시뮬레이션을 연결하는 합성데이터 인프라에 집중하고 있습니다. 공식 사이트에서도 피지컬 AI를 위한 디지털트윈과 합성데이터 방향을 강조하고 있습니다. 이런 인프라는 단순히 보기 좋은 시각화가 아니라, 현장을 데이터로 다시 구성하는 작업에 가깝습니다. 공장 구조, 작업 동선, 장비 위치, 카메라 시야, 조명 조건을 하나의 환경 안에서 조정할 수 있어야 합니다. 그래야 로봇이나 비전 AI가 실제 현장에 들어가기 전에 여러 경우의 수를 미리 경험할 수 있습니다. 이런 접근은 제조, 물류, 로봇, 스마트팩토리 분야와 잘 맞습니다. 현장마다 조명과 구조가 다르고, 장비 배치도 다르기 때문입니다. 같은 로봇이라도 어디에 투입되느냐에 따라 필요한 데이터가 달라질 수 있습니다. 앞으로는 데이터 공급력이 경쟁력이 됩니다 AI 모델 성능이 좋아질수록 다음 질문은 더 분명해집니다. 좋은 데이터를 어떻게 계속 확보할 것인가입니다. 특히 현실에서 움직이는 피지컬 AI는 단순히 모델만 키운다고 해결되지 않습니다. 현장을 이해하는 데이터가 함께 있어야 합니다.
NVIDIA도 로봇 개발을 위한 시뮬레이션과 합성데이터 생성 흐름을 계속 강조하고 있습니다. 로봇이 실제 환경으로 나가기 전에 가상 환경에서 충분히 학습하고, 다시 현실에서 확인하는 방식이 중요해지고 있다는 뜻입니다. 스카이인텔리전스 같은 국내 기업이 이 흐름에 맞춰 합성데이터와 디지털트윈 인프라를 준비하는 이유도 여기에 있습니다. 앞으로 로봇AI와 스마트팩토리를 볼 때는 로봇 자체만 볼 것이 아니라, 그 로봇이 배울 수 있는 데이터 환경까지 함께 봐야 합니다.
피지컬 AI 시대에는 로봇을 얼마나 잘 만드는지도 중요하지만, 그 로봇이 배울 수 있는 상황을 얼마나 정교하게 준비하느냐가 더 큰 차이를 만들 수 있습니다. 합성데이터와 디지털트윈은 그 준비 과정을 현실적인 비용 안에서 넓혀주는 도구입니다. 그래서 앞으로 산업 AI를 볼 때는 모델 성능뿐 아니라 데이터 생산 방식까지 함께 봐야 합니다.
