Elon Musk가 인기 있는 텍스트-이미지 생성기 DALL-E 뒤에 설립한 AI 스타트업 OpenAI, 화요일에 발표 텍스트 프롬프트에서 직접 3D 포인터 구름을 생성할 수 있는 최신 POINT-E 이미지 제작 기계를 출시했습니다. Google의 DreamFusion과 같은 기존 시스템은 일반적으로 이미지를 생성하는 데 몇 시간(및 GPU)이 필요한 반면 Point-E는 하나의 GPU와 1~2분만 필요합니다.
3D 모델링은 다양한 산업 및 애플리케이션에서 사용됩니다. 최근 블록버스터, 비디오 게임, VR, AR 및 NASA를 위한 CGI 효과 달 분화구 매핑 임무구글 유적지 보존 프로젝트그리고 메타버스를 위한 메타비전 그것은 모두 3D 모델링 기능에 달려 있습니다. 사실적인 3D 이미지를 만드는 것은 여전히 리소스와 시간이 많이 소요되는 프로세스이지만 개체 생성을 자동화하기 위한 NVIDIA의 작업 그리고 에픽게임즈 RealityCapture 모바일 앱iOS 휴대폰을 가진 사람이라면 누구나 실제 물체를 3D 이미지로 스캔할 수 있습니다.
OpenAI의 DALL-E 2 및 Craiyon의 DeepAI, Prisma Lab의 Lensa 또는 HuggingFace의 Stable Diffusion과 같은 텍스트-이미지 시스템은 인기와 명성을 얻었으며 최근 몇 년 동안 부끄러움. Text-to-3D는 이 연구의 파생물입니다. 유사한 시스템과 달리 Point E는 (텍스트-이미지) 쌍의 큰 세트를 활용하여 다양하고 복잡한 프롬프트를 따를 수 있는 반면 그림-3D 모델은 (이미지, 3D)의 더 작은 데이터 세트에서 훈련됩니다. ) 쌍”이라고 팀은 썼습니다. Alex Nicol이 이끄는 OpenAI 연구 Point E: 복잡한 벡터로부터 3D 포인트 클라우드를 생성하는 시스템, 지난 주에 출판되었습니다. “텍스트 프롬프트에서 3D 개체를 생성하려면 먼저 텍스트 대 이미지 모델을 사용하여 이미지를 샘플링한 다음 샘플을 테스트한 이미지로 조건이 지정된 3D 개체를 샘플링합니다. 이 두 단계는 초 수이며 최적화 절차가 필요하지 않습니다. 비싸다 “.
예를 들어 “The cat is eat a burrito”와 같은 문자 메시지를 입력하려는 경우 Point-E는 먼저 부리토를 먹는 고양이의 합성 3D 렌더링을 생성합니다. 이렇게 생성된 이미지는 일련의 확산 모델을 통해 실행되어 원시 이미지에 대한 3D RGB 포인트 클라우드를 생성합니다. 먼저 거친 1,024 포인트 클라우드 모델을 생성한 다음 더 미세한 4,096 포인트 클라우드 모델을 생성합니다. “실제로 우리는 이미지가 텍스트의 관련 정보를 포함하고 포인트 클라우드가 텍스트에 명시적으로 위치하지 않는다고 가정합니다.”라고 연구팀은 말합니다.
이러한 각 확산 모델은 “수백만”의 3D 모델에 대해 학습되었으며 모두 표준화된 형식으로 변환되었습니다. 팀은 “이 평가에서 우리의 방법은 최신 기술보다 성능이 좋지 않지만 훨씬 짧은 시간에 샘플을 생성합니다.”라고 인정합니다. 직접 사용해 보고 싶다면 OpenAI에서 오픈 소스 프로젝트 코드를 게시했습니다. 깃허브.
"트위터를 통해 다양한 주제에 대한 생각을 나누는 아 동율은 정신적으로 깊이 있습니다. 그는 맥주를 사랑하지만, 때로는 그의 무관심함이 돋보입니다. 그러나 그의 음악에 대한 열정은 누구보다도 진실합니다."