인터랙티브 스타게이저 카메라 로봇이 교육 비디오 촬영을 도와줍니다.
Tech

인터랙티브 스타게이저 카메라 로봇이 교육 비디오 촬영을 도와줍니다.

University of Toronto의 컴퓨터 과학자 그룹은 사용 방법 비디오를 더 쉽게 촬영할 수 있기를 원합니다.

연구원 팀 스타게이저 모드대학 교사 및 기타 콘텐츠 제작자가 신체적 기술을 보여주는 매력적인 교육 비디오를 만드는 데 도움이 되는 대화형 카메라 봇입니다.

사진작가를 이용할 수 없는 사람들을 위해 Stargazer는 동적 비디오 자습서를 캡처하고 스틸 카메라 작업의 한계를 해결할 수 있습니다.

“로봇은 인간을 돕기 위해 존재하지만 인간을 대체하지는 않습니다.”라고 수석 연구원은 설명합니다. 이 지아난예술 과학 대학의 텍사스 대학교 컴퓨터 과학과 박사 과정 학생.

“교관은 가르치기 위해 여기에 있습니다. 로봇의 역할은 총격, 즉 무거운 물건 들기를 돕는 것입니다.”

stargazer의 작업은 파일에 요약되어 있습니다. 출판된 논문 올해 저는 인간과 컴퓨터의 상호 작용에 관한 선도적인 국제 회의인 컴퓨팅 시스템의 인간 요인에 대한 컴퓨팅 기계 협회 회의에서 발표했습니다.

Lee의 공동 저자에는 동료 U of T 회원이 포함됩니다. 동적 그래픽 프로젝트 DGP 연구실: 박사 후 연구원 마우리시오 수자및 박사 과정 학생 카르티크 마하데반 그리고 브라이언 왕라빈 발라크리슈난 부교수 그로스만 별세; 그리고 부교수이기도 하다. 앤서니 탕 (매스 커뮤니케이션 대학과의 임명을 통해); 최근 University of Texas Mass Communication을 졸업한 Paula Akemi Oyawie와 Nicole Yu; 그리고 3년차 컴퓨터 공학 학생 Angela Yang.

연구 참가자는 Stargazer 대화형 카메라 로봇을 사용하여 스케이트보드 유지 관리 방법 비디오를 녹화합니다(사진 첨부).

Stargazer는 관심 영역을 독립적으로 추적하여 비디오의 주제와 함께 움직일 수 있는 7개의 독립 액추에이터가 있는 로봇 팔에 단일 카메라를 사용합니다. 시스템의 카메라 동작은 프로토타입의 센서에서 감지한 신체 움직임, 제스처 및 음성과 같은 트레이너의 미묘한 신호를 기반으로 수정할 수 있습니다.

교사의 음성은 무선 마이크로 녹음되어 음성 인식 소프트웨어인 Microsoft Azure Speech-to-Text로 전송됩니다. 그런 다음 입력된 텍스트는 사용자 지정 프롬프트와 함께 GPT-3 프로그램으로 전송됩니다. GPT-3 프로그램은 카메라에 대한 마스터의 의도를 정의하는 대규모 언어 모델입니다(예: 표준 각도 대 높은 각도, 일반 프레임 대 타이트한 프레임).

연구원들은 이러한 카메라 제어 명령이 교사가 청중의 주의를 끌기 위해 자연스럽게 사용하는 신호이며 지침 전달을 방해하지 않는다고 말합니다.

예를 들어 교사는 Stargazer가 튜토리얼 중에 사용할 각 도구를 가리키고 카메라가 주위를 패닝하도록 하여 보기를 조정하도록 할 수 있습니다. 교사는 또한 시청자에게 “위에서 A가 B에 어떻게 배치되어 있는지 보면 Stargazer는 관객에게 더 나은 시야를 제공하기 위해 동작을 높은 각도로 프레이밍하여 응답합니다”라고 말할 수 있습니다.

상호 작용 어휘를 설계할 때 팀은 미묘한 단서를 식별하고 교사가 학생이나 청중에게 말하는 동안 로봇과 별도로 의사 소통할 필요가 없도록 하고 싶었습니다.

“목표는 로봇이 코치가 원하는 샷을 실시간으로 이해하도록 하는 것입니다.”라고 Lee는 말합니다. “이 목표의 중요한 부분은 이 어휘가 눈에 거슬리지 않기를 원한다는 것입니다. 튜토리얼에 맞는 것처럼 느껴져야 합니다.”

Stargazer의 기능은 6명의 강사가 참여한 연구에서 테스트되었으며 각 강사는 역동적인 교육 비디오를 만드는 고유한 기술을 가르쳤습니다.

그들은 로봇을 사용하여 스케이트보드 유지 관리부터 대화형 조각품 만들기, 가상 현실 헤드셋 설정에 이르기까지 다양한 주제에 대한 물리적 작업을 보여주는 비디오를 제작할 수 있었으며, 로봇에 의존하여 피사체를 추적하고 카메라의 구도를 잡고 카메라의 각도를 조정할 수 있었습니다. 설정합니다.

각 참가자는 교육 세션을 받았고 두 라운드 내에 수업을 마쳤습니다. 연구원들은 모든 참가자들이 로봇 카메라가 제공하는 것보다 추가적인 조작 없이 비디오를 만들 수 있었고 제작된 비디오의 품질에 만족했다고 보고했습니다.

Stargazer의 카메라 위치 범위는 탁상 활동에 충분하지만 팀은 드론 카메라와 바퀴 달린 로봇의 잠재력을 탐색하여 다양한 각도에서 더 큰 환경에서 이미징 임무를 지원하는 데 관심이 있습니다.

그들은 또한 일부 연구 참가자가 카메라에 물체를 주거나 보여줌으로써 물체의 샷을 유발하려고 시도했음을 발견했는데, 이는 Stargazer가 현재 인식하는 단서 중 하나가 아닙니다. 향후 연구에서는 교사의 시선, 자세, 말투에서 동시 단서를 결합하여 다양하고 미묘한 의도를 감지하는 방법을 살펴볼 수 있으며, Lee는 팀이 진행하고 있는 장기 목표라고 말합니다.

팀은 전문 영화 제작진에 접근할 수 없는 사람들을 위한 옵션으로 Stargazer를 제공하지만, 연구원들은 로봇 카메라 프로토타입이 값비싼 로봇 팔과 외부 센서 배열을 기반으로 한다는 것을 인정합니다. 그러나 Lee는 Stargazer 개념이 반드시 값비싼 기술에만 국한되는 것은 아니라고 지적합니다.

“소비자 수준에서도 로봇 이미징 장비에 대한 실제 시장이 있다고 생각합니다. Stargazer는 이 영역을 확장하고 있지만 좀 더 자율성과 상호 작용성을 기대하고 있습니다. 현실적으로 소비자가 사용할 수 있습니다.” 그는 말한다.

Lee는 팀이 더 큰 인간-로봇 협업을 위해 Stargazer가 제공하는 잠재적인 가능성에 대해 흥분하고 있다고 말했습니다.

“로봇이 인간과 함께 작업하려면 로봇이 인간을 더 잘 이해하는 것이 핵심입니다. 여기에서 우리는 인간의 일반적인 의사소통 행동인 이 어휘를 살펴보고 있습니다.”라고 그는 설명합니다.

“우리는 다른 사람들이 인간이 의사소통하는 방식을 이해하도록 영감을 주기를 희망합니다. 로봇이 어떻게 이를 파악하고 행동을 돕는 것과 같은 적절한 반응을 보일 수 있는지.”

LEAVE A RESPONSE

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다

"트위터를 통해 다양한 주제에 대한 생각을 나누는 아 동율은 정신적으로 깊이 있습니다. 그는 맥주를 사랑하지만, 때로는 그의 무관심함이 돋보입니다. 그러나 그의 음악에 대한 열정은 누구보다도 진실합니다."