작년 이맘때, 소셜 미디어는 MyHeritage의 바이럴 “Deep Nostalgia”로 타오르고 있었습니다. AI의 마법은 우리의 오래된 가족 사진에 충격적인 사실감을 불어넣었습니다. 글쎄, 당신이 그것에 겁을 먹는다면 내가 방금 호출한 새로운 기능이 나타날 때까지 기다리십시오. 라이브스토리.
이번에는 온라인 계보 회사의 기술이 친척의 오래된 사진을 기반으로 10-20 클립의 작은 클립을 만드는 것이 아닙니다. 대신 LiveStory는 립싱크 오디오와 오래된 사진의 슬라이드쇼로 완성된 조상의 전 생애에 대한 이야기를 담은 더 긴 애니메이션 비디오를 제작하여 한 걸음 더 나아갑니다.
이전과 마찬가지로 친척의 얼굴 이미지를 애니메이션으로 만드는 AI 기반 “재연” 기술을 사용하여 작동합니다. 그러나 이번에는 MyHeritage 가계도에서 자동으로 생성되거나 사용자가 수동으로 입력한 음성도 제공됩니다. 그런 다음 TTS(텍스트 음성 변환) 기술이 이야기를 생생하게 전달하고 음성이 친척의 움직이는 화자와 동기화됩니다.
어떻게 작동합니까?
작년의 “Deep Nostalgia” 기술과 마찬가지로 LiveStory의 애니메이션은 “드라이버 비디오”의 대규모 컬렉션을 사용하여 생성됩니다. 서비스의 알고리즘이 업로드한 이미지를 분석하면 그 두드러진 특징 또는 얼굴 “특징”이 운전자의 비디오에 매핑되어 움직임의 인상을 만듭니다. 알고리즘은 누락된 세부 정보도 채웁니다. 합성 음성 생성기는 또한 그 사람의 프로필에 있는 정보를 기반으로 내레이션을 생성하거나 처음부터 자신만의 스크립트를 생성할 수 있습니다. 자신의 오디오 녹음을 업로드할 수도 있습니다.
MyHeritage와 이 기술을 만들고 라이선스를 부여하는 이스라엘 회사인 D-ID는 최종 결과가 완전히 사용자 정의 가능하므로 가족이나 소셜 미디어에 보내기 전에 나레이션, 이미지 및 오디오를 변경할 수 있는 기능을 제공한다고 말합니다. 또한 LiveStory는 다양한 남성 및 여성 음성 옵션과 함께 31개 언어, 수십 가지 방언, 수백 가지 음성 문자를 지원하는 것으로 보입니다.
그 모든 것에도 불구하고, 기술이 약간 오싹하고 우리를 불쾌한 계곡으로 더 큰 여정으로 데려간다는 것은 의심의 여지가 없습니다. 일부의 경우 오디오를 추가하는 데 너무 많은 시간이 소요될 수 있으며 MyHeritage는 기술이 남용되지 않도록 몇 가지 면책 조항을 추가해야 했습니다. LiveStory는 “죽은 사람, 일반적으로 조상의 사진에만 사용하도록 되어 있다”며 “살아 있는 사람의 사진에 허락 없이 사용해서는 안 된다”고 명시되어 있습니다.
그러나 소셜 미디어의 많은 사람들은 작년의 “깊은 향수” 기법이 이전에 실제 생활에서 본 적이 없는 관계에 대한 위안이 되거나 심지어 따뜻해지는 방법이라는 것을 발견했습니다. 이 기능과 마찬가지로 LiveStory는 현재 데스크톱 및 모바일 웹에서 무료로 사용할 수 있습니다. 마이헤리티지 사이트) 및 MyHeritage 모바일 앱에서. 무료로 여러 LiveStories를 만들 수 있지만 그 후에는 구독료를 지불해야 합니다(연간 $119 / £89).
분석: 불쾌한 계곡으로의 과감한 움직임
작년의 “Deep Nostalgia”와 마찬가지로 MyHeritage의 새로운 “LiveStory” 기능에 대해 약간 찢어졌습니다. 기술이 훌륭하다는 데는 의심의 여지가 없으며 사진, 가계도 및 일부 텍스트에서 90초 분량의 비디오 바이오를 자동으로 생성할 수 있다는 사실이 인상적이고 끔찍합니다.
그러나 우리는 기술의 이전 입소문 성공(1억 개의 애니메이션으로 이어짐)의 상당 부분이 정확성 때문이라고 생각하지 않을 수 없습니다. 딥 노스탤지어가 만들어낸 움직이는 얼굴은 가끔 고개를 갸웃거리거나 기울이기도 하지만 그랬다. 이 제약은 기술의 한계를 가리면서 환상을 만드는 데 일조했다.
사운드를 추가하는 것은 논리적인 단계이며, 의심할 여지 없이 크리프 요인에서 오한을 느끼지 않는 사람들에게 인기 있는 도구임이 증명될 것입니다. 그러나 우리가 지금까지 본 예에서 억양은 때때로 자동화되고 사운드가 원본에서 샘플링되지 않는다는 사실로 인해 다소 인공적입니다.
현재 LiveStory는 (개인적인 관계보다는) 역사적 인물에 생명을 불어넣는 기능이 방문객과 어린이에게 더 매력적인 역사를 만드는 유용한 방법이 될 수 있는 박물관이나 교육에 더 적합한 것으로 보입니다.
물론 D-ID(기술 제작자)가 이러한 일이 발생하지 않도록 몇 가지 장벽을 마련했지만 오용 가능성도 있습니다. 모든 사용자는 LiveStory를 만들기 전에 살아있는 사람에게 사용하지 않겠다는 약속을 포함하여 약관에 동의해야 합니다. 모욕적이거나 명예 훼손적이거나 허위 정보가 있는지 확인하기 위한 텍스트 수정 알고리즘도 탑재되어 있지만 후자가 어떻게 확인되는지는 분명하지 않습니다.
언제 작년 단독 인터뷰에서 D-ID와 이야기를 나눴습니다.우리는 그녀의 AI 기술이 사악한 방식으로 사용되지 않도록 하려는 그녀의 노력에 깊은 인상을 받았지만, 우리가 온라인에서 보는 대부분의 시각 미디어가 “5-10년 이내에” 합성될 것이라는 그녀의 예측에 약간 짜증이 나기도 합니다. LiveStory는 분명히 한 걸음 더 나아간 것입니다. 이 트랙은 움직임이 아닐지라도 작년에 “깊은 향수”를 불러일으켰던 바이럴 스매쉬입니다.
“Ah Dong-yul, who shares his thoughts on various topics through Twitter, is mentally deep. He loves beer, but sometimes his aloofness stands out. However, his passion for music is more genuine than anyone else’s.”