Nvidia의 Chat with RTX는 컴퓨터에서 로컬로 실행되는 유망한 AI 기반 채팅 프로그램입니다.

엔비디아가 초기 버전을 출시했다. RTX와 채팅 현재 데모 앱을 사용하면 컴퓨터에서 개인 AI 챗봇을 실행할 수 있습니다. YouTube 동영상과 문서를 피드하여 요약을 만들고 자신의 데이터를 기반으로 관련 답변을 얻을 수 있습니다. 모든 것이 PC에서 로컬로 실행되며, 필요한 것은 최소 8GB VRAM을 갖춘 RTX 30 또는 40 시리즈 GPU뿐입니다.

지난 하루 동안 Chat with RTX를 잠깐 테스트했는데, 앱의 가장자리가 약간 거칠기는 하지만 이미 이것이 언론인이나 일련의 데이터를 분석해야 하는 모든 사람을 위한 데이터 연구의 중요한 부분이라는 것을 알 수 있습니다. . 서류.

RTX와의 채팅은 YouTube 동영상을 처리할 수 있으므로 간단히 URL만 입력하면 되며, 특정 언급에 대한 텍스트를 검색하거나 전체 동영상을 요약할 수 있습니다. 나는 이것이 오디오 비디오 파일 검색에 이상적이라는 것을 알았습니다. 특히 Microsoft의 Xbox 전략에 대한 새로운 변화에 대한 소문이 있는 가운데 지난 주 오디오 파일에서 특정 언급을 찾는 데 적합했습니다.

하지만 YouTube 동영상을 검색하는 데는 적합하지 않았습니다. 텍스트 A에서 검색을 시도했습니다. 가장자리 YouTube 동영상과 Chat with RTX는 완전히 다른 동영상의 스크립트를 다운로드했습니다. 이전에 문의한 적도 없었기 때문에 이 초기 데모에는 분명히 버그가 있습니다.

제대로 작동하면 몇 초 안에 동영상에서 참고 자료를 찾을 수 있었습니다. 또한 다음에서 데이터 세트를 만들었습니다. 연방거래위원회(Federal Trade Commission) 대 마이크로소프트(Microsoft) 분석을 위해 RTX와 채팅할 문서입니다. 작년에 법원 사건을 취재할 때 문서를 빠르게 검색하는 것은 종종 번거로웠지만 RTX와의 채팅을 통해 내 컴퓨터에서 거의 즉시 문서를 쿼리할 수 있었습니다.

예를 들어, 챗봇은 평가판에서 공개된 내부 문서를 통해 Microsoft의 전체 Xbox Game Pass 전략을 훌륭하게 요약했습니다.

제공된 상황 정보를 기반으로 Xbox Game Pass는 월별 요금으로 게임 라이브러리에 대한 액세스를 제공하는 게임 콘텐츠 구독 서비스입니다. 이는 플레이어가 어디서나 게임을 플레이할 수 있게 하고 퍼블리셔가 어디에서나 플레이어에게 접근할 수 있는 플랫폼으로 구상되었습니다. 이 서비스는 Project xCloud 및 Xbox 시리즈의 지원을 받습니다. Gaming CSA의 주요 전략 목표는 Xbox Game Pass를 확장하는 것이며, 전 세계적으로 7억 5천만 명의 가입자에 도달할 수 있는 상당한 가입자 기회가 있다고 생각됩니다. 이 서비스는 차별화된 콘텐츠에 대한 필요성, 콘솔 범위를 넘어서는 확장, 제한된 콘텐츠 가용성 등 세 가지 기본 콘텐츠 역학에 직면해 있습니다.

또한 PDF 및 데이터 유효성 검사 데이터를 스캔하는 데에도 이 기능이 유용하다는 것을 알았습니다. Microsoft의 Copilot 시스템은 Word 내에서 PDF 파일을 잘 처리하지 못하지만 Nvidia의 Chat with RTX는 모든 필수 정보를 가져오는 데 아무런 문제가 없었습니다. 응답도 거의 즉각적이며 ChatGPT 또는 클라우드 기반 Copilot 챗봇을 사용할 때 일반적으로 나타나는 지연이 없습니다.

RTX로 채팅할 때 가장 큰 단점은 진심으로 초기 개발자 데모처럼 보입니다. Chat with RTX는 기본적으로 컴퓨터에 웹 서버와 Python 인스턴스를 설치한 다음 Mistral 또는 Llama 2 모델을 활용하여 사용자가 제공하는 데이터를 쿼리합니다. 그런 다음 RTX GPU에서 Nvidia의 Tensor 코어를 사용하여 쿼리를 가속화합니다.

Intel Core i9-14900K 프로세서와 RTX 4090 GPU를 실행하는 내 컴퓨터에 Chat with RTX를 설치하는 데 약 30분 정도 걸렸습니다. 앱 크기는 약 40GB이고 Python 인스턴스는 64GB 중 RAM 약 3GB를 차지합니다. 내 시스템에서 사용 가능합니다. 일단 실행되면 브라우저에서 Chat with RTX에 액세스할 수 있으며, 동시에 명령 프롬프트가 백그라운드에서 실행되어 처리 중인 내용과 오류 코드를 출력합니다.

Nvidia는 이를 모든 RTX 소유자가 즉시 다운로드하여 설치해야 하는 세련된 애플리케이션으로 제시합니다. 소스 속성이 항상 정확하지는 않다는 점을 포함하여 알려진 문제와 제한 사항이 많이 있습니다. 또한 처음에는 Chat with RTX를 사용하여 25,000개의 문서를 색인화하려고 시도했지만 이로 인해 앱이 충돌하는 것처럼 보였고 다시 시작하려면 기본 설정을 지워야 했습니다.

Chat with RTX는 맥락도 기억하지 않으므로 후속 질문은 이전 질문의 맥락에 따라 달라질 수 없습니다. 또한 색인을 요청하는 폴더 내에 JSON 파일을 생성하므로 Windows의 전체 문서 폴더에서 이 파일을 사용하지 않는 것이 좋습니다.

나는 좋은 기술 데모를 좋아하는데, Nvidia는 확실히 그것을 여기에서 전달했습니다. 특히 단지 프로필을 분석하기 위해 Copilot Pro 또는 ChatGPT Plus와 같은 프로그램에 가입하고 싶지 않은 경우 미래에 챗봇 AI가 컴퓨터에서 기본적으로 수행할 수 있는 작업에 대한 약속을 보여줍니다.