엔비디아(CEO 젠슨 황)가 사용자 콘텐츠로 챗봇을 개인화할 수 있는 ‘챗 위드 RTX’를 윈도우 PC에서 제공한다고 밝혔다.

챗 위드 RTX는 사용자가 자신만의 콘텐츠로 챗봇을 개인화할 수 있는 기술 데모다. 윈도우 10, 11과 최소 8GB의 VRAM을 갖춘 지포스 RTX30 시리즈 이상 그래픽카드를 장착한 PC에서 엔비디아 GPU 드라이버를 최신 버전으로 업데이트하면 무료로 다운로드받아 사용할 수 있다.

챗 위드 RTX는 검색 증강생성(RAG), 엔비디아 텐서RT-LLM 소프트웨어, 엔비디아 RTX 가속화 등을 사용해 로컬 지포스 기반 윈도우 PC에 생성형 AI 기능을 제공한다. 사용자는 PC의 로컬 파일을 데이터셋으로 ‘미스트랄(Mistral)’, ‘라마 2(Llama 2)’ 등 오픈소스 LLM(대규모 언어 모델)에 연결해 상황에 맞는 답변을 얻을 수 있다.

사용자들은 메모나 저장해둔 콘텐츠를 검색하는 대신 간단한 검색어를 입력해 챗봇을 이용할 수 있다. 예를 들어 ‘라스베가스에 있을 때 내 친구가 추천한 레스토랑이 어디야?’라고 질문하면, 챗 위드 RTX가 사용자가 지정한 로컬 파일을 스캔해 상황에 맞는 답변을 제공한다.

이 도구는 텍스트(.txt), pdf, 워드(.doc/.docx), .xml 등 다양한 파일 형식을 지원한다. 애플리케이션에서 해당 형식의 파일들을 포함한 폴더를 가리키면 몇 초 만에 파일들이 라이브러리에 로드된다. 또한, 유튜브 영상이나 재생목록 정보도 포함할 수 있다. 사용자가 챗 위드 RTX에 동영상 URL을 추가하면, 좋아하는 인플루언서의 동영상을 기반으로 여행지 추천을 요청하거나, 교육자료를 기반으로 튜토리얼과 사용법 등을 안내받을 수 있다.

챗 위드 RTX는 윈도우 RTX PC와 워크스테이션에서 로컬로 실행돼 결과가 빠르게 제공되고, 사용자 데이터는 기기에 그대로 유지된다. 클라우드 기반 LLM 서비스 대신 챗 위드 RTX를 사용하면 민감한 데이터를 제 3자와 공유하거나 인터넷에 연결하지 않고도 처리할 수 있다.