Nvidia Rilis Aplikasi Chat Baru dengan Teknologi RTX untuk Penggunaan Offline

Petrus C. Vianney | 19 Februari 2024, 17:36 WIB

AKURAT.CO - Nvidia telah menghadirkan aplikasi chatbot baru yang menarik untuk pengguna GPU mereka, terutama bagi mereka yang memiliki seri RTX 30 atau yang lebih baru.

Aplikasi ini, yang disebut 'Chat dengan RTX' dapat membuat pengguna untuk menjalankan model bahasa secara lokal tanpa perlu terhubung ke internet. Keunggulan utamanya adalah kemampuan untuk beroperasi secara offline dan menyesuaikan respons sesuai kebutuhan pengguna.

Salah satu fitur unggulan dari Chat dengan RTX adalah kemampuannya untuk memproses data lokal pengguna dalam berbagai format file, termasuk dokumen teks, PDF, Word dan XML, serta video YouTube.

Ini memungkinkan pengguna untuk memasukkan file atau video tertentu dan bertanya kepada chatbot tentang topik yang relevan, dengan chatbot memberikan jawaban berdasarkan konten dari file atau video yang dimasukkan.

Dikutip dari Tomshardware.com, Jumat (16/02/2024), meskipun memiliki keunggulan dalam kontrol pengguna dan kemampuan offline, aplikasi ini memiliki beberapa kelemahan, seperti persyaratan sistem yang tinggi dan ukuran unduhan yang besar.

Pengguna perlu memiliki GPU seri RTX 30 atau yang lebih baru dengan VRAM minimal 8 GB dan sistem operasi Windows 10 atau 11. Selain itu, aplikasi ini tidak dapat mencari jawaban di internet, yang bisa menjadi kelebihan atau kekurangan tergantung pada kebutuhan pengguna.

Chat dengan RTX menggunakan model bahasa sumber terbuka Mistral atau LIama 2 yang dikombinasikan dengan Retrieval-Augmented Generation (RAG), ini membuat respons yang disesuaikan dengan data pengguna. Nvidia menggunakan perangkat lunak TensorRT-LLM untuk mengoptimalkan aplikasi agar dapat memanfaatkan GPU seri RTX 30 atau RTX 40 dengan lebih baik.

Meskipun aplikasi ini menawarkan potensi yang menarik, pengguna perlu memperhatikan bahwa ini masih dalam tahap demonstrasi, sehingga respons mungkin tidak selalu sempurna.

Selain itu, pemilik GPU seri RTX 20 tidak dapat menggunakan aplikasi ini. Namun, Nvidia telah menyatakan bahwa kemungkinan aplikasi akan tersedia untuk kartu seri 20 di masa depan.