Sofern es sich um sensible Unternehmensdaten oder personenbezogene Daten Dritter handelt, ist die Nutzung von ChatGPT nicht ohne Weiteres möglich. Der Chipkonzern NVIDIA hat nun eine Demoversion eines privaten und personalisierten Chatbots vorgestellt, der es den Nutzern ermöglichen soll, lokal gespeicherte Daten auf ihren eigenen Computern zu nutzen. Die Technologie, mit der Bezeichnung "Chat with RTX" soll den Verbrauchern die Möglichkeit bieten, Open-Source-KI-Modelle wie Mistral oder Llama2 von Meta Platforms in Verbindung mit ihren eigenen Dateien und Dokumenten zu verwenden. Nachdem ein Nutzer das Programm auf eine txt-, pdf- oder Microsoft Word-Datei gelenkt hat, können dem Chatbot Fragen zu den enthaltenen Informationen gestellt werden.

Im Demo-Video der Anwendung werden beispielsweise Fragen wie "Wann beginnt mein neuer Job?" gestellt, auf die der Chatbot mit Verweis auf die entsprechende Datei antwortet. Auch zu zuvor ausgewählten Youtube-Videos sollen Anfragen gestellt werden können.

"Chat with RTX" soll eine schnelle und sichere Verfügbarkeit der Antworten ermöglichen

Die Software "Chat with RTX" laufe lokal auf Windows-RTX-PCs und Workstations, gibt NVIDIA an. Das ermögliche eine schnelle Verfügbarkeit der bereitgestellten Ergebnisse, während die Daten des Nutzers sicher auf seinem Gerät bleiben würden. Im Gegensatz zu Cloud-basierten LLM-Diensten ermögliche die Software den Anwendern die Verarbeitung sensibler Daten auf ihrem lokalen PC, ohne diese mit Dritten teilen zu müssen oder eine Internetverbindung zu benötigen.

Aktuelle Version eher auf Informationsabfragen ausgerichtet

Barron's hat das Tool auf einer NVIDIA RTX 4090 GPU getestet und kann bestätigen, dass es die Antworten auf Anfragen nahezu unmittelbar und präzise erhalten hätten. NVIDIA gibt an, dass die aktuelle Version der Software gut für Informationsabfragen geeignet sei, aber weniger für Fragen, die Schlussfolgerungen über den gesamten Datensatz von Dateien erfordern würden. Die Leistung des Chatbots verbessere sich zudem, sofern er mit mehr Dateiinhalten zu einem bestimmten Thema gefüttert werde, so der Chipkonzern.

Um die Anwendung zu nutzen, werden Windows 10 oder Windows 11 sowie eine NVIDIA GeForce RTX 30 Series GPU oder 40 Series GPU mit mindestens 8 Gigabyte Videospeicher benötigt.