Generative KI verändert die bisherige Benutzung von PCs

Künstliche Intelligenz ist in aller Munde und findet Einzug in unseren Alltag. Jeder technische Bereich profitiert angeblich vom dynamischen Fortschritt sei es durch den Einsatz generativer KI oder den datengestützten KI-Agenten. Vor allem kreative Menschen nutzen die vielfältigen Einsatzmöglichkeiten bei Podcasts, der Erzeugung von farbenfrohen und detailreichen Bildern oder generieren beeindruckende Videos mit Hilfe der generativen KI. Diese neuartige Technologie verändert unser Benutzerverhalten und die Art und Weise wie wir in Zukunft mit PCs interagieren werden. Dieser Wandel erfordert neue Schnittstellen und Programmierungen der mittlerweile zahlreichen generativen KI-Modelle. Doch wie können PC-Entwickler und KI-Enthusiasten einen geeigneten Einstieg in diese neue Welt finden?

NIVIDA NIM-Microservices für RTX KI-PCs und Workstations verfügbar

NVIDIA NIM ermöglicht es Entwicklern durch GPU-beschleunigte Inferenz-Microservices die vortrainierten und angepassten KI-Modelle in Clouds und Rechenzentren selbst zu hosten. Dadurch können Websites, Apps, Daten oder Software auf einer eigenen IT-Infrastruktur über einen privaten Webserver betrieben und gewartet werden. NIM-Microservices bieten branchenübliche APIs für die einfache Integration in KI-Anwendungen, Entwicklungsframeworks und Workflows an und optimieren die Reaktionszeiten und den Durchsatz für jede Kombination aus Basismodell und verwendeter GPU. NVIDIA hat nun eine neue Suite dieser NIM-Microservices für seine NVIDIA RTX KI-PCs und Workstations veröffentlicht, damit technologiebegeisterte Nutzer die KI-Entwicklung und das Experimentieren auf dem PC kennenlernen und beschleunigen können. Der Service befindet sich noch in der Betaphase und unterstützt KI-Basismodelle für Sprache, Sprechen, Animation, Inhaltsgenerierung und Bildverarbeitung. Benutzer können den Service ab sofort auf ihren RTX KI-PCs herunterladen und ausführen. 

Entwicklungsgeschwindigkeit erfordert neue Anforderungen an die Kompatibilität

Die größte Herausforderung der KI ist seine rasante Entwicklung des KI-Software-Stack. Täglich werden neue Bibliotheken, Frameworks und Software Development Kits SDKs entwickelt. Im Wochenrhythmus werden neue KI-Basismodelle wie ChatGPT, Llama, Claude, Ernie oder R1 entwickelt. Entwickler erstellen mit diesen Modellen eigene benutzerdatenbasierte Anwendungen, die hohe Leistungsfähigkeiten und ein effektives Ressourcenmanagement auf dem PC erfordern. Die Anzahl der Kombinationsmöglichkeiten wird enorm und eine Inkompatibilität einer Komponente kann ganze Prozesse und Workflows zum Einstürzen bringen.

NIM-Microservice besitzt für Grafikprozessoren optimierte KI-Modelle

An dieser Stelle hilft die neue Suite der NIM-Microservices, die mit den wichtigsten Anwendungen und Tools des Ökosystems kompatibel ist. NIM bietet vorgefertigte, hochmoderne KI-Modelle, die für die Bereitstellung auf NVIDIA-Grafikprozessoren optimiert sind. Der NIM-Microservice ist als Container konzipiert, um beschleunigte Microservices für vortrainierte und benutzerdefinierte KI-Modelle selbst zu hosten. Er basiert auf voroptimierten Inferenz-Engines für NVIDIA-Grafikprozessoren, darunter NVIDIA TensorRT und TensorRT-LLM. NIM enthält die wichtigsten Standard-APIs und stellt eine einheitliche Entwicklungs- und Bereitstellungserfahrung auf allen NVIDIA-Plattformen bereit, von der Cloud und dem Rechenzentrum bis hin zu NVIDIA RTX KI-PCs und Workstations.

GeForce RTX 50-Serie prädestiniert für KI-Enthusiasten

Die neuesten Grafikprozessoren der GeForce RTX 50-Serie unterstützen FP4-Computing und verfügen über einen Videospeicher von bis zu 32 GB VRAM. Dadurch lässt sich die KI-Inferenzleistung auf das Doppelte steigern und größere generative KI-Modelle lokal auf dem Gerät ausführen. Die Grafikprozessoren basieren bereits auf der NVIDIA Blackwell-Architektur. Die NIM-Microservices auf den NVIDIA RTX KI-PCs laufen bereits über die WSL2-Architektur, die durch eine Virtualisierungstechnologie und einen Linux-Kernel neue Funktionen ermöglicht. NVIDIA und Microsoft haben zusammengearbeitet, um CUDA-Beschleunigung für WSL2 zu ermöglichen. So können die NIM-Microservices mit dem Podman-Container-Toolkit und der Laufzeitumgebung auf WSL2 ausgeführt werden. KI-Workloads können überall erstellt, ausgeführt, geteilt und verifiziert werden.

NIM-Microservices beinhaltet eine Vielzahl von KI-Modellen und Tools

Die neue Suite von NIM-Microservices für NVIDIA RTX KI-PCs umfasst bereits Anwendungsfälle wie LLMs, VLMs, Bildgenerierung, Sprache, Einbettungsmodelle für RAG, PDF-Extraktion und Computer Vision. Im Bereich Sprache und logisches Denken sind Modelle wie Deepseek R1, Mistral NeMo oder Metas Llama 3.1 verfügbar. Für die Bildgenerierung wird der Image Generator von Flux bereitgestellt und bei der Sprach- und Übersetzungs-KI können Nutzer auf NVIDIA Riva oder das Maxine Studio Voice zurückgreifen. Auch im Bereich der Retrieval-Augmented Generation RAG wird man mit dem Llama 3.2 Modell bedient, bei dem die Ausgabe und Genauigkeit des Sprachmodells auf Informationen und Wissen außerhalb der Trainingsdatenquelle zurückgreifen kann. Zudem unterstützen die NIM-Microservices Programme wie NV-Clip oder PaddleOCR, welche Deep-Learning-Modelle nutzen, um das Computerverständnis und die Geschwindigkeit bei der Texterkennung zu verbessern. NIM-Microservices ist mühelos mit anderen Anwendungsentwicklungstools und Frameworks wie LangChain, FlowiseAI, Langflow oder CrewAI integrierbar. Workflows, die auf diesen Frameworks basieren, können mit KI-Modellen in NIM verbunden werden und auf die neuesten Technologien in diesem Bereich zurückgreifen.

KI-Blueprints sollen in Kürze für NVIDIA RTX KI-PCs kommen

In naher Zukunft wird NVIDIA seine RTX KI-PCs ebenfalls mit modularen KI-Blueprints erweitern. Diese Vorlagen dienen als Referenzbeispiele mit allem, was man benötigt, einschließlich NIM-Microservices, Beispielcode und Dokumentation, um KI-Workflows zu entwickeln. NVIDIA nennt bereits zwei Beispiele für solche KI-Blueprints. PDF to Podcast kann aus Dokumenten, Texten, Bildern und Tabellen KI-generierte Audioinhalte erzeugen, um sich diese auf Reisen oder vor einem Meeting anhören zu können. Eine 3D-geführte generative KI soll eine neue Art der Bildgenerierung ermöglichen, mit deren Hilfe man Szenenelemente definieren, Kamerawinkel anpassen und Bildqualitäten optimieren kann.