# Docker+WasmEdge

## Source Text:

Keynote: New Advances for Cross-platform AI Applications in Docker - Michael Yuan, Maintainer, CNCF WasmEdge and CEO, Second State & Justin Cormack, Chief Technology Officer, Docker, Inc

We will discuss new ways to support cross-platform GPU / AI workloads in container ecosystems, specifically with Docker’s support for the WebGPU standard. WebGPU allows container applications to access the host GPUs and other AI accelerators through a portable API. There is no more need to build Docker images for GPU vendors and their proprietary drivers. We will demonstrate how the WasmEdge project builds on the WebGPU standard to create portable LLM inference applications in Rust, and have those apps seamless managed and orchestrated by Docker.

Community impact:

A major advantage of open-source LLMs is to run them on each user’s private computers. Those include personal laptops, AI PCs, private or hybrid or edge cloud servers, edge devices, or even mobile devices. However, the heterogeneous hardware and software accelerators on those private computers or devices also pose great challenges for today’s AI developers. For example, today, an LLM app requires separate Docker images for all combinations of Nvidia CUDA, CUDNN, AMD ROCm, or Intel AVX etc. Each of those platform-dependent Docker images need to be developed, tested, and deployed separately.

WebGPU and Wasm provide an opportunity to abstract away and unify these underlying AI hardware and software stacks. With Docker support, they allow developers to create truly portable AI applications, and allow ops to manage those applications using their familiar Docker and Kubernetes tools.

## Spanish Translation by Gemma-2-9B:

Discurso principal: Nuevos avances para aplicaciones de IA multiplataforma en Docker - Michael Yuan, Mantenedor, CNCF WasmEdge y CEO, Second State & Justin Cormack, Director de Tecnología, Docker, Inc.

Hablaremos sobre nuevas formas de admitir cargas de trabajo de GPU / IA multiplataforma en los ecosistemas de contenedores, específicamente con el soporte de Docker para el estándar WebGPU. WebGPU permite que las aplicaciones de contenedor accedan a las GPUs del host y otros aceleradores de IA a través de una API portátil. Ya no es necesario construir imágenes de Docker para los proveedores de GPU y sus controladores propietarios. Demostrararemos cómo el proyecto WasmEdge se basa en el estándar WebGPU para crear aplicaciones de inferencia LLM portátiles en Rust, y cómo esas aplicaciones se gestionan y orquesta de forma fluida por Docker.

Impacto en la comunidad:

Una gran ventaja de los modelos LLM de código abierto es ejecutarlos en los ordenadores personales de cada usuario. Estos incluyen computadoras portátiles personales, ordenadores de IA, servidores cloud privados o híbridos o dispositivos edge, dispositivos edge o incluso dispositivos móviles. Sin embargo, el hardware heterogéneo y los aceleradores de software en esas computadoras o dispositivos privados también plantean grandes desafíos para los desarrolladores de IA actuales. Por ejemplo, hoy en día, una aplicación LLM requiere imágenes de Docker separadas para todas las combinaciones de Nvidia CUDA, CUDNN, AMD ROCm o Intel AVX, etc. Cada una de esas imágenes de Docker dependientes de la plataforma debe desarrollarse, probarse y desplegar por separado.

WebGPU y Wasm ofrecen la oportunidad de abstraer y unificar estas pilas de hardware y software de IA subyacentes. Con el soporte de Docker, permiten a los desarrolladores crear aplicaciones de IA verdaderamente portátiles y permiten que los operadores gestionen esas aplicaciones utilizando sus herramientas Docker y Kubernetes.