02.12.2024 • 7 Min.

Wie hoste ich ein Large Language Modell in 5 Minuten mit Kubernetes mit Data Science Deep Dive. Im Engineering Kiosk Adventskalender 2024 sprechen befreundete Podcaster⋅innen und wir selbst, Andy und Wolfi, jeden Tag kurz & knackig innerhalb von wenigen Minuten über ein interessantes Tech-Thema. Unsere aktuellen Werbepartner findest du auf https://engineeringkiosk.dev/partners Das schnelle Feedback zur Episode: ? (top) ? (geht so) LinksData Science Deep Dive Podcast: https://inwt.podbean.com/In Numbers We Trust: https://www.inwt-statistics.de/Kubernetes: https://kubernetes.io/Hugging Face: https://huggingface.co/Databricks: https://www.databricks.com/deTabby: https://github.com/TabbyML/tabbyGradio: https://www.gradio.app/Ollama: https://ollama.com/vLLM: https://github.com/vllm-project/vllmNVIDIA device plugin for Kubernetes: https://github.com/NVIDIA/k8s-device-plugin#quick-start Sprungmarken(00:00:00) Wie hoste ich ein Large Language Modell in 5 Minuten mit Kubernetes? HostsWolfgang Gassler (https://mastodon.social/@woolf)Andy Grunwald (https://andygrunwald.com/) FeedbackEngKiosk Community: https://engineeringkiosk.dev/join-discord Buy us a coffee: https://engineeringkiosk.dev/kaffeeEmail: stehtisch@engineeringkiosk.devLinkedIn: https://www.linkedin.com/company/engineering-kiosk/Mastodon: https://podcasts.social/@engkioskBluesky: https://bsky.app/profile/engineeringkiosk.bsky.socialTwitter: https://twitter.com/EngKiosk