Artwork

Contenuto fornito da Kubernetes Bytes, Ryan Wallner, and Bhavin Shah. Tutti i contenuti dei podcast, inclusi episodi, grafica e descrizioni dei podcast, vengono caricati e forniti direttamente da Kubernetes Bytes, Ryan Wallner, and Bhavin Shah o dal partner della piattaforma podcast. Se ritieni che qualcuno stia utilizzando la tua opera protetta da copyright senza la tua autorizzazione, puoi seguire la procedura descritta qui https://it.player.fm/legal.
Player FM - App Podcast
Vai offline con l'app Player FM !

Deploy and fine-tune LLM models on Kubernetes using KAITO

44:17
 
Condividi
 

Manage episode 433011321 series 3332465
Contenuto fornito da Kubernetes Bytes, Ryan Wallner, and Bhavin Shah. Tutti i contenuti dei podcast, inclusi episodi, grafica e descrizioni dei podcast, vengono caricati e forniti direttamente da Kubernetes Bytes, Ryan Wallner, and Bhavin Shah o dal partner della piattaforma podcast. Se ritieni che qualcuno stia utilizzando la tua opera protetta da copyright senza la tua autorizzazione, puoi seguire la procedura descritta qui https://it.player.fm/legal.

In this episode of the Kubernetes Bytes podcast, Bhavin sits down with Sachi Desai, Product Manager and Paul Yu, Sr. Cloud Advocate at Microsoft to talk about the open source KAITO project. KAITO is the Kubernetes AI Toolchain Operator that enables AKS users to deploy open source LLM models on their Kubernetes clusters. They discuss how KAITO helps with running AI-enabled applications alongside the LLM models, how it helps users bring their own LLM models and run them as containers, and how KAITO helps them fine-tune open source LLMs on their Kubernetes clusters.

Check out our website at https://kubernetesbytes.com/

Cloud Native News:

  • https://azure.github.io/AKS/2024/07/30/azure-container-storage-ga
  • https://github.blog/news-insights/product-news/introducing-github-models/

Show links:

  1. Fei Guo - https://www.linkedin.com/in/fei-guo-a48319a/
  2. Ishaan Sehgal - https://www.linkedin.com/in/ishaan-sehgal/

Timestamps:

  • 00:02:15 Cloud Native News
  • 00:05:34 Interview with Sachi and Paul
  • 00:42:08 Key takeaways
  continue reading

88 episodi

Artwork
iconCondividi
 
Manage episode 433011321 series 3332465
Contenuto fornito da Kubernetes Bytes, Ryan Wallner, and Bhavin Shah. Tutti i contenuti dei podcast, inclusi episodi, grafica e descrizioni dei podcast, vengono caricati e forniti direttamente da Kubernetes Bytes, Ryan Wallner, and Bhavin Shah o dal partner della piattaforma podcast. Se ritieni che qualcuno stia utilizzando la tua opera protetta da copyright senza la tua autorizzazione, puoi seguire la procedura descritta qui https://it.player.fm/legal.

In this episode of the Kubernetes Bytes podcast, Bhavin sits down with Sachi Desai, Product Manager and Paul Yu, Sr. Cloud Advocate at Microsoft to talk about the open source KAITO project. KAITO is the Kubernetes AI Toolchain Operator that enables AKS users to deploy open source LLM models on their Kubernetes clusters. They discuss how KAITO helps with running AI-enabled applications alongside the LLM models, how it helps users bring their own LLM models and run them as containers, and how KAITO helps them fine-tune open source LLMs on their Kubernetes clusters.

Check out our website at https://kubernetesbytes.com/

Cloud Native News:

  • https://azure.github.io/AKS/2024/07/30/azure-container-storage-ga
  • https://github.blog/news-insights/product-news/introducing-github-models/

Show links:

  1. Fei Guo - https://www.linkedin.com/in/fei-guo-a48319a/
  2. Ishaan Sehgal - https://www.linkedin.com/in/ishaan-sehgal/

Timestamps:

  • 00:02:15 Cloud Native News
  • 00:05:34 Interview with Sachi and Paul
  • 00:42:08 Key takeaways
  continue reading

88 episodi

Tutti gli episodi

×
 
Loading …

Benvenuto su Player FM!

Player FM ricerca sul web podcast di alta qualità che tu possa goderti adesso. È la migliore app di podcast e funziona su Android, iPhone e web. Registrati per sincronizzare le iscrizioni su tutti i tuoi dispositivi.

 

Guida rapida

Ascolta questo spettacolo mentre esplori
Riproduci