Na rozdíl od Microsoftu, AWS nebo Googlu není Open Source jedna platforma od jednoho výrobce. Je to stavebnice technologií, ze kterých si organizace může vytvořit vlastní AI platformu podle svých požadavků.
Zjednodušeně:
Open-source model → RAG → agentní framework → orchestrace → vlastní infrastruktura → podnikové AI řešení
Základem jsou modely, které lze podle konkrétní licence a způsobu distribuce provozovat s výrazně větší kontrolou nad prostředím než u běžné cloudové AI služby.
Patří sem například rodiny modelů Llama, Mistral nebo Gemma. Organizace si potom může zvolit, zda model poběží v cloudu, privátním cloudu nebo na vlastní infrastruktuře.
To je důležité například v prostředích, kde organizace nechce posílat citlivá data přímo externímu poskytovateli AI. Prakticky může vlastní model sloužit například pro:
Další vrstvou jsou frameworky, které usnadňují vytváření aplikací nad AI modely. Mezi známé příklady patří LangChain a LlamaIndex.
LlamaIndex se výrazně zaměřuje na propojení AI s vlastními daty a znalostními zdroji.
LangChain nabízí širší framework pro vytváření aplikací využívajících jazykové modely, nástroje a další komponenty.
Díky tomu vývojář nemusí všechny integrační mechanismy vytvářet od začátku.
Může například propojit:
model → dokumenty → databázi → API → podnikovou aplikaci
Jakmile má AI nejen odpovídat, ale také plánovat a provádět několik kroků, dostáváme se k agentní architektuře. Jedním z nástrojů pro tuto oblast je LangGraph. Umožňuje vytvářet workflow, ve kterých má agent definovaný stav a jednotlivé kroky procesu.
Agent pak může například:
To už je výrazně odlišné od klasického chatbota.
Tohle je důležité. Open Source není synonymem pro on-premise AI. Stejný open-source model může organizace:
Open Source tedy především přináší možnost volby architektury. A právě to může pomoci omezit závislost na jednom dodavateli.
Větší svoboda znamená také větší odpovědnost. U služby typu Microsoft Copilot získává organizace velkou část platformy jako hotovou službu. U vlastní open-source architektury musí někdo řešit například:
infrastrukturu → GPU → dostupnost → aktualizace → identity → oprávnění → monitoring → logování → zálohování → bezpečnost → governance
A samozřejmě také samotné modely a jejich kvalitu.Open-source řešení proto nemusí být automaticky levnější. Licenční náklady mohou být nižší, ale provozní a personální náklady mohou být naopak významné.
Open Source poskytuje vysokou míru kontroly nad daty a architekturou, není ale automaticky bezpečnější. Organizace přebírá větší odpovědnost za zabezpečení a provoz celého řešení.
Mezi hlavní rizika patří: