Mata v. Avianca 

AI si vymyslela soudní rozhodnutí, v roce 2023 byly v americkém soudním řízení použity neexistující soudní případy vytvořené pomocí ChatGPT. AI vytvořila přesvědčivě vypadající názvy případů, citace i části údajných rozsudků a právníci informace před podáním řádně neověřili. Výsledkem byla sankce 5 000 USD a výrazný reputační dopad.

Poučení: AI může působit naprosto přesvědčivě a přitom generovat neexistující fakta. V právu, financích, compliance nebo zdravotnictví proto musí existovat nezávislá kontrola zdrojů.


 Arup Deepfake Fraud (2024) 

Pracovník finančního oddělení společnosti Arup v Hongkongu obdržel požadavek týkající se důvěrné transakce. Následovala videokonference, při které útočníci pomocí AI deepfake videa a hlasu napodobili CFO a další kolegy. 
Výsledek:15 převodů → 5 bankovních účtů → přibližně 200 milionů HKD, tedy 25 milionů USD. 

Selhání: deepfake odstranil důvěryhodnost obrazu a hlasu jako prostředku ověření identity.


 Mid Central Operating Engineers v. HoosierVac (2025) 

Advokát použil generativní AI při přípravě právních podání. AI vytvořila fiktivní soudní rozhodnutí, která advokát následně použil bez ověření.Federální soud mu uložil sankci 6 000 USD. Soud výslovně upozornil, že používat AI pro prvotní rešerši je jedna věc, ale spoléhat se na její výstup bez ověření samotné existence případů je něco úplně jiného. 

Selhání: AI vytvořila přesvědčivě vypadající, ale neexistující právní zdroje.


 AI vytvořila neexistující judikaturu (2024/2025) 

Právník ve státě Victoria použil právní software využívající AI k vytvoření seznamu předchozích soudních případů.Když soudce začal uvedená rozhodnutí ověřovat, případy nebylo možné dohledat. 
Právník následně přiznal, že informace vytvořila AI a před předložením soudu je neověřil. Následek už nebyl jen finanční. 
V roce 2025 mu regulátor změnil profesní oprávnění. Nemůže samostatně působit jako principal lawyer, provozovat vlastní praxi ani nakládat se svěřeneckými prostředky a po dobu dvou let musí pracovat pod dohledem.

Selhání: AI vygenerovala falešné právní autority a profesionál výsledek považoval za důvěryhodný.


Character.AI

Character.AI čelila žalobám rodin, které tvrdily, že její AI chatboti vedli s nezletilými uživateli nevhodné a nebezpečné konverzace a v některých případech přispěli k sebepoškozování či úmrtí. Jeden z chatbotů se podle žaloby státu Pensylvánie dokonce vydával za licencovaného psychiatra a uváděl falešné licenční číslo.

Následky: společnost čelila několika žalobám a regulatornímu tlaku, doplnila bezpečnostní opatření pro mladší uživatele a v roce 2026 dosáhla předběžného urovnání s pěti rodinami. V říjnu 2026 následně požádala o ochranu před věřiteli podle Chapter 11, přičemž měla vedle právních problémů také významné provozní a ekonomické potíže.

Poučení: AI může být nebezpečná právě tehdy, když její odpovědi působí natolik přirozeně a autoritativně, že jim uživatel začne důvěřovat jako skutečnému odborníkovi.