AI Act přichází: Jste připraveni na nové povinnosti v oblasti umělé inteligence?

Evropská unie se stala první velkou jurisdikcí, která přijala komplexní regulaci systémů umělé inteligence. Nové nařízení o AI (tzv. AI Act) vstoupilo v platnost v srpnu 2024 a jím zavedené povinnosti budou nabývat účinky postupně v průběhu několika následujících let. AI Act zásadně ovlivní vývoj i používání umělé inteligence v evropském podnikatelském prostředí a pro využití systémů AI ze strany podniků stanovuje řadu nových povinností a omezení.

Co je AI Act a koho se týká

AI Act zavádí právní rámec pro vývoj, nasazování a používání systémů umělé inteligence v Evropské unii. Zaměřuje se zejména na ochranu základních práv občanů, bezpečnost a transparentnost.

Týká se nejen vývojářů AI, ale i firem, které AI systémy využívají ve svém podnikání – ať už jde o zákaznický servis, HR nástroje, automatizované rozhodování nebo například prediktivní analytiku.

Klíčová novinka – klasifikace rizika 

Základní koncepcí AI Actu je klasifikace systémů AI podle míry jejich rizika. Každá firma by proto měla nejprve zjistit, do které kategorie spadá konkrétní využívaný AI nástroj, a podle toho nastavit odpovídající compliance procesy.

1.   Zakázané systémy (např. manipulativní techniky, sociální scoring pro orgány veřejné správy, biometrická identifikace na dálku pro účely policejní kontroly a predikce zločinů, apod.).

• Jsou zcela nepřípustné a nesmí být v EU používány ani nabízeny.

2.   Vysoce rizikové systémy (např. AI používaná při náboru a hodnocení zaměstnanců nebo přístupu ke službám nebo AI v oblasti zdravotnictví a vymáhání práva).

• Regulace těchto systémů je nejdůležitější součástí AI Actu.
• Pro vysoce rizikové AI systémy je nutné zajistit systém řízení rizik, vytvořit technickou dokumentaci, vést záznamy o provozu (logování), implementovat opatření kybernetické bezpečnosti a nastavit lidský dohled nad fungováním systému.
• Firmy musí zároveň u vysoce rizikových systémů zajistit posouzení shody a systém registrovat.

3.   Systémy s omezeným rizikem (např. chatboty nebo generativní AI, u kterých hrozí manipulace uživatelů) 

• Podléhají především povinnosti informovat uživatele o tom, že interagují se systémem AI, a označit generovaný AI obsah.

4.   Nízkorizikové systémy (většina současných AI nástrojů využívaných v EU). 

• Nejsou přímo regulovány, ale doporučuje se dobrovolné dodržování etických zásad a sestavení odpovídající dokumentace.

Na co si dát pozor v praxi

AI nástroje pro HR 

• Systémy pro výběr uchazečů nebo hodnocení zaměstnanců budou pravděpodobně spadat mezi vysoce rizikové.

Generativní AI (např. ChatGPT nebo Gemini)

• Pokud ji používáte k vytváření obsahu nebo odpovědí, musíte informovat uživatele o tom, že interagují s AI.

Automatizovaná rozhodnutí (např. v bankovnictví, pojišťovnictví nebo e-commerce)

• Mohou podléhat přísným pravidlům a omezením.

Školení zaměstnanců

• Je nutné zajistit, aby osoby pracující s jakýmkoli AI systémem rozuměly jeho omezením a rizikům.

Doporučení pro podniky

• Proveďte interní audit využívaných AI systémů (ideálně ještě před jejich začleněním do provozu).
• Zaveďte compliance procesy odpovídající klasifikaci rizika u daného AI systému dle AI Actu.
• Sledujte vývoj sekundární legislativy a implementačních pokynů, které upřesní řadu povinností stanovených AI Actem.
• Zajistěte proškolení svých zaměstnanců. 

Závěr

AI Act zásadně mění pravidla pro vývoj a používání umělé inteligence v Evropské unii. Firmy musí nově posoudit, do jaké rizikové kategorie jejich AI nástroje spadají, a podle toho upravit interní procesy a dokumentaci. Nejvíce povinností dopadne na systémy s vysokým rizikem. Rovněž běžné nástroje typu chatbot nebo generativní AI ale budou podléhat jasně definovaným pravidlům. Včasná orientace v požadavcích AI Actu tak pomůže firmám předejít možným sankcím a nesprávné implementaci AI do firemních procesů, jejíž zpětná náprava může znamenat velké náklady a provozní problémy.

Lukáš Závozda
l.zavozda@roseeurope.eu
+420 720 659 070