Organizace ISTQB, jako tisíce jiných, reagovala na boom spojený s AI a nedávno vydala aktualizaci učebních osnov svého nového modulu "ISTQB Testing with Generative AI". V tomto článku se pokusím analyzovat důvody, proč by pro vás znalosti v těchto osnovách mohly být zajímavé a proč byste se následně mohli zajímat o zkoušku. Budu se opírat jednak o své zkušenosti při tvorbě školicích materiálů pro tento modul, a jednak o zkušenosti při revidování originálního obsahu.

Pozn.: Při psaní mi (s výjimkou finální korektury) AI jinak nepomáhala. Pokud by vám to chybělo a chcete si například nechat sumarizovat obsah osnov, stačí nahrát text osnov (optimálně v MD formátu) do libovolného LLM a dodat správný prompt. 

Na úvod musím vyvrátit jeden mýtus – ISTQB CT-GenAI NENÍ o tom, jak testovat AI aplikace (o tom je ISTQB AI Testing, viz níže), ale jak využít AI při testování. S výjimkou základních pojmů, jako je prompt, kontextové okno nebo halucinace (což najdete v první kapitole), vám nevysvětluje žádnou detailní teorii, ale hodí vás přímo do vody a zabývá se čistě tím, jak využít AI při standardních testovacích aktivitách, jako je analýza požadavků, návrh testů nebo tvorba reportů. Abyste tohle mohli dělat, musíte umět dobře promptovat (to je kapitola 2) a musíte znát rizika AI a předpisy neboli normy, standardy a zákony při využití AI (kapitola 3). Kromě toho najdete v osnovách ještě jemný úvod do pokročilých témat, jako je RAG, fine-tuning modelů a využití agentů (kapitola 4), a malou finální „manažerskou“ kapitolu zabývající se obecným doporučením pro zavedení AI do testovacích procesů ve firmě (kapitola 5). 

Pokud máte rádi analogie, je to trochu jako autoškola – nikdo vám v ní nevysvětluje, jak funguje motor, co jsou vačky nebo jak je konstruovaná převodovka, ale vysvětlí vám, jak řídit auto (promptování), jak nezpůsobit dopravní nehodu (rizika a předpisy), jak si můžete zjednodušit řízení při využití inteligentních asistentů (RAG, agenti) a jak si vést knihu jízd (procesy ve firmě).

Proč vlastně ISTQB tyto osnovy vydává? To je asi jednoduché – reaguje tím na momentální situaci v celém odvětví. Klienti chtějí „AI Augmented Testing“, vývojáři frčí ve vibe-codingu a celý životní cyklus vývoje softwaru (SDLC) je dnes tak trochu AI Assisted SDLC. Proč to chtějí klienti? Protože žijeme v kapitalismu a každý „majitel výrobních prostředků chce maximalizovat svůj zisk“ :-) Pokud zvládnete napsat s AI o 40 % více testovacích případů za stejnou jednotku času jako bez ní, jednoznačně zvyšujete zisk svého chlebodárce (mimochodem, v osnovách se dočtete i o tom, že to nelze takto jednoduše spočítat). AI vám jednoduše zcela určitě umožní být lepšími, efektivnějšími a výkonnějšími testery za předpokladu, že ji umíte využít naplno v souladu se zákony a rozpoznáte, kdy vám lže.

V této situaci není znalost AI pro vás už nadále konkurenční výhodou, ale nutností a do budoucna zřejmě samozřejmostí, bez které vás za 5 let nikdo nezaměstná. Lze říci, že znalost AI je vlastně novou nezbytnou dovedností testera tak, jako se před lety stala např. alespoň základní znalost automatizace testování.

Pro ty z vás, kteří teď prožívají tzv. FOMO (fear of missing out), tedy paniku z toho, že se jim to stane, mám snad dobrou zprávu: ještě není pozdě, a pokud to myslíte se svým profesním rozvojem vážně, klidně začněte s ISTQB. ISTQB CT-GenAI může být přesně tím startovním bodem, který hledáte.

Tím se dostávám k tomu, pro koho jsou osnovy určené. Začnu asi netradičně tím, pro koho určené nejsou. Pokud jste testeři, kteří:

• znají všechny principy správného promptování (složky promptu, systémový a uživatelský prompt, techniky promptování),
• rozumí tomu, co je halucinace, chyby v uvažování a zkreslení, dokážou je rozpoznat a minimalizovat jejich výskyt,
• mají přehled o všech normách a předpisech v oblasti AI,
• mají vytvořené své RAGs pro standardizované projektové aktivity (v libovolném prostředí a LLM),
• mají napsané v Pythonu svoje skripty na práci s LLM a automatizují celý proces,
• mají nainstalované, příp. i doučené lokální modely, např. v AnyLLM

pro vás tyto osnovy už pravděpodobně nejsou. Vám bych klidně doporučil si je přečíst a pokud chcete mít na své znalosti „razítko“ celosvětově známé společnosti, jít rovnou na zkoušku. Je možné, že v osnovách budou některé drobnosti, které nepoužíváte a neznáte teorii (např. výpočet metrik), ale to se hravě doučíte.

Pro všechny ostatní osnovy vhodné jsou. Zde je pár tipů na zkoušku (pokud nechcete absolvovat akreditované školení):

• Zásadní a klíčová je kapitola 2 (promptování). Tato kapitola obsahuje největší počet cílů, a tím je logicky velká část zkoušky zaměřena právě na ni. Pokud ji nezvládnete, s vysokou pravděpodobností nebudete schopni u zkoušky uspět.
• Každá kapitola začíná definicí cílů, kterých má být dosaženo, přičemž každý cíl má přiřazenu právě jednu tzv. K-úroveň. Ty jsou definovány jako K1 (zapamatovat si), K2 (pochopit) a K3 (aplikovat). Zkouška (resp. její otázky) ověřuje znalost těchto cílů dle K-úrovní. Tzn. K1 si stačí zapamatovat, ale K3 je nutno aplikovat v konkrétní situaci a tím musíte danou oblast znát a rozumět jí.
• Každá kapitola obsahuje také praktické cíle (hands-on) a každý praktický cíl je spojen s jedním K2 nebo K3 cílem. Ačkoli praktická cvičení nejsou součástí zkoušky, jejich provedení je klíčové pro pochopení příslušných K-cílů. Proto doporučujeme si je reálně vyzkoušet na dostupných LLM modelech.
• Vyzkoušejte si podmínky, typy otázek a časový limit zkoušky pomocí vzorové zkoušky (viz odkazy na konci článku). Z naší zkušenosti je to nejlepší indikátor toho, zda jste schopni uspět u ostré zkoušky.

P.S. Pokud by vás zajímalo, jak se testují AI aplikace, podívejte se na učební osnovy modulu ISTQB AI Testing. O něm se rozepíšu zase příště. 

Na závěr pár užitečných odkazů:

• Učební osnovy CT-GenAI v1.1
• Vzorová zkouška
• ISTQB® Slovník
• Tisková zpráva
• Webinář o modulech AI Tester a Testing with Gen-AI