Organizácia ISTQB, ako tisíce iných, reagovala na boom spojený s AI a nedávno vydala aktualizáciu učebných osnov svojho nového modulu "ISTQB Testing with Generative AI". V tomto článku sa pokúsim analyzovať dôvody, prečo by pre vás znalosti v týchto osnovách mohli byť zaujímavé a prečo by ste sa následne mohli zaujímať o skúšku. Budem sa opierať jednak o svoje skúsenosti pri tvorbe školiacich materiálov pre tento modul, a jednak o skúsenosti pri revidovaní originálneho obsahu.

Pozn.: Pri písaní mi (s výnimkou finálnej korektúry) AI inak nepomáhala. Ak by vám to chýbalo a chcete si napríklad nechať sumarizovať obsah osnov, stačí nahrať text osnov (optimálne v MD formáte) do ľubovoľného LLM a dodať správny prompt.

Na úvod musím vyvrátiť jeden mýtus – ISTQB CT-GenAI NIE JE o tom, ako testovať AI aplikácie (o tom je ISTQB AI Testing, pozri nižšie), ale ako využiť AI pri testovaní. S výnimkou základných pojmov, ako je prompt, kontextové okno alebo halucinácia (čo nájdete v prvej kapitole), vám nevysvetľuje žiadnu detailnú teóriu, ale hodí vás priamo do vody a zaoberá sa čisto tým, ako využiť AI pri štandardných testovacích činnostiach, ako je analýza požiadaviek, návrh testov alebo tvorba reportov. Aby ste toto mohli robiť, musíte vedieť dobre promptovať (to je kapitola 2) a musíte poznať riziká AI a predpisy neboli normy, štandardy a zákony pri využití AI (kapitola 3). Okrem toho nájdete v osnovách ešte jemný úvod do pokročilých tém, ako je RAG, fine-tuning modelov a využitie agentov (kapitola 4), a malú finálnu „manažérsku“ kapitolu zaoberajúcu sa všeobecným odporúčaním pre zavedenie AI do testovacích procesov vo firme (kapitola 5).

Ak máte radi analógie, je to trochu ako autoškola – nikto vám v nej nevysvetľuje, ako funguje motor, čo sú vačky alebo ako je konštruovaná prevodovka, ale vysvetlí vám, ako riadiť auto (promptovanie), ako nespôsobiť dopravnú nehodu (riziká a predpisy), ako si môžete zjednodušiť riadenie pri využití inteligentných asistentov (RAG, agenti) a ako si viesť knihu jázd (procesy vo firme).

Prečo vlastne ISTQB tieto osnovy vydáva? To je asi jednoduché – reaguje tým na momentálnu situáciu v celom odvetví. Klienti chcú „AI Augmented Testing“, vývojári frčia vo vibe-codingu a celý životný cyklus vývoja softvéru (SDLC) je dnes tak trochu AI Assisted SDLC. Prečo to chcú klienti? Pretože žijeme v kapitalizme a každý „majiteľ výrobných prostriedkov chce maximalizovať svoj zisk“ :-) Ak zvládnete napísať s AI o 40 % viac testovacích prípadov za rovnakú jednotku času ako bez nej, jednoznačne zvyšujete zisk svojho chlebodarcu (mimochodom, v osnovách sa dočítate aj o tom, že to nemožno takto jednoducho spočítať). AI vám jednoducho celkom určite umožní byť lepšími, efektívnejšími a výkonnejšími testermi za predpokladu, že ju viete využiť naplno v súlade so zákonmi a rozpoznáte, kedy vám klame.

V tejto situácii nie je znalosť AI pre vás už nadalej konkurenčnou výhodou, ale nutnosťou a do budúcna zrejme samozrejmosťou, bez ktorej vás za 5 rokov nikto nezamestná. Možno povedať, že znalosť AI je vlastne novou nevyhnutnou zručnosťou testera tak, ako sa pred rokmi stala napr. aspoň základná znalosť automatizácie testov.

Pre tých z vás, ktorí teraz prežívajú tzv. FOMO (fear of missing out), teda paniku z toho, že sa im to stane, mám snáď dobrú správu: ešte nie je neskoro, a ak to myslíte so svojím profesijným rozvojom vážne, pokojne začnite s ISTQB. ISTQB CT-GenAI môže byť presne tým štartovacím bodom, ktorý hľadáte.

Tým sa dostávam k tomu, pre koho sú osnovy určené. Začnem asi netradične tým, pre koho určené nie sú. Ak ste testeri, ktorí:

• znajú všetky princípy správneho promptovania (zložky promptu, systémový a používateľský prompt, techniky promptovania),
• rozumejú tomu, čo je halucinácia, chyby v uvažovaní a skreslenie, dokážu ich rozpoznať a minimalizovať ich výskyt,
• majú prehľad o všetkých normách a predpisoch v oblasti AI,
• majú vytvorené svoje RAGs pre štandardizované projektové činnosti (v ľubovoľnom prostredí a LLM),
• majú napísané v Pythone svoje skripty na prácu s LLM a automatizujú celý proces,
• majú nainštalované, príp. aj doučené lokálne modely, napr. v AnyLLM,

pre vás tieto osnovy už pravdepodobne nie sú. Vám by som pokojne odporučil si ich prečítať a ak chcete mať na svoje znalosti „pečiatku“ celosvetovo známej spoločnosti, ísť rovno na skúšku. Je možné, že v osnovách budú niektoré drobnosti, ktoré nepoužívate a nepoznáte teóriu (napr. výpočet metrík), ale to sa hravo doučíte.

Pre všetkých ostatných osnovy vhodné sú. Tu je pár tipov na skúšku (ak nechcete absolvovať akreditované školenie):

• Zásadná a kľúčová je kapitola 2 (promptovanie). Táto kapitola obsahuje najväčší počet cieľov, a tým je logicky veľká časť skúšky zameraná práve na ňu. Ak ju nezvládnete, s vysokou pravdepodobnosťou nebudete schopní na skúške uspieť.
• Každá kapitola začína definíciou cieľov, ktoré sa majú dosiahnuť, pričom každý cieľ má priradenú práve jednu tzv. K-úroveň. Tie sú definované ako K1 (zapamätať si), K2 (pochopiť) a K3 (použiť). Skúška (resp. jej otázky) overuje znalosť týchto cieľov podľa K-úrovní. Tzn. K1 si stačí zapamätať, ale K3 je nutné použiť v konkrétnej situácii a tým musíte danú oblasť poznať a rozumieť jej.
• Každá kapitola obsahuje tiež praktické ciele (hands-on) a každý praktický cieľ je spojený s jedným K2 alebo K3 cieľom. Hoci praktické cvičenia nie sú súčasťou skúšky, ich vykonanie je kľúčové pre pochopenie príslušných K-cieľov. Preto odporúčame si ich reálne vyskúšať na dostupných LLM modeloch.
• Vyskúšajte si podmienky, typy otázok a časový limit skúšky pomocou vzorovej skúšky (pozri odkazy na konci článku). Z našej skúsenosti je to najlepší indikátor toho, či ste schopní uspieť na ostrej skúške.

P.S. Ak by vás zaujímalo, ako sa testujú AI aplikácie, pozrite sa na učebné osnovy modulu ISTQB AI Testing. O ňom sa rozpíšem zasa nabudúce.

Na záver pár odkazov:

• Učebné osnovy CT-GenAI v1.1
• Vzorová skúška
• ISTQB® Slovník
• ISTQB Press Release
• Webinár o ISTQB AI Tester a Testing with Gen-AI