Този уъркшоп запознава участниците с основните принципи при тестването на машинно-обучителни системи и оценката на AI модели от QA перспектива. Чрез интерактивни и практически упражнения ще изследваме:

  • производителността на машинно-обучени класификационни модели,
  • рисковете, свързани с bias и fairness,
  • структурирани методи за валидиране на резултатите от генеративни AI модели.

В уъркшопа се използват интуитивни, визуални инструменти, като не се изискват задълбочени програмни умения. Участниците ще проведат и структурирано A/B тестване на водещи езикови модели (например Llama2, Mistral), за да откриват халюцинации, пристрастия и грешки в разсъжденията  като по този начин се изгражда мост между традиционния QA и prompt engineering.

Какво ще научиш?

  • Да разбираш фундаментите на QA при машинно-обучителни и AI системи
  • Да обучиш и оцениш прост ML класификационен модел с реални данни
  • Да интерпретираш метрики като accuracy, precision, recall и F1 score 
  • Да идентифицираш как предразсъдъци (bias) в тренировъчните данни може да повлияят върху реални решения (например при одобрение на кредити)
  • Да проектираш exploratory и метаморфни тестове за AI модели
  • Да изпълняваш A/B тестване и промпт-базирана валидация на LLM модели (напр. ChatGPT, Mistral, Llama2)
  • Да прилагаш структурирани QA чек листи за оценка на халюцинации, edge cases и качеството на отговорите, генерирани от AI
  • Да използваш peer review и рубрик-базирана оценка за тестване на способността на LLM моделите да правят самооценка
  • Да прилагаш структурирани QA техники, включително принципи, съгласувани с ISTQB, при практическото тестване на AI системи

За да се гарантира персонално внимание и активно участие на всеки, местата са строго ограничени до 40 участници.

След като закупиш своя билет, имаш възможност да заявиш желание за поемане на по-активна и значима роля в уъркшопа – ролята на Шампион. Поемането на тази роля ще те направи много по-въвлечен в уъркшопа и ще ти помогне да усвоиш материята по-бързо и ефективно. 

За кого е подходящ този Workshop?

Workshop-ът е подходящ за QA инженери с малък или нулев опит в тестването на AI/ML системи, които искат да усвоят основите чрез визуални инструменти и структурирано A/B тестване на LLMs.

Ако вече редовно тествате ML модели или правите LLM evaluation, ще познавате повечето концепции. Модулът ще ви е полезен, ако искате да структурирате и стандартизирате подхода си. Подходящ е и за team leads/ ръководители, които планират въвеждане на QA за AI проекти.

Минимални технически изисквания: поне 6 месеца QA опит, базова компютърна грамотност, интерес към AI/ML.

Тулове и настройки, които ще използваме:

• Weka – инструмент с графичен интерфейс за обучение и оценка на ML модели

• Google Teachable Machine – платформа за създаване на класификатори на база изображения и звук

• ChatGPT / Gemini / Claude – за оценка чрез prompt-и и A/B тестване

• VS Code / Markdown Editors – за prompt engineering и писане на рубрики/критерии

• LM Studio (локално)

Преди уъркшопа участниците ще получат детайлни инструкции как да подготвят всички акаунти и интеграции.