Този уъркшоп запознава участниците с основните принципи при тестването на машинно-обучителни системи и оценката на AI модели от QA перспектива. Чрез интерактивни и практически упражнения ще изследваме:
- производителността на машинно-обучени класификационни модели,
- рисковете, свързани с bias и fairness,
- структурирани методи за валидиране на резултатите от генеративни AI модели.
В уъркшопа се използват интуитивни, визуални инструменти, като не се изискват задълбочени програмни умения. Участниците ще проведат и структурирано A/B тестване на водещи езикови модели (например Llama2, Mistral), за да откриват халюцинации, пристрастия и грешки в разсъжденията като по този начин се изгражда мост между традиционния QA и prompt engineering.
Какво ще научиш?
- Да разбираш фундаментите на QA при машинно-обучителни и AI системи
- Да обучиш и оцениш прост ML класификационен модел с реални данни
- Да интерпретираш метрики като accuracy, precision, recall и F1 score
- Да идентифицираш как предразсъдъци (bias) в тренировъчните данни може да повлияят върху реални решения (например при одобрение на кредити)
- Да проектираш exploratory и метаморфни тестове за AI модели
- Да изпълняваш A/B тестване и промпт-базирана валидация на LLM модели (напр. ChatGPT, Mistral, Llama2)
- Да прилагаш структурирани QA чек листи за оценка на халюцинации, edge cases и качеството на отговорите, генерирани от AI
- Да използваш peer review и рубрик-базирана оценка за тестване на способността на LLM моделите да правят самооценка
- Да прилагаш структурирани QA техники, включително принципи, съгласувани с ISTQB, при практическото тестване на AI системи
За да се гарантира персонално внимание и активно участие на всеки, местата са строго ограничени до 40 участници.
След като закупиш своя билет, имаш възможност да заявиш желание за поемане на по-активна и значима роля в уъркшопа – ролята на Шампион. Поемането на тази роля ще те направи много по-въвлечен в уъркшопа и ще ти помогне да усвоиш материята по-бързо и ефективно.
За кого е подходящ този Workshop?
Workshop-ът е подходящ за QA инженери с малък или нулев опит в тестването на AI/ML системи, които искат да усвоят основите чрез визуални инструменти и структурирано A/B тестване на LLMs.
Ако вече редовно тествате ML модели или правите LLM evaluation, ще познавате повечето концепции. Модулът ще ви е полезен, ако искате да структурирате и стандартизирате подхода си. Подходящ е и за team leads/ ръководители, които планират въвеждане на QA за AI проекти.
Минимални технически изисквания: поне 6 месеца QA опит, базова компютърна грамотност, интерес към AI/ML.
Тулове и настройки, които ще използваме:
• Weka – инструмент с графичен интерфейс за обучение и оценка на ML модели
• Google Teachable Machine – платформа за създаване на класификатори на база изображения и звук
• ChatGPT / Gemini / Claude – за оценка чрез prompt-и и A/B тестване
• VS Code / Markdown Editors – за prompt engineering и писане на рубрики/критерии
• LM Studio (локално)
Преди уъркшопа участниците ще получат детайлни инструкции как да подготвят всички акаунти и интеграции.
За лектора:
Антон Ангелов е един от най-утвърдените лидери в QA общността в световен мащаб. Той е съосновател, управляващ директор и Chief Test Automation Architect в Automate The Planet – бутикова консултантска компания, специализирана в изграждане на стратегии и мащабируеми решения за автоматизация на тестването.
Създател е на BELLATRIX – съвременен модерен test automation framework за уеб, мобилни, десктоп и API тестове. Автор е на 8 бестселър книги, сред които Design Patterns for High-Quality Automated Tests и поредицата Automated Testing Unleashed. Има над 500 публикувани статии, 100+ образователни видеа за LambdaTest и е изнасял лекции на над 60 международни конференции, включително Selenium Conf, Appium Conf и Heisenbug.
В последните години работи активно в сферата на AI в QA – като създател на AI- базирани инструменти и асистенти за подпомагане на автоматизацията, рецензент на книгата Software Testing with Generative AI от Mark Winteringham и член на Advisory Board – Europe към DEVIES Awards, където оценява иновативни AI решения в реална среда.
Носител е на редица отличия, включително „QA на десетилетието“, „QA на годината“ и е включен в Топ 100 на IT лидерите в България.
Формат: Онлайн провеждане в реално време. Уъркшопът е без запис.
Дата: 12 ноември 2025, от 16:00 до 20:00 ч.
Продължителност: 4 часа
Билети: Единичен онлайн достъп – 249 лв. Местата са ограничени до 40.
*За групова отстъпка при покупка на повече от 5 билета, моля свържете се с [email protected]
**След като закупите билетите, ще получите допълнителни указания и формуляр за издаване на фактура, ако желаете такава.