Ahoj, hledam tipy na nejaky test management tool, mam zkusenosti s HP ALM, TestLinkem a hledam neco "lepsiho". S cim mate zkusenosti, co pouzivate, co muzete doporucit? :) Aktualne nemame nic a zaciname.

Pozadavky:
- hlavne pro praci s test cases
- integrace s Jira, neni to ale nutnost
- aktualne pro max 5 lidi
- cloud verze

Diky!

Ahoj, teď jedna taková ... hm.. no... : Testovali jste už někdy Windows Service? Co jsem googlil a googlil, tak veskrze jen povídání o unit testech a hromady kódu a návody na úpravy kódu, ale nějaké testování jako takové nic. Konkrétněji bych potřeboval testnout memory leaky a pak nějakou komunikaci s databází.

KORAL: díky za nápad, já jsem to zatím udělal, že ranorex validuje text toho popup okna (což je InnerText span tagu, takže ano, hlídám i jiný identifikátor). A tak to zatím funguje. Ono ta naše appka totiž když se vyskytne víc warningů pro popup, tak je sloučí do jednoho okna. Ale to se mi nepodařilo nasimulovat zatím nějak. Je to spíš výjimečná záležitost. Mám pošetřeno i to, že se tam vyskytne víc jiných warningů, ale nemohl jsem to odzkoušet. tak uvidíme.

MRCEK: nesleduji diskuzi od začátku. Ale pokud tam máš víc identifikátoru (ID, Class, či něco jiného), můžeš pro xpath použít AND s hlídat si více identifikátoru, čímž můžeš obejít jedinečnost identifikátoru na prvku a ověřit si, že se opravdu jedná o prvek co chceš.

SIRLOON: ok, chápu. Systémové popupy neřeším, low baterry mi hlásí appk u připojeného zařízení, které ovládáš tou appkou. Nicméně zkusím a uvidím. Díky za radu.

MRCEK: to si tam nemuzes dat flag co kdyz ti odklikne popup zjisti, jestli se tam popup mel vyskytovat?
priklad: appka pujde do settings, ty zmenis nejakou promennou treba expectPopup na true, appka zavola stisk tlacitka a ten PopUp watcher si checkne jestli tam ma bejt nejakej popup, kdyz ano, tak nic neudela dokud si to neohandluje ten test a az to ten test odklikne jak se ocekava, tak prepne zase tu promennou na false. Nicmene pokud to budou systemovy popupy jako low batery a podobne, tak v jistych pripadech ti muzou ztratit focus appky a ona ztrati spojeni

FOLAS: Ahoj, ještě jeden dotaz, řešili jste někdy na mobilní appce Unexpected PopUp handler/watcher? Sem tam mi v appce vyskočí nějaký popup, nečekaně (například odpojené zařízení). Ale někdy ten popup mám jako součást testu, například potvrzení o uložení nastavení. A to tlačítko OK má stejnou cestu (xPath) v obou případech, což nevím jak vyřešit, kdybych tam měl PopUp watcher, tak to odklikne sám a nemůžu to validovat, když se mi zobrazí neočekávaně, tak mi test failne zbytečně, protože na jednom ze zařízení došly baterky...

MRCEK: jj, Drag and Drop (record / playback) approach se hodi tam, kde se ti applikace moc nemeni a ne tam, kde probiha neustali vyvoj, protoze pak potrebujes scripty delas mene nachylne na neustale zmeny. Taky zalezi jake typy testu delas, pokud nake detailnejsi integracni testy, tak se bez codingu neobejdes, u e2e testu mozna jo.

Problemu jsme resili za ty roky samozrejme mraky, ale to bylo spise nasim specifickym prostredim, applikaci atd. Co se Ranorexu tyce, tak me nic extra nanapada.

FOLAS: já jsem začínal čistě jen drag and drop a nastavování akcí. Pokud ale člověk chce nějaké solidní a hlavně správné validace, nebo smysluplné test steps, tak se tomu UserCode nevyhne. Téměř nikdy se bez IF ELSE neobejdu abych se dostal na preconditions testu z jakéhokoliv stavu appky. Takže jasně, Cosi nenakoduješ, to nemáš... ;-)

Ještě jsem se ale chtěl zeptat, máš nějakou radu, čemu se vyhnout a může být později kritický problém? Myslím z tvých vlastních zkušeností...

MRCEK: Jak rikam, prakticke testovani s mobilnima appkama nemam, ale muzu rict, ze pro web. applikace je UserCode pouzitu > 75 procent myslim.

MRCEK: tak jestli to umí pracovat jenom s GUI, je to asi problém... Na druhou stranu, pokud nepotřebujete k testům klávesnici a netestujete ji, možná by stálo za to uvažovat o nějaké řešení typu custom keyboard, kdy klávesnice bude tak malá, aby nepřekážela

KID_MCHUTT: to je trochu problém si to hlídat, jde jen přes screenshot a tam právě dělá problém to zpoždění, já na mobilu už klávesnici nevidím, ale když udělám screenshot z ranorexu, tak tam ještě ta klávesnice je
Nevím jestli problém dělá nějak adb protokol, USB debugging mode nebo co vlastně. Paradoxně na Xiaomi Redmi2 je ta appka rychlejší než na Nexus6P, takže netuším, kde začít hledat problém.

MRCEK: tak jasně :) na druhou stranu, nějak si to hlídat musíš a pokud je jediná rozumná možnost hlídání si, jestli mi klávesnice zakrývá prvek...

KID_MCHUTT: nejde, protože ta klávesnice není stejná aplikace jako kterou testuji a není stejná na každém zařízení. Navíc to běží pod Ranorexovou appkou a je to celé zpomalené, takže ta odezva je někdy trošku divná, klávesnice už je schovaná, ale ranorex ji tam pořád vidí, například 1,5 s rozdíl než ranorex pozná, že už tam není.

MRCEK: a wait na schování klávesnice nejde? (neznám Ranorex)

FOLAS: Já jsem s tím před měsícem začal a čím víc tomu rozumím, tím je to horší... :-) Nakolik musíš používat UserCode? Já v podstatě u 75% test case, ale víceméně dost podobné kódy. Docela to umí dost věcí, ale u mých testů mám problémy se systémovou klávesnicí. Pokud někde něco Ranorex zadává jako text, tak vyskočí klávesnice a než se zase schová, tak mi někdy Ranorex neudělá touch na následující element. Prodleva je pokaždé jiná, takže je to na houby. Element je pořád viditelný a pořád valid (takže ani wait for mi nepomůže) ale Ranorex jej nějak nechce najít. Nesetkal jsi se s tím nebo něčím podobným?

MRCEK: Zatim ne, ale casem budem pokryvat mobilniho clienta pro Dynamics CRM.

FOLAS: Ahoj, můžu se zeptat, testujete v Ranorexu i mobilní appky?