Enligt wikipedia finns det en del nackdelar med Crowdsourced Testing som behöver hanteras för ett lyckat resultat. Samtidigt ser jag detta nya sätt att testa som helt nödvändigt. Idag är många webbsidor och appar beroende av nätverksaccess och kommunikation med både andra appar och servers. Att verifiera alla användningsfall är praktiskt omöjligt när olika operatörers nätverkskonfigurationer, routrar etc påverkar apparna. Till detta kommer förstås, i och för sig praktiskt lösbara problem men kostnadskrävande, som att det finns 10 000 tals olika typer av mobiler och att många appar skall stödja språk av alla de slag. Fundera på t ex hur Candy Crush Saga som görs av King behöver testas. Vidare känner nog många i Skåne igen sig när jag säger att Skånetrafikens app har vissa problem.
Första punkten som tas upp på wikipedia är Confidentiality. När antalet personer som känner till en sak ökar, ökar förstås också risken för en läcka. I Applause fall skriver alla testarna alltid på ett generellt NDA och kunden har dessutom möjlighet att få ett eget NDA signerat innan testaren ens vet vad testet handlar om. Detta sker helt automatiskt i Applause plattform.
Nästa sak som är besvärligt att hantera är kommunikationen med alla testarna på ett effektivt sätt. Därför har Applause anställda projektledare som driver testprojektet. Genom Applause testplattform kommunicera man direkt med alla testarna och kunderna har också tillgång till denna plattform om de vill involvera sig i hela testcykeln.
Vilka buggar som rapporteras beror i hög grad på kompensationsmodellen. Wikipedia lyfter upp att om testarna får betalt per bug så kommer de att leta efter de enkla buggarna i bemärkelsen de tar minst tid att hitta och dokumentera. Detta har Applause angripit genom flera åtgärder. Dels så kompenseras testarna utefter värdet av en felrapport. Det är kunden som bedömer värdet av varje felrapport. Dels så belönas duktiga testare med högre pris per felrapport och bästa felrapport kan ge ytterligare bonus. Felrapporter som är duplikat av tidigare rapporterade buggar ger dessutom minus i den ranking som varje testare har. Om rankingen faller för lågt bjuds testaren inte längre in till kommersiella testcykler utan får sätta sig på skolbänken igen och försöka höja sin ranking.
Olika tidzoner, kulturer etc kräver ett utökat engagemang av projektledningen. Genom Applause projekteldare och testteamledare med lång erfarenhet att driva denna typ av projekt får kunden testcykler som genomförs på ett fåtal dagar och är väl dokumenterade. Genom att testcyklerna kör 24/7 så kortas testtiden ytterligare och time-to-market kan kortas.
Sista punkten som nämns på Wikipedia är att eftersom testningen inte är planerad och följs upp på samma sätt som vid vattenfallsprojekt eller Agila processer så riskerar testtäckningen bli begränsad. Genom Applause erfarenheter av denna typ av testning har man byggt en plattform och använder sina projektledare för att driva testningen på samma sätt som i traditionella QA-modeller.