Hvorfor er test og verifisering av de ikke-funksjonelle områdene så viktig?

Hva innebærer test av «Ikke-funksjonelle områder», hva betyr dette i praksis og ikke minst hva er risikoen ved å nedprioritere dette området?
En ofte brukt definisjon er «Test av områder som ikke dekkes av funksjonell testing», og dette er både ullent og litt feil. Dette er et område som dekker veldig mye og bredt og flere av de ikke-funksjonelle områdene testes direkte og indirekte gjennom test av funksjonalitet, integrasjoner og arbeidsprosesser.

Egentlig treffes «det ikke-funksjonelle» i alle testløp, kanskje uten at vi tenker over det. Vi i Promis Qualify anbefaler å ha større fokus på dette og ikke la tilfeldighetene styre. Vår erfaring tilsier at det er viktig å jobbe tidlig og mer med de ulike områdene og få planlegging og gjennomføring av test inn på agendaen, og inn i kontrakter og krav, på lik linje som funksjonalitet. Ofte ser vi at kravene i kontraktene er både klare og gode som grunnlag til test, men viktigheten forstås kanskje ikke og blir nedprioritert. Også for smidige og hybride organisasjoner må dette være tema, da det normalt kreves ressurser utenfor teamet til å stille krav og bidra.

Hvorfor skal vi prioritere tid og ressurser, dvs penger, til test av brukervennlighet, universell utforming, sikkerhet, GDPR, robusthet og feiltoleranse, logging, varsling og monitorering, backup og restore, ytelse, responstid, type PC, OS og nettlesere, tilganger osv osv? Det er fordi vi ikke ønsker hendelser i produksjon som betraktes som kritiske og alvorlige. Fortsatt er Test=Forebygging, uansett leveransemodell og produktutviklingsmetodikk.

Promis Qualifys testledere jobber basert på lang erfaring og anbefaler tidlig test med god nok testdekning på de områdene som peker seg ut som viktig og kritisk for aktuell leveranse. Dette skaper en god innledende dialog rundt området, og kan ende opp med en «god nok» testdekning av de områdene som prioriteres. I denne prosessen velger man bevisst bort flere områder, og dette bevisste valget er basert på erfaring, fagkompetanse og risikovurdering.

En eller annen gang og på en eller annen måte oppstår det spesielle situasjoner i løsninger i produksjon baser på «rare» feil. For disse mystiske feilene kan det være vanskelig å finne rotårsaken. Dette koster tid og tid er penger. Dette krever omprioritering av allerede opptatte fagpersoner. Det er derfor god kost-nytte i å finne disse feilene og problemene i test, i stedet for i produksjon. Det er ikke bare økonomien som treffes, men det oppstår press og stress i brukermiljøene og hos kunder, media henger seg på, ledelsen begynner å stille spørsmål (heldigvis!) osv.

Nesten daglig er det eksempler i media på problemer knyttet til IT løsninger og tjenester, og leser man mellom linjene er mange av disse knyttet til det vi i Promis Qualify definerer som det «Ikke-funksjonelle området».

Her er noen stikkord fra saker i media de siste ukene, noe hentet direkte ut fra teksten andre mellom linjene. Les gjennom og tenk hva dette kan bety for bedrift, organisasjon, renomme, kunder, konkurrenter, økonomi, samt interne og eksterne brukere. Ikke alle har monopol på sine tjenester og har råd til hendelser som i eksemplene under.

• Følger ikke krav til sikkerhet, personvern, brudd på lovverk og forskrifter og brudd på personvern og GDPR
• Støtter ikke krav til Universell utforming
• Feil tilganger og tilgangsproblemer
• Data blir borte eller havner hos feil mottaker, data som forsvinner er ikke mulig å finne igjen og uønsket deling av sensitive data
• Alvorlig systemsvikt og løsning kollapser i perioder med mange brukere eller spesielt mye data og ytelsesproblemer skaper treghet, løsningen stoppet helt opp, brukere kastes ut, arbeid må gjøres på nytt (og på nytt)
• Mangel på robusthet og feiltoleranse treffer brukerne daglig og skaper etterslep og manuelle grep for å levere på berørte tjenester
• Løsningen taklet ikke endringer
• Backup fungerer, men ikke restore - data blir borte
• Tomt for lagringsplass (også i skyen) og minneproblemer som skaper bruk av feil data, synkroniseringsproblemer og behov for jevnlig refresh og restart
• Logging og varsling har aldri fungert, historikken blir borte og tiden det tar å finne rotårsak til feil blir veldig lang. Bryter også med forskrifter og enkelte regelverk.

Alle bedrifter og organisasjoner vet hvor smertefullt det er når denne type hendelser inntreffer, og vår erfaring er at det etter denne type hendelser (spesielt de som har medieomtale, og det er nok et fåtall….) begynner man å fokusere mer på det ikke-funksjonelle.

Vi i Promis Qualify ønsker å bidra til at denne type hendelser avdekkes i test og ikke i produksjon. Vi har mange erfarne testledere innenfor området, og disse kan bidra med både rådgivning og mer operativt arbeid rundt «Test av ikke-funksjonelle områder».

Kontakt

Ta gjerne kontakt for å høre mer om hvordan vi kan hjelpe deg. Ved å velge Promis Qualify som din partner får du tryggheten fra fagpersoner som har ledet tilsvarende operasjoner tidligere. Vi kan vise til en rekke oppdragsgivere som gjennom vår bistand har fått et solid grunnlag for beslutningen om produksjonsstart.

Foto av Elisa Ventur på Unsplash