Copy ri ght  ©  Q uali ty Wize ™ ,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om The need for Speed … P er for mance  &  Lo ad  T esting W orkshop Alon   Lin e tzki alo nl@q uali ty - wiz e.c om
Copy ri ght  ©  Q uali ty Wize ™ ,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om Alon  Linetzk i CEO  and   Found er  o f  Qua li ty Wi ze ™  35 + y ear s  in   SW engin eer in g,  agil e  tr ansition,   t est ing,  qua li ty  assur ance a nd Co - authored   IS T QB® Agile  T ester  C er ti fication,  c o - authoring   the a dv an c ed   lev el I ST QB ®  T ec hn ica l  Ag ile  T este r IS T QB ® M ark eting  Chair Co - founder   o f  the  Israeli  T esting  Cer tifi cation Bo ard  ,  Vi ce  Pr esident,  Ma rk et ing  Dir ect or Found er   o f  the   SI GiST  Israel  (t est ing  for um)  in  Isra el  • C e rtified   Sc ru m   Mas t e r • C ertified   S y s t em   Analy s t • I S T QB   Adv an c ed   Le v el  – T es t  Man ag er  an d   T es t  Analy s t • I SO - 9000  Le ad   As sess or   • TMMi As sess or • C ertified   Mobile  T es t er  ( C MAP ) • C ertified   C omm u n ic a tion  Skills   c oach • MB A • Ms. c St a tis tic s &  C rimin ol ogy
Copy ri ght  ©  Q uali ty Wize ™ ,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om Agenda Intr oduction What   is  P er formance T esting? What   do w e focus  on ? Prime   di r ec tiv e  o f  pe r forma nce  t esting Benefi ts  per formance  t esting T ype o f pe r formance te st s? Common   pe r formance pr oble ms What  t o  mea sur e? Baseli ne  and  Bench marking  Sett ing  th e  r eq uir ements   Common   Mistak es Su mmar y [op tional]   Lo ad   and  pe r forma nce Simula tion Mode ls [opti on al]   Ho w  earl y  sh ou ld  we   pe r formance te st ? [o pt iona l]  Lo ad   T est  R eso ur ce  T op olo gies
Copy ri ght  ©  Q uali ty Wize ™ ,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om Introductio n T h e   i m por tan ce  o f   p e r fo r manc e  t e s tin g W h a t  i s   p e r for man ce  t e s t ing W h a t  d o   w e   f o c us   o n ? Pr i me  d i r ect ive  o f   p e r for man ce  t e s t ing Be n efi ts  o f   p e r fo r man c e  t e s ti ng
Copy ri ght  ©  Q uali ty Wize ™ ,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om S yst ems   ar e  getting m or e a nd mo r e  comp lex New tech nol ogies  ar e arriving  at o ur  door  st ep  – AI, Io T , Io E, mobile, c loud, big - data,   Non  SQL   DB, mor e … Netw orks  and   t op ol og ies  ar e getting  mo r e  div er sified and co mplex, and pr ov ided   as  co mm odity  (cloud P aa S,   et c. ) The impor tan ce o f per forma nce  t es ting
Copy ri ght  ©  Q uali ty Wize ™ ,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om Mass  user s  ar e using  the syst ems  mo r e  and  mo r e  S yst ems ar e  mor e  glo b al and w orking  24 * 7 Bus iness i s r equir ed  t o pu t up  a  fast  suppo r t  systems ,  and a r oun d the c lock  ser vices S ystem s  ar e growing   fast er  than  in the p ast,   r equiri ng  fast er per form anc e  impr ovement  over  time The impor tance   o f pe r formance  te sting
Copy ri ght  ©  Q uali ty Wize ™ ,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om What I s P er for man ce  T esting? P er formance  testing is in gen era l,  a testing  type    per formed t o det ermine  ho w a s ys te m pe r forms  in  te rms  o f responsiv ene ss  and st abi lit y  unde r  a  p ar ticula r  wor kload P er forma nce T esting is  being   me asur ed (many  times)  in t erms o f  r espo nse time ,  thr oughput an d  r eso ur ce util iz ation under running  w orklo ad  W e r egularly t est  3  ma jor issues:  Spee d, sc alabili ty  and S tabili ty under  lo ad
Copy ri ght  ©  Q uali ty Wize ™ ,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om What  do  w e  foc us  on? R esponse  time  – the  me as ur ed time  tha t the   end - user - r equest  is waiti ng  for a r espo nse  fr om the appli cation
Copy ri ght  ©  Q uali ty Wize ™ ,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om What  do  w e  foc us  on? Thro ughp ut - the amou nt o f  transa ctions   pr oduc ed over  time during  a t est o r  the a mo unt  o f  cap acity  the appli cation c an  handle
Copy ri ght  ©  Q uali ty Wize ™ ,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om What  do  w e  foc us  on? R esource utilization - the t ota l  am oun t o f  r eso ur ces   ac tually  co nsum ed, c om p ar ed  against  the amo unt  o f  r esour ces pl anned  for a  specific  pr oc ess
Copy ri ght  ©  Q uali ty Wize ™ ,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om Prime  dir ectiv e o f P er formance  T esting The o bjectiv e  o f  per form anc e  t est is t o v alidat e  the b ac k - end ar chit ectur e, har dwar e  and  applications  sc alabili ty:  Det er min e  the  p er for ma nce, st ab il ity  and  scalab il ity o f a n  appl icat io n  under  v ar ious lo ad  conditions Det er min e  whi ch  configur ation s izi ng  pr ovides  the  best  per for mance  lev el De t er mine  if the  cu rr en t  ar chit ec tu r e  ca n  su pp or t t he  ap pl icatio n  at peak  us er   lev els ht t p:// s wqu al i t yas s ura nc e.co m  
Copy ri ght  ©  Q uali ty Wize ™ ,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om Prime  dir ectiv e o f P er formance  T esting Pr ov e  appl icat io n  is  st ab le  en ough  t o  go int o  pr oduction  (Ac ce pt ance ) Det er min e  if th e  new  v ersion o f t he  so f twar e  had  a  ne gativ e imp act  on  r es po ns e  time Det er min e  at what  poi nt  does  de gr adation  o f  per for mance occ ur  (C ap ac it y Planning ) Identi f y  appl ic atio n  and infra structur e  bo tt lene cks Ev aluat e  pr oduct  and/or   har dwar e t o  det er mine  if  it   ca n  handle  pr oj ect ed   lo ad  v ol umes ht t p:// s wqu al i t yas s ura nc e.co m  
Copy ri ght  ©  Q uali ty Wize ™ ,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om Ben efits   o f P er for man ce T esting Hi gher  Pr oduc tion R eadiness Meeting  User R equir emen ts  for doing bus iness Impr oved efficiently  o f  per form anc e R educed c ost  – ma int enan ce,   opera tional Meeti ng  P er forma nce S tandar ds/r egul at or y  needs Contingent  Di sas t er r eco ver y  situations
Copy ri ght  ©  Q uali ty Wize ™ ,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om T ype s  o f  per formance  te sting
Copy ri ght  ©  Q uali ty Wize ™ ,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om T ypes o f pe r formance  te sts ( KPIs) Lo ad   t estin g  (c onc urrency)  - ch ec ks  the   app li cation ' s  abili ty  t o  per fo rm u nde r  anti cipated   us er load s .  The  ob ject iv e is  t o identif y  per forma nce  bo tt leneck s  befor e  the  so f twar e/ syst em  appli cation  goe s l iv e. S tr ess  t estin g  - invo lv es   t es ting  an  app li cation  un der   extr eme  w orklo ads  t o  see  how   it h andles  high  traff ic  or dat a  pr oces sing   . The  ob ject iv e is  t o identif y  br eaking  po in t  o f  an   appli cation . End urance t esting  - is  done  t o  mak e  su r e  the  so f twar e/sy st em   can  han dle  the   exp ec t ed  lo ad  ov er   a  long  pe riod o f ti me . The  ob ject iv e is  t o e v al ua t e  how  the  syst em  work s f or  long  per iod  o f  time , und er  ex pected  lo ad (r egula r ,  av erage,  max,  abov e  max).
Copy ri ght  ©  Q uali ty Wize ™ ,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om T ype s  o f p er forman ce  te sts ( KPIs) Spik e  t esting  - t est s  the  so f twa r e ' s  r eaction  t o  sudde n  lar ge  sp ik es in  the l o ad  ge nera t ed   by  use r s. V olume testing - Un de r  V ol ume  T est ing  lar ge   no.   o f .  Data is populat ed   in  dat ab ase   and  the  ov er all  so f twa r e  syst em' s  be havior  is mon it or ed .  T he  obje ctiv e  is t o  check  so f tw ar e  appl ic ation ' s  pe r formance un de r v ar ying   da tab ase  v olumes . Scala bilit y t esting - The  objectiv e  is t o  de t er mi ne  the  so f twa r e app li catio n ' s  ef fe cti v eness  in  " scali ng  up" t o  suppor t  an  in cr ease   in   user lo ad .  It helps plan  cap aci ty  add itio n  t o  y our  so f twa r e syst em. h t t p :/ / w w w . gu ru 99 .c om / p er f or man c e - t es t in g.h t ml
Copy ri ght  ©  Q uali ty Wize ™ ,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om Commo n  per for mance problems
Copy ri ght  ©  Q uali ty Wize ™ ,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om Common  per for man ce problems Long  Lo ad  time  - Lo ad ti me i s no rma ll y the ini tial  time it tak es an  application  t o star t.  This sho uld generally be k ept t o a   minimum.    
Copy ri ght  ©  Q uali ty Wize ™ ,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om Commo n  per for mance problems P oor  r esponse   time  - R esp onse  time is  the ti me it  tak es  fr om when  a use r i nputs  dat a int o  the  ap plic ation  until   the  ap plic ation  outputs  a  r esp onse  t o  that  input.   Gener ally  this  shoul d  be   v er y  quic k  (dep ending on  the  actual  tas k done).   R espo nse  Time   = Pro cessing  Time   + W aiti ng T ime ht t p: //lo gi cal r e a d.s ol ar w inds .c om /r e s pons e - t im e - an a lys is /# .Vjs 0 Db crK U k
Copy ri ght  ©  Q uali ty Wize ™ ,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om Commo n  per for mance problems P oor  scal abi lity   - pr oduc t  canno t  handle  the  ex pe ct ed   num be r  o f  user s or  when  it  does   not  acc omm odat e  a  wide e no ugh  range  o f  user s .  ht t p:// bl o g .er r a t as ec.c o m / 2013 / 02 /s ca la b il it y - i t s - qu est io n - t ha t - dri ve s - us .h t m l#. Vjs 0 kr crK U k
Copy ri ght  ©  Q uali ty Wize ™ ,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om Commo n  per for mance problems Bottlenecking  - Bott leneck s a r e ob str uc tion s  in  syst em  whic h  de gr ade   ov er all  syst em  pe r for manc e.  Bottlenecking  is wh en ei ther  coding  error s  or  hardw are  issues  cause  a decre ase  o f thro ughput  under  cer ta in  lo ad s .  Bottle - necking  is g ene ra lly  fix ed   by  e ither  f ixing  poor   runni ng  pr oc ess es  or  add ing addition al  Har dw ar e Some common  per f or ma nce  bot tl eneck s ar e CPU util izat ion Memor y  util izat ion Ne tw ork   util izat ion Operat ing  S yst em  li mit ati ons Disk   usag e h t t p :/ / w w w . gu ru 99 .c om / p er f or man c e - t es t in g.h t ml
Copy ri ght  ©  Q uali ty Wize ™ ,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om Measur ing per for mance  (KPIs )
Copy ri ght  ©  Q uali ty Wize ™ ,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om What  is a  K ey P er formance  Indica to r? A K ey P er form anc e  Indicat or (or  KPI)   is  usua ll y  defined  and us ed t o  ev alua te  the  system ’ s  ab ility   t o mee t  a  cer tain  attr ib ut e  o f  charact er istic  (the  “ How ” ) .  The out com e  o f  the meas ur ement is used t o  trigg er  any   tuning  and pr oc ess impr ovements .
Copy ri ght  ©  Q uali ty Wize ™ ,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om What s hould  w e measu re?  If an y o f  the below r eso ur ces   appea r s t o be   going   thr ough an ex cessive  intak e  – this mig ht  point o ut o n  bottlenec ks R esource  Utilizatio n CPU ,  usef ul when b r ok en  out  by  p r oc ess   (W ait  time,  User /S yst em  time,  idle  time) Me mor y , usef ul when b r ok en  out  by  p r oc ess   (U sag e,  br ok en out  by   pr oc ess   Disk   activi ty  (R eq uests ,  by t es  r ead /wr it e/se c) Ne two rk b y t es  (By t es  r ead , Thr oughput,  est ab li shed   co nnecti ons)  
Copy ri ght  ©  Q uali ty Wize ™ ,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om What s hould  w e measu re?  P er formance  Co unters Ther e ar e  2  k ey   co mmo n  co unt er s  w e c an  measur e  and  mo ni t or : Time  T o  Fir st  Byte   (T TFB)  Time  T o  Last  Byte   (T TLB )   
Copy ri ght  ©  Q uali ty Wize ™ ,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om What s hould  w e measu re?  User Lo ad can  be sta tic v alue  or ra mp - up  and  down  during   per form ing th e lo ad t est Lo ad  Co unters User   Lo ad - The  num be r  o f  co nc urr ency  user s  that  ar e a cc ess ing the s yst em  in  a g iv en t im e R eque sts/sec  - Displays the  nu mber  o f  r equest s  be ing i ssued  ea ch  se co nd  Err or s/sec  - Displays  the n umber  o f  er r or s th at  oc cu rr ed   during  the  lo ad  t est   run  each se co nd  (I. E.   Un autho riz ed - 401 ,  Ac cess Deni ed - 403 ,  File  or  Dir ect or y  not  found - 404  et c ’ ) 30
Copy ri ght  ©  Q uali ty Wize ™ ,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om Ex er cise High P er for mance D isc ussio n … 20  min 70
Copy ri ght  ©  Q uali ty Wize ™ ,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om High P er for mance D isc ussio n … W e wil l  discu ss  a f ew   pe r for manc e t opic s  : 1. Bus ine ss  driv en  per formance   t es ting   - de scrib e  th e  busin ess go als  and  busin ess benefi ts  t hat   un de rl ine  doi ng  pe r forma nce t esting 2. P er formance   Planning   aspects   – wh at  aspec ts   sh ou ld  we   th ink abou t  for pl ann ing a  pe r formance te st ? 3. W or kl o ad  mod el s   - de scri be   r eq uir eme nt s  for a  pe r forma nce  model .  if   y ou   kno w  model s  li k e  th at,  de scrib e  with   an e xam pl e 4. As pects  o f r unni ng p er formance   t es ting  ear ly i n the  li fecy cl e - de scrib e  in w hich  ar eas  de v ,  t est  and  ot her  t ec hn ic al  expe r ts c an  t est  pe r forma nce e arl y , and  which kind  o f pe r formance te st ing  is th at.  20  min
Copy ri ght  ©  Q uali ty Wize ™ ,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om Baseline  & Ben chmarking
Copy ri ght  ©  Q uali ty Wize ™ ,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om Baseline and  Ben chmarkin g A t the v er y beg inning  o f  a per form anc e  t est,  w e  need t o establish  a  st ab le  b aseline A  per formance b aseline is per form anc e  informa tion g ather ed  at the beginning   o f  the  ini tiativ e fr om w hich v ariations  ar e meas ur ed  thr ougho ut  the per form anc e  li fecycle Aft er e v ery benchmark  (ne w  t es t run)  w e w il l w an t  t o c ompar e  it t o the  baseli ne …
Copy ri ght  ©  Q uali ty Wize ™ ,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om Baseline and  Ben chmarkin g The  b aseline is used fo r  comp ar ison betw een  test r uns ,  mo nit or ing the  pr oject  pe r fo r ma nce  over  the  period o f  time  that has   p ass ed in pr oject ex ecutio n  Ben chm arking is the pr oces s  o f  com p ar ing the  system per formance against  the  b aseline Baselin e  is r e flecti ng the perf ormance  r equi r emen ts
Copy ri ght  ©  Q uali ty Wize ™ ,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om Why Baseline  per for man ce? T o  establish  go als and  st andar ds T o  set SL A  metrics and per for mance  th r esho lds T o  mak e  impor tant   decisions
Copy ri ght  ©  Q uali ty Wize ™ ,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om P er for man ce requir emen ts
Copy ri ght  ©  Q uali ty Wize ™ ,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om Defin e per formance  r equir emen ts A specific  business  pr oc ess or  a mix o f  business  pr oc esses   A specific  r espo nse time  thr esho ld  A specific  lo ad  A specific  set o f  application  cha ract eristics  Compu ting  pow er needed and a   spec ifi c  co nstrains if any
Copy ri ght  ©  Q uali ty Wize ™ ,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om Defin e per forman ce  r equi r emen ts  T ypical  conv er sat ion  o f  a  per for mance  tester  wit h  the  pr oject   manager  -
Copy ri ght  ©  Q uali ty Wize ™ ,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om Defin e per forman ce  r equi r emen ts  T es t er :  What is  the   load you  wan t  t o  re plic at e  on  the  t es t ed   s ys t em? Manag er :  well,  I  gue ss  2000  c on curr en t  use rs !
Copy ri ght  ©  Q uali ty Wize ™ ,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om Defin e per forman ce  r equi r emen ts  T es t er :  What ar e  the   mos t freque n t  busin es s pr oc es se s  you  wan t  t o  t es t? Mana g er: I  belie v e th e  mos t  c ommon  ones a r e  - ( 1 )  Login,  add  it em,  chec k out . ( 2 ) Login,  search  ,logo ut. ( 3 ) Login,  fil l  a  f orm,  send   a  f orm ,  logout.
Copy ri ght  ©  Q uali ty Wize ™ ,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om Defin e per forman ce  r equi r emen ts  T es t er :  and wha t  sho uld  be the   tr ansac tion  r a t e? Manag er :  All  a t  the same   time … .?# $@?
Copy ri ght  ©  Q uali ty Wize ™ ,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om Defin e per forman ce  r equi r emen ts  T es t er :  W ell  - c an you  t ell  me  the  rat e  of  all  the busine ss  pr oc es se s you  wan t  t o  t es t,  o ver  an ho ur , at pea k  and  no rmal times? Ma nager :  I don ’ t kno w the  tra nsactio n ra t e,  I ’ ll  have   t o  t alk  with our   C T O … .
Copy ri ght  ©  Q uali ty Wize ™ ,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om Defin e per forman ce  r equi r emen ts  T es t er :   ??   ## @@!!?? Manag er :  The  C T O s aid w e  sho uld  simula t e  BP  (B usiness  Pr ocess)  1  with  the r a t e  of  X, BP  2  with  the  r a t e  of  Y … Aft er  a  f e w  da y s …
Copy ri ght  ©  Q uali ty Wize ™ ,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om Defin e per forman ce  r equi r emen ts  No w  w e  can s t art …
Copy ri ght  ©  Q uali ty Wize™,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om Scenario s and  actions Sc ena rio A ction In pu t  Da ta Ou tpu t  Da ta Bro w sin g   Prod uct  Ca talo g  by   an   ex istin g  use r L o g in • Un iq u e   u se rn a me • Pa ssw ord   of t he   use rna me Brow se • Ca talo g  T ree • Use r  T y pe • Prod uct  de scrip tion • T itle • Ca teg o ry Bro w sin g   Prod uct  Ca talo g  by   a  ne w   use r L o g in • Un iq u e   u se rn a me • Pa ssw ord   of t he   use rna me Brow se • Ca talo g  T ree • Use r  T y pe • Prod uct  de scrip tion • T itle • Ca teg ory
Copy ri ght  ©  Q uali ty Wize™,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om Think - time Sc ena rio A ction In pu t  Da ta Ou tpu t  Da ta Th in k  T ime Brow sin g  Pro d u ct  Ca talo g  by   an   ex istin g  use r Lo gi n • Un iq ue   use rna me • Pa ssw o rd   o f  the   use rna me 5 - 8  se co n d s Brow se • Ca talo g  T ree • Use r  T y pe • Prod uct  de scrip tion • T itle • Ca teg ory 4 - 30  seco nd s Brow sin g  Pro d u ct  Ca talo g  by   a  ne w   use r Lo gi n • Un iq ue   use rna me • Pa ssw o rd   o f  the   use rna me 5 - 15  se co n d s Brow se • Ca talo g  T ree • Use r  T y pe • Prod uct  de scrip tion • T itle • Ca teg o ry 10 - 60  seco nd s
Copy ri ght  ©  Q uali ty Wize™,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om Usage P atterns  U ser Scenario Perc en t   Loa d  D ist ribut ion Brow sin g pr oduc t ca talog 40 % Cr eati ng a user acc ount 5 % S earc hing for a produc t 30 % Login to applic ation 15 % Or der Placemen t 10 % T otal 100 %
Copy ri ght  ©  Q uali ty Wize™,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om Usage P atterns  Us er Sc ena rio Perce n t  L o ad  Dist rib u ti o n Brow sin g pro du ct cata lo g 40 Cre atin g a use r acco un t 05 Se arch in g for a pro du ct 30 Lo gi n to ap pl ica tion 15 O rde r Pla ceme nt 10 T otal 100 40% 5 % 30% 15% 10% P e r c e n t   L o a d   D i s t r i b u t i o n B r ow si n g  pr oduc t   cat al og Cr eat i ng  a use r  acc ount Se a r chin g f or   a   produ ct Log i n t o app l i c a t i on Or der  Pl ac em e nt
Copy ri ght  ©  Q uali ty Wize™,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om Distribution  o f User s  logging  in … What  pr o file  are  t hose  user s  usi ng? Empl oy e e s  – lots  o f  da ta  e ntr y  (i ns e r ts ),  lots  o f  que ri e s,   lots o f  upd at e s Manag e r s  – lots o f  que ri e s,   r e por ts ,   small   am ount   o f  upd at e s,   so me   de le t e s
Copy ri ght  ©  Q uali ty Wize™,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om Common traps  in per formance  te sting
Copy ri ght  ©  Q uali ty Wize™,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om Don ’ t  fall  int o  commo n  tr aps … Pr ematur e  Optimization Don ’ t tr y  t o  optimize  th e appl ic ation   befor e y ou   hav e  “ t est ed   th e  wat er ”  and  ran a  fe w per forma nce  cy cl es  Rando m  Optimization In or de r  th e  mak e any   optimizat ion  y ou   hav e t o  chan ge   only  one  set  o f a  v ari abl e  (i solat e) , r et est  th e  sys t em  and  th en  comp ar e  th e r esult t o  th e b asel ine Insufficient  R equir ements Y ou  h av e  t o  mak e  su r e  th at  all   y ou r  pe r formance  r eq uir ements   captu r e  all   th e  need ed   v ari abl es,  in  case  th ey  ar e not  - it wil l  be   har d  t o  pr oduce  v al id   concl usions Same  a s  la st  v e r sion …
Copy ri ght  ©  Q uali ty Wize™,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om P er for man ce testi ng modeling
Copy ri ght  ©  Q uali ty Wize™,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om Lo ad &  P er for mance W or klo ad  Modeling Modeling   enables  us t o  simulat e  lo ad Lo ad si mulation  ena bles us t o  extr ap ola te  and  ev alua te  pr oduction  lo ad  in  simila r  or  expecte d  conditio ns W orklo ad model is  built c ollecting  the fo ll owing  data  it ems  / pr ep ara tions  - …
Copy ri ght  ©  Q uali ty Wize™,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om Lo ad  &  P er forma nce  W orklo ad  Modeling KP Is   r equ ir ed Data   b ase  & n etw ork traffi c  v olume s  – wi th  exp ec t ed  gr owt h Applicati on  modularity  and  sc al abil ity  P arall elis m  cap abili ties  (fo r eign   pop ulatio ns ) Us er  pr o fi les (Us er  Co mm un ity  Mo dels )  – iden tif ication  and  cr eation P r o fi le  sc enario  r epr ese ntatio n (per cen tage) T es t En vir onm en t  & c onfigur atio n  – p r odu c tion  lik e,   ab le  t o  be   extr apolat ed W orklo ad  (pr oduc tio n) p att er ns  identificatio n T est en vir onmen t  mec hanism s  (cache  manageme nt,  netw ork  bo x es   bu ff er s m anage me nt,   et c ’ ) And   mor e …
Copy ri ght  ©  Q uali ty Wize™,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om How early  should we  te st  per forma nce?
Copy ri ght  ©  Q uali ty Wize™,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om How ear ly  should w e  te st  per formance? Com mo n  belief :  “… pe r for mance  t es ting ca n ’ t  ef fe cti v ely  star t  until   the  ap plic ation  is  stab le  …” An  ex pe rienced  pe r for manc e t est er   (and for   some  tas ks  a de v eloper)  can   do a lo t  o f  thi ngs: NW  and/or  W eb   ser v er  th r ou ghput   li mits Indi vid ual  ser v er  r esour ce ut il ization   un de r v ari ou s lo ads Sear ch spe ed s,  quer y  optimizat ion,  table /r ow l ocking,   and  spe ed  v ersu s  cap aci ty  mea sur eme nt s  for  DBs Spee d cost and  r esour ce  cost   o f security  measu r es Measur e and  ev aluat e  S wap  rat e,  I/O rat e  for ce r tain  pr ocesses  and  AP Is An d  mor e …
Copy ri ght  ©  Q uali ty Wize™,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om Which  r esou r ces/ skills  ar e  inv olv ed  in per formance  te sting?
Copy ri ght  ©  Q uali ty Wize™,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om R esou r ces  inv olv ed in the  per formance  T esting … T ypes o f  exper ts tha t might  be nee ded: Net w ork , D Bs ,  OSs, T echn ol ogi es  exp er ts  (W eb,  cl oud,  mobil e,  big - dat a),   Har dw ar e, Siz ing,   App li catio n … Schedu ling them in or der t o g et their input  is  cr itical – their  cost  is  v er y  high   t o the  pr oject;   they a r e  not  needed  100 %  o f  their  time
Copy ri ght  ©  Q uali ty Wize™,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om Summa r y Intr oduc tion Benefits Ri sks  and c om mo n  mistak es PT R equir emen ts PT  Measur ements (KP Is) How early ? R eso ur ces   & scheduling
Copy ri ght  ©  Q uali ty Wize™,  A lon  L in et z ki alo n l@ q u alit y - w iz e.c om The need  for Sp eed … P er for mance  &  Lo ad  T esting W orkshop Alon  Lin e tzki alo nl@ qual ity - wiz e.c om THANK Y OU!
Logo
The Need for Speed - Performance Testing Challenges