Table 4 Quality evaluation of each article

Duijnhouwer and Widdows (2003)

OSMM

Y

Y

N

Y

3

Atos (2006)

QSOS

P

Y

Y

N

2.5

Wasserman et al. (2006)

Open BRR

Y

Y

P

N

2.5

Sung et al. (2007)

Sung et al.

Y

Y

N

N

2

Soto and Ciolkowski (2009)

QualOSS

Y

P

N

N

1.5

Petrinja et al. (2009)

OMM

Y

P

P

N

2

Spinellis et al. (2009)

SQO-OSS

Y

Y

Y

P

3.5

Aversano and Tortorella (2013)

EFFORT

Y

Y

P

Y

3.5

Raffoul et al. (2008)

Raffoul et al.

Y

Y

P

Y

3.5

Alfonzo et al. (2008)

Alfonzo et al.

Y

Y

P

Y

3.5

Mathieu and Wray (2007)

Wray and Mathieu

Y

P

Y

Y

3.5

Müller (2011)

Muller

P

Y

N

Y

2.5

Chirila et al. (2011)

Chirila et al.

Y

Y

Y

N

3

Raza et al. (2012)

OS-UMM

Y

Y

N

Y

3

Adewumi et al. (2013)

Adewumi et al.

P

Y

N

Y

2.5

Sudhaman and Thangavel (2015)

Sudhaman and Thangavel

Y

Y

Y

Y

4

Sohn et al. (2015)

Sohn et al.

Y

P

N

Y

2.5

Kuwata et al. (2014)

Kuwata et al.

Y

Y

N

Y

3

Sarrab and Rehman (2014)

Sarrab and Rehman

Y

Y

N

Y

3