vii

Table of Contents

Acknowledgements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . v
Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xi
1

Testing Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2 Test Planning, Monitoring, and Control . . . . . . . . . . . . . . . . . . . . . .
1.3 Test Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.4 Test Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.5 Test Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.6 Test Execution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.7 Evaluating Exit Criteria and Reporting . . . . . . . . . . . . . . . . . . . . . . .
1.8 Test Closure Activities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.9 Sample Exam Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1
2
4
22
34
43
53
60
64
71

Test Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
2.2 Test Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
2.3 Risk-Based Testing and Other Approaches
for Test Prioritization and Effort Allocation . . . . . . . . . . . . . . . . . 100
2.4 Test Documentation and Other Work Products . . . . . . . . . . . . . 154
2.5 Test Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
2.6 Defining and Using Test Metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
2.7 Business Value of Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
2.8 Distributed, Outsourced, and Insourced Testing . . . . . . . . . . . . 240
2.9 Managing the Application of Industry Standards . . . . . . . . . . . 250
2.10 Sample Exam Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256

viii

Table of Contents

Reviews . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .267
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .267
3.2 Management Reviews and Audits . . . . . . . . . . . . . . . . . . . . . . . . . .273
3.3 Managing Reviews . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .276
3.4 Metrics for Reviews . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .291
3.5 Managing Formal Reviews . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .296
3.6 Sample Exam Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .302

Defect Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .305

4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .305
4.2 The Defect Lifecycle
and the Software Development Lifecycle . . . . . . . . . . . . . . . . . . .307
4.3 Defect Report Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .319
4.4 Assessing Process Capability
with Defect Report Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . .332
4.5 Sample Exam Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .337

Improving the Testing Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .339

5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .340
5.2 Test Improvement Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .341
5.3 Improving the Testing Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . .346
5.4 Improving the Testing Process with TMMi . . . . . . . . . . . . . . . . . .351
5.5 Improving the Testing Process with TPI Next . . . . . . . . . . . . . . . .354
5.6 Improving the Testing Process with CTP . . . . . . . . . . . . . . . . . . . .357
5.7 Improving the Testing Process with STEP . . . . . . . . . . . . . . . . . . .363
5.8 Sample Exam Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .368

Test Tools and Automation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .371

6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .371
6.2 Tool Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .372
6.3 Tool Lifecycle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .398
6.4 Tool Metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .401
6.5 Sample Exam Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .404

Table of Contents

People Skills Team Composition . . . . . . . . . . . . . . . . . . . . . . . . . . . 407

7.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 408
7.2 Individual Skills . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 409
7.3 Test Team Dynamics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 434
7.4 Fitting Testing within an Organization . . . . . . . . . . . . . . . . . . . . . . 445
7.5 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 454
7.6 Communication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 457
7.7 Sample Exam Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 462

Preparing for the Exam . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 467

8.1 Learning Objectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 467
8.2 ISTQB Advanced Exams . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 471
8.3 On the Structure of the Exams . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 475

Appendix
A

Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 481
Referenced Books . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 481
Other References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 482

HELLOCARMS System Requirements Document . . . . . . . . . . . . . . 484

I
Table of Contents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 486
II
Versioning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 488
III
Glossary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 490
000 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 492
001 Informal Use Case . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493
003 Scope . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 495
004 System Business Benefits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 496
010 Functional System Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . 497
020 Reliability System Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . 502
030 Usability System Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 503
040 Efficiency System Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . 504
050 Maintainability System Requirements . . . . . . . . . . . . . . . . . . . . . . 505
060 Portability System Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . 506
A
Acknowledgement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 508

Correct Answers to Sample Exam Questions . . . . . . . . . . . . . . . . . 511

Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 513

ix