2차 세계대전 때 미군은 비행기들에 남겨진 총탄 흔적들을 분석해서 비행기의 여러 부분들 중에서 적의 공격에 가장 많이 노출되는 부분을 찾아내고 보강하는 프로젝트를 추진했다. 가장 많이 공격을 받는 부분을 집중적으로 보강하면 비행기가 공격을 받더라도 떨어지지 않고 귀환할 가능성이 커진다고 생각한 것이다. 주의 깊게 생각하지 않으면 매우 의미있는 프로젝트인 것 처럼 보인다.
하지만 이 프로젝트는 selection bias라는 근본적인 문제를 안고 있다. 분석 대상이 되는 비행기들이 모두 귀환에 성공한 비행기들뿐이기 때문이다. 치명적인 부위에 공격을 받고 귀환하지 못하고 떨어진 비행기들은 분석 대상에서 제외된 것이다. 이 프로젝트의 결과로 적의 공격에 가장 많이 노출된 것으로 파악된 부품들은 공격을 받아도 비행기에는 치명적이지 않을 가능성이 크다. 그런 부품들보다는 공격을 받고 떨어져서 귀환하지 못한 비행기들이 공격 받은 부위를 찾아야 하는데, 그런 부위는 이 프로젝트에서는 찾아낼 수가 없다. 결과적으로 이 프로젝트는 엉뚱한 부품을 보강할 가능성이 큰 것이다.
Selection bias는 2차 세계대전 때의 미군들뿐만 아니라 일반 기업들에게도 많이 볼 수 있다. 대부분의 실패 사례들은 감춰지고 성공 사례들 위주로 외부에 발표되고 알려지기 때문에, 성공 사례들만의 특성을 분석해서 성공 요인을 찾아내는 경우가 많은데 이런 경우 selection bias 문제를 안고 있을 가능성이 크다.
