중앙인사위원회는 정부조직구조상 저해되어 왔던 인사행정의 공정성, 중립성, 전문성을 확립하고 급변하는 행정환경의 변화에 능동적이고 효율적으로 대처할 수 있는 선진적인 정부 인사관리시스템을 구축하기 위해 설치되었다.

우리나라의 인사업무는 고시위원회와 총무처(1948), 국무원 사무국(1955), 국무원 사무처(1960), 총무처(1963), 행정자치부(1998~2004)에서 수행해왔다. 국무원은 헌법개정에 따라 국무총리제가 국무원제로 바뀐데 따른 것이고, 행정자치부는 정부조직개편에 따라 내무부와 총무처가 통합됨에 따른 것으로, 중앙인사위원회 탄생 이전까지는 총무처가 중앙인사기관장의 역할을 수행해 왔다고 볼 수 있다. 

총무처는 총리 소속의 비독립 단독형 기관으로서, 인사업무 외에도 조직과 정원관리, 정부의전, 행정전산화, 정부청사관리, 기타 정부서무업무 등 여러 가지 기능을 수행하고 있었다. 이러한 체제 하에서는 독립성이 약하고, 합의성이 불충분하며, 인사행정에 전념하기 어려운 구조일 수 밖에 없었다. 

1997년 말 김대중 대통령 당선자는 정부출범에 앞서 정부조직을 효율적으로 개편하기 위한 하나의 수단으로 중앙인사위원회를 설치한다는 조직개편안을 마련하였으나 IMF 사태가 심화되면서 작은 정부를 구현한다는 정부방침에 따라 중앙인사위원회 신설안은 부결되고 1998년 총무처와 내무부를 합쳐 행정자치부가 탄생하였다.

행정자치부의 경우 총무처의 기본업무 외에 내무부가 수행하던 지방자치 지원업무, 재난구조, 민방위 업무까지 더해지면서 인사행정분야의 독립성은 더욱 어려워지게 되었다. 이에 따라 인사행정의 공정성과 전문성을 높이며, 정부인사개혁을 일관성있게 추진하기 위해서 외부로부터 독립된 합의제 기관이 무엇보다 필요하다는 공감대가 형성되었고 중앙인사위원회 설립에 대한 논의가 활발하게 이루어졌다. 

이에 따라 김대중 정부가 출범한지 5개월 여가 지난 1998년 7월 8일 국정과제 중간평가 업무보고에서 대통령이 중앙인사위원회의 설치를 지시하였고, 중앙인사위원회의 설치 근거법인 「국가공무원법」 개정안이 1998년 11월 10일 국무회의를 거쳐 정기국회에 제출되었다. 하지만 대통령 직속으로 할 것인가 국무총리 직속으로 할 것인가의 여부를 놓고 합의가 이루어지지 않아 개정안은 처리되지 못하고 철회되었다가 1999년 3월, 대통령 직속으로 중앙인사위원회를 설치하는 「국가공무원법」 개정안이 국무회의 심의를 거쳐 다시 국회로 제출되었고, 두 달 후인 5월 3일 국회 본회의를 통과, 5월 24일 동법 개정안이 공포∙시행됨으로써 중앙인사위원회가 출범하게 되었다.

중앙인사위원회,《공무원 인사개혁백서》, 2004.5.23