秦一统天下，设立郡县制，实行的是两级区划。后来汉代秦，实行郡国制，既有分封诸侯国，又有郡县。再后来，出现了州，州开始只是监察州，是虚的，没有常设衙门。

到南北朝时，实际上已经成了州郡县三级区划，一州只有两三郡，甚至一二郡，一郡两三县，出现十羊九牧的情况。到了隋朝再度一统天下，结束纷乱，隋文帝便又改革，罢去天下诸郡，只保留州县两级，还并撤许多州，使得天下只余三百余州，一千余县。