郑州隋开皇元年（581年），改荥州为郑州。开皇十六年（596年）从郑州分出管州。唐初武德四年（621年），从郑州分出管城。贞观七年（633年）郑州从武牢移治管城县。天宝元年（742年）改郑州为荥阳郡，仍治管城县。开明元年（619年），太尉王世充废杨侗自立为帝，国号郑。这是中国历史的第三个郑国。
郑州北宋建都汴京后，宋代建郑州为西辅，属京西北路，郑州于公元1105年被建为西辅，成为宋代四辅郡之一。国内各地选山林名声之地建立书院，位于登封峻极峰下的嵩阳书院是当时的四大书院之一。
郑州金代和元代时期，郭守敬和王恂主持在全国设立了27个天文观测台，登封观测台则是全国观测中心。
郑州明朝建立后，郑州划归开封府。清末，平汉和陇海两条铁路在郑州交汇，郑州成为中国东西、南北大动脉的纽带，经济地位不断提升。