抗日战争初期,原新编第三十五师进驻河南开封,王劲哉兼任开封警备司令。1938年夏,原新编三十五师参加豫东会战,伤亡惨重同年秋参加武汉会战,在江西瑞昌等地与日军交战,又遭受重大损失。武汉失守,王部撤至湖北咸宁,改番号为第一二八师,编入汤恩伯的第三十一集团军序列。