多故明降清的旧官吏，见到文告，纷纷倒戈
“于是太平、宁国、池州、徽州、广德及诸属县皆请降”，使义军很快便收复了四府、三州、二十四县，城池近三十座
义军纪律严明，所过之处，对民众百姓“秋毫无犯”张煌言每“经郡县，入谒孔子庙，坐明伦堂，进长吏，考察黜陟，略如巡按行部故事，远近响应”
致使出现“父老争出持牛酒犒师，扶杖炷香，望见衣冠，涕泪交下，以为十五年来所未见”的空前盛况
而“濒江小艇，载果蓏来贸易者如织”，给义军很大支持与鼓舞
可是，这一大好形势，却因郑成功率军攻打南京城的失利，而很快急转直下
正当张煌言收复徽州时，闻郑成功在南京城下兵败之事，于是“还芜湖收兵，冀联合瓜洲、镇江（义）军为守计”，期待有利时机，再作他图
不久，张煌言又得到郑成功军已放弃瓜洲、镇江等地，而退回海上的消息
致使张煌言所率义军处于进退维谷、腹背受敌的危险处境，很快遭致溃败
此际，清两江总督郎廷佐一方面调遣水军切断张煌言义军东退的水路，另一方面又写信向张煌言劝降
张煌言对招降书“拒不应”，同时，为摆脱困境，又率“余兵道繁昌，谋入鄱阳湖”，向江西发展
当义军船队进抵铜陵时，却与湖广来援的大批清军水师遭遇，与之激战而败退
最后，张煌言“抚残兵仅数百，退次无为，焚舟登陆”
又从陆路自桐城，取道霍山、英山，到达东溪岭时，适逢清军“追骑至，从者尽散”
张煌言好不容易才突围而出，只得“变服夜行，至高浒埠，有父老识之，匿于家数日，导使出间道，渡江走建德、祁门乱山间”
此时张煌言身染疟疾发作，几不能行，但他仍不顾病痛，奋力疾行
到达休宁后，“得舟下严州”登岸后，又复行山路，途经浙江的东阳、义乌“至天台达海”
历尽千难万险，兵败后绕道潜行二千余里，九死一生，终于回到了浙江沿海地区
此后，他“收集旧部”，准备东山再起
郑成功得到张煌言生还的消息后，也将自己的部分兵力拨归他统辖，致使义军稍有壮大
张煌言将义军屯驻长亭乡，“筑塘捍潮，辟田以赡军”需军饷
同时，张煌言又派遣使者向桂王禀告自己兵败的消息
桂王得悉后，在敕书中表示安抚慰问的同时，又给他“加兵部尚书”的职衔
顺治十八年（永历十五年、1661年）清廷为了肃清东南沿海地区的抗清势力，颁布了“迁海令”，“廷议徙海上居民”，以断绝对义军的粮饷“接济”
义军“无所得饷”，只得“开屯南田自给”
当郑成功率军东征，从荷兰殖民者手中收复台湾时，张煌言不理解此举的重大战略意义与