可是，这一大好形势，却因为郑成功率军攻打南京城的失利，而很快急转直下。
正当张煌言收复徽州时，听到郑成功在南京城下兵败之事，于是“还芜湖收兵，冀联合瓜洲、镇江（义）军为守计”，期待有利时机，再作他图。
不久，张煌言又得到郑成功军已放弃瓜洲、镇江等地，而退回海上的消息，致使张煌言所率义军处于进退维谷、腹背受敌的危险处境，很快遭致溃败。
就在这个时候，清朝两江总督郎廷佐一方面调遣水军切断张煌言义军东退的水路，另一方面又写信向张煌言劝降。
张煌言对招降书“拒不应”，同时，为摆脱困境，又率“余兵道繁昌，谋入鄱阳湖”，向江西发展。
当义军船队进抵铜陵时，却与湖广来援的大批清军水师遭遇，与之激战而败退。最后，张煌言“抚残兵仅数百，退次无为，焚舟登陆”。
然而张煌言又从陆路自桐城，取道霍山、英山，到达东溪岭时，却又运气不好地遭遇清军骑兵追来，追随张煌言的人都被冲散殆尽。
张煌言好不容易才突围而出，只能乔装打扮夜里出行，至高浒埠，有父老乡亲认识他，将他藏于家数日，然后引导张煌言使出间道，渡江走建德、祁门等山间荒僻之路。
此时张煌言身染疟疾发作，几乎不能行走，但他仍不顾病痛，奋力疾行。
到达休宁后，张煌言得到船来到严州。登岸后，又复行山路，途经浙江的东阳、义乌“至天台达海”。
历尽千难万险，兵败后绕道潜行二千余里，九死一生，终于回到了浙江沿海地区。此后，张煌言收集旧部，准备东山再起。
郑成功得到张煌言生还的消息后，也将自己的部分兵力拨归他统辖，致使义军稍有壮大。张煌言将义军屯驻长亭乡，筑塘捍潮，辟田以赡军需军饷。
与此同时，张煌言又派遣使者向桂王禀告自己兵败的消息。桂王得悉后，在敕书中表示安抚慰问的同时，又给他“加兵部尚书”的职衔。
顺治十八年，也即永历十五年，公元1661年，清朝为了肃清东南沿海地区的抗清势力，颁布了“迁海令”，“廷议徙海上居民”，以断绝对义军的粮饷“接济”。
义军“无所得饷”，只得“开屯南田自给”。当郑成功率军东征，从荷兰殖民者手中收复台湾时，张煌言不理解此举的重大战略意义与价值，曾写信给郑成功，“移书阻之”。
不久，清军直下云南，终使南明永历政权覆亡。逢此危急之际，张煌言“遣其客罗纶入台湾”，催促郑成功出兵闽南，一方面支持东南沿海人民反对“迁海令”的斗争，另一方面也可牵制清军，以解永历政权之危，但郑成功“以台湾方定，不能行”为由，加以拒绝。
于是，张煌言只得又遣使者到湖北的郧阳山中，去说服“十三家兵”出战，“十三家兵”原为李自成起义军的余部，由郝永忠、刘体纯等部将率领，他们以夔东茅麓山为根据地，坚持抗清斗争。
张煌言要“十三家兵”出征，让他们扰乱湖广清军，牵制敌人，来缓解云南危机，挽救永历政权即将覆亡的军事危局，但“十三家兵”终因兵力“衰疲”，加之势单力薄，而未能出战。
到了康熙元年，也是永历十六年，公元1662年，张煌言又将义军移驻沙堤。在这时，郑成功收复台湾后，建立郑氏政权。而鲁王则身居金门，故郑成功对其衣食供奉“礼数日薄”。
张煌言虽对鲁王仍忠心不贰，且“岁时供亿”不绝，但又“虑成功疑”，故“十年不敢入谒”鲁王。待到张煌言“及闻桂王败亡”后，便“上启鲁王，将奉以号召”。但没有得到郑成功的支持。
五月，郑成功突然病逝于台湾，致使抗清斗争形势更为严峻。张煌言则转战于宁海临门村一带。
这个时候，清廷浙江总督赵廷臣趁张煌言义军处境艰难之际，再次写信招降，张煌言不为所动，并回信拒绝。
十一月，鲁王薨于金门。于是，张煌言只得转战于宁海县临门村一带。还师临门，更使张煌言感慨万千。
于是，清廷浙江总督赵廷臣又坚持不懈，乘张煌言义军处境艰难之际，再次写信招降，张煌言不为所动，并回信拒绝。
义军此时虽多次奋战，然孤悬海上，被迫孤军作战，日渐势单力薄。
为此有人提议将义军队伍拉上鸡笼岛驻扎，张煌言认为此议不可行，鸡笼小岛，四面环海，易攻难守，若遭致清军突袭有全军覆没的危险。
时间一点点过去，反清复明的奇迹一直没有发生，终于在康熙三年六月，张煌言见复明无望，在南田的悬嶴岛解散义军，隐居海岛不出。
然而，七月十七日，清军通过叛徒找到张煌言隐居地，夜半渡岛，张煌言同部属罗子木、侍僮杨冠玉等人被抓。
九月七日，张煌言被清军杀害于杭州弼教坊。当他赴刑场时，大义凛然，面无惧色，抬头举目望见吴山，叹息说：“大好江山，可惜沦于腥膻！”就义前，赋《绝命诗》一首。
而且临刑时，他拒绝跪而受戮，“坐而受刃”，时年仅四十五岁。监斩官见杨冠玉年幼，有心为他开脱。