锋陷阵勇不可挡，而且还是一位不可多得的将帅之才。大宋平定荆、湖，潘美受任潭州防御使；乾德二年（964），献声东击西之策，灭掉后蜀；开宝三年（970），亲率数万人马，以少胜多，灭掉南汉，擒鋹送京，斩获数万；与曹彬联手，水陆并进，开宝八年（975）攻占金陵，平定南唐，同下江南，其功更足；又与太祖数次征伐北汉。
到了太宗一朝，太平兴国四年（979），潘美任北路都招讨，与太宗赵光义从征太原，平定北汉；接着征伐幽蓟；后占据三交，屯兵积粟，为大宋镇守北方国门。
杨业原本是北汉降将，为北汉驻边三十年。太宗征伐太原时，北汉皇帝刘继元已经投降，杨业（当时叫刘继业）仍据城力战，为太宗所青睐。为他恢复本姓杨氏，并将其名“继业”改为单名“业”，任命他为左领军卫大将军，后跟潘美共同驻兵山西。
其实真正害死杨业的，应该是王侁，而非潘美。
监军王侁逼迫杨业出兵，又不按约定，提前撤除埋伏，致使宋军惨败。陈家谷一战，杨业被俘绝食身亡，其子杨延玉战死，宋军全军覆没。杨家浴血奋战，殒命疆场，负主要责任的就是王侁。
王侁是个小人，以诬陷主帅起家，也许是王侁官职太小，不足以突显杨家将的威名，所以潘美很倒霉地成为杨业之死的主要责任人。
不怕神一样的对手，就怕猪一样的队友。据《宋史》载，潘美当时与杨业的立场接近，只是没有力争，王侁军离开陈家谷口时还曾予以制止，只是潘美不敢得罪监军，没有坚持己见，也跟着王侁提前撤离。作为北伐西路军的统帅，潘美对于王侁提出的作战方案不置可否，就这么稀里糊涂地默认了，是应该负一定责任的。
从战后的处分来看也是如此，潘美受到降职处分，监军王侁、监军刘文裕皆被撤职发配。监军王侁“除名，隶金州”，刘文裕“除名，隶登州”。
潘美被削秩三级，责授为检校太保，不过很快就改任检校太师，真定知府，又擢升都部署、并州通判，加官同平章事，与宰相平级。至死为国开疆守土。
杨业死后五年，潘美也驾鹤西去。
潘美处功高震主之地而能谨慎，宜守保令名以终也。潘美一生为大宋，南征北战，恪尽职守，是大宋朝真正的大忠臣。杨业从归降到战死，为大宋效力了七年时间。潘美一生战功赫赫，彪炳史册，非杨业所能及也。
明太祖朱元璋，曾评价道：“如汉陈平、冯异、宋潘美皆节义，兼善始终，可以庙祀。”
潘美有六子（含义子潘惟吉）三女。
长子潘惟德，官至宫苑使；次子潘惟固，官拜西上阁门使；三子潘惟正，官拜西京作坊使；四子潘惟清，官拜崇仪使；五