子潘惟熙，娶秦王赵德芳之女，官拜平州刺史；义子潘惟吉，累迁为天雄军驻泊都监。儿子当中没有叫什么“潘龙、潘虎、潘豹”的一群野兽。
三个女儿，长女嫁给大理寺评事张昭允；小女儿封冯翊郡夫人，嫁给曹彬之子曹玮。
最受非议就是二女儿潘氏，十六岁时，太宗赵光义将潘氏赐婚给韩王赵恒，封为莒国夫人，六年后，潘氏逝世，年仅二十二岁，未留下子女。宋真宗赵恒即位，追封潘氏为庄怀皇后，宋仁宗改谥为章怀皇后。
潘美去世时，赵恒还是襄王赵元侃。章怀皇后比他爹潘美还早死两年多，一辈子也没机会兴风作浪，残害忠良。倒是被“忠良”害得名誉扫地，打入了十八层地狱。
历史上的潘美跟杨业，真实的对比如下：
一位是开国元勋，一位是降宋的贰臣；
一位是官居宰相（同平章事）、节度使的正二品大员，一位是官居观察史、刺史的四品官员；
一位爵位是代国公、韩国公，一位无爵位；
一位是服务大宋三十一年的两朝老臣，一位是服务大宋七年的降宋新人；
一位是上级领导，一位是下级军官；
一位多次独立指挥大型战役，一位没有指挥过大型战役的经历；
一位是灭南汉、平南唐、灭北汉，镇守边关，南征北战，屡建奇功的忠臣良将，一位是雁门之战，以少胜多的英雄；
纵观太宗一朝，英勇和功勋超过杨业的大有人在，比如李继隆、李继宣、田重进、尹继伦、米信、荆嗣等。
就是名不见经传的都指挥使荆嗣，一生经一百五十余战，未尝败北，也可以甩杨业几条街。
后世编书的、评书演义，为了寻求刺激好看，故意拔高杨家，狂褒杨继业之忠，故意贬低潘仁美，无所不用其极。让一代忠臣良将潘美身后狂遭无端之毁，躺着中枪，甚至导致潘、杨两家世代不通婚的后果，这未免玩大了。
若非有杀父之仇、夺妻之恨，编书的不可能这么恨姓潘的。极端地歪曲历史，抹杀忠良，狂扁开国功臣，为一位贰臣歌功颂德，愚弄了百姓，赚饱了私囊，此种行径，非君子所为也！
故事不是历史，不等于史实；故事里的事，只能是故事，切莫当真。
评书《杨家将》中，潘仁美是一个处处与杨家将作对的大奸臣，此人头顶生疮，脚底流脓，一肚子坏水，处处给杨家使绊子。为了除掉杨家将，不惜里通外国，是一个彻头彻尾的卖国贼。硬逼着杨继业出战，结果导致杨继业枉死。
评书演义、戏曲当中，杨家一门忠心报国，为大宋江山抛头颅，洒热血。金沙滩之战、七郎八虎闯幽州、七子去六子回、杨门女将、穆桂英挂帅、十二寡妇征西等等故事纯属虚构。
大宋朝不乏忠臣良将，宋太宗、宋真宗也没有无