长驱直入江州，赶走陈友谅，晋升为亲军都护。冯胜又随军解安丰之围，迁升同知枢密院事。冯胜随军激战鄱阳，下武昌，克庐州，然后调兵攻取江西诸路。又与诸将收复淮东，克海安坝，取泰州。徐达围攻高邮不下，回军支援宜兴，而命冯胜督率所留军队。高邮守将诈降，冯胜命指挥康泰率数百人先行入城，城内守军关闭城门，将他们全部杀害。明太祖大怒，将冯胜召回，责罚十大杖，然后命他步行回高邮。冯胜既惭愧又气愤，拼力进攻。徐达也自宜兴返回，增兵攻克高邮，然后攻取淮安。安丰城陷，在旧馆擒获吴将吕珍。下湖州，克平江，冯胜功劳仅次于平章常遇春，再升为右都督。冯胜跟随大将军徐达北征，攻下山东诸州郡。
征伐山西
洪武元年，冯胜兼任太子右詹事。因犯小法而被贬官，任都督同知。冯胜率军逆河而上，取汴、洛，下陕州，直趋潼关。守将夜逃，于是夺潼关，取华州。返汴之后，前往明太祖行在谒见，被授为征虏右副将军，留守汴梁。随即跟随大将军征伐山西，由武陟攻取怀庆，越过太行山，克碗子城，取泽、潞，于猗氏擒获元右丞贾成。又克平阳、绛州，擒获元左丞田保保等，俘获将士五百余人。明太祖大悦，下诏命右副将军冯胜位居常遇春之下，偏将军汤和位居冯胜之下，偏将军杨璟位居汤和之下。
洪武二年，冯胜率军渡过黄河，直趋陕西，攻克凤翔。然后渡过陇水，攻取巩昌，进逼临洮，降服李思齐。又回军跟随大将军徐达围攻庆阳。扩廓遣将进攻原州，声援庆阳。冯胜扼守驿马关，打败其将，于是攻克庆阳，捉住张良臣。陕西全部平定。