人都十分恐慌，而吕端却好像是在书房读书一样，镇定自若。回朝后调任户部郎中、判太常寺兼礼院，再转任大理少卿、右谏议大夫。
吕端心胸豁达，有器量，喜欢开玩笑，虽然多次遭受排斥降职，未曾把个人的得失放在心上。
许王赵元僖任开封府尹时，吕端再次出任开封府判官。
淳化三年（992）十一月，赵元僖暴毙，御史武元颖、内侍王继恩查出他受爱妾张氏迷惑，做出不法之事。吕端因辅助有失，被贬为卫尉少卿。
适逢朝廷设置考课院，太宗将那些因获罪而无固定职位和俸禄的官员，召来问对。众官员皆悔恨伤心，眼泪哗哗的，推脱说环境艰苦难耐。
问到吕端时，吕端奏道：“臣以前辅佐魏王，因行为失检，而贬为商州副官，承蒙陛下不弃，又重新提拔任用为正职。今许王暴薨，臣辅佐无功，失职有罪，陛下没有重罚臣下，让臣在朝内任职，臣深感皇恩浩荡！现在有官员主管升谪褒贬的工作，若能成为颖州副使，臣之愿也。”
太宗道：“朕是了解你的。”
不久，吕端官复旧职，任枢密直学土。
过了一个月，淳化四年（993）六月十五日，吕端拜为参知政事，成为大宋朝的副宰相。
寇凖三十二岁成为枢密副使，三十三岁成为参知政事，是难得的青年才俊，深得太宗宠幸，前程一片大好。同为参知政事的吕端主动上表，请求让自己位居寇凖之下。
太宗为了平衡各方面的关系，单独在偏殿召见吕端，授吕端为左谏议大夫，位在寇凖之上。
太宗要给太子找辅政大臣，吕端成为这不二人选。吕端现在还是个副宰相，跟寇凖等人平起平坐，上面还有吕蒙正罩着。
太宗做事从不拖泥带水，说干就干，就想着任命吕端为相，然而，吕蒙正干得好好的，不能说撤就撤，总得找个理由，亦或是什么台阶。
于是，太宗有意无意间总是在朝堂上提起吕端，夸他会办事，要大家向他学着点，做事用点心，动点脑子。太宗的用意很明显，就是想看看百官对吕端的意见和态度。
说得多了，有官员就不耐烦了，在太宗面前说吕端的不是：“吕端这人是不错，就是容易犯糊涂。”
太宗道：“吕端小事糊涂，大事不糊涂。”
既然，群臣无其他异议，太宗决意用吕端为相。
过了几日，太宗在皇宫后苑举行宴会，作《钓鱼诗》道：“欲饵金钩深未达，磻溪须问钓鱼人。”意思是宰相非吕端莫属。
吕蒙正彻底明白了太宗的心思，主动请辞，让出了宰相位置。
至道元年（995）夏四月初七，吕端正式拜相，出任户部侍郎、同平章事，升任门下侍郎、兵部尚书。
吏部尚书、平章事吕蒙正罢为右仆射，成为参知政事。二吕的