上《百官图》之后不久，枢密副使蔡齐提议迁都西京洛阳。这是太祖遗志，也有其可行性和必要性，每隔一断时间就会有官员提起，本不稀奇。特别是去年徐平在京西路把洛阳城整治得好生兴旺，河南府又有天量的飞票握在手里，此事早就有人提，只是蔡齐的地位足够高，引起了更多的重视。蔡齐提议迁都，范仲淹反对，认为洛阳已非王城所宜。
到这一步还没有什么，迁都徐平也同样不同意。好不容易离开京城的王公贵族各种各样人物的影响，建起了洛阳这个新兴的工商业中心，把首都迁过来，难道徐平要再找个地方把同样的事情做一遍？京城还是在开封城好了。
对于迁都的事情赵祯询问吕夷简的意见，这样送上门来的机会，不说范仲淹几句坏话吕夷简也就不是吕夷简了。回答赵祯的时候，吕夷简说“仲淹迂阔，务名无实”。虽然吕夷简心里同样是不同意迁都的，但他偏不说自己的意见，只贬低范仲淹。
事情传了出来，范仲淹连上《帝王好尚》、《选贤任能》、《近名》和《推委》四论，对吕夷简的说法做出了针锋相对的回应。又把吕夷简比之为汉成帝之张禹，指责他“以大为小，以易为难，以未成为己成，以急务为闲务”。范仲淹的意思本来说的是其他事情，偏偏现在京西路是吕夷简的心病，以为说的是那里，就此撕破了脸。
上《百官图》，还能说是范仲淹作为侍从大臣，对宰相的用人心有疑义，提出自己的看法，把图表给君王做参考。后来对吕夷简的指责，就是直接批评其执政能力，再不能像前面那样马虎过去了。两人崇政殿里当面争吵，出宫之后交相上书，闹得不可开交。
不但是吕夷简和范仲淹两人针锋相对，馆阁官员和台谏言官不少人也加入了进去，声势越来越大。最终以吕夷简说的“越职言事、荐引朋党、离间君臣”为此事做结。范仲淹落职，贬知饶州。
此事如果到这里就此结束，还只是一场不大不小的**，并没有什么特别。偏偏吕夷简觉得这样下去不是办法，他结党营私虽然轻易不落下把柄，但满朝的官员又不是瞎子，怎么可能看不出来？这次赶走一个范仲淹，难保明天不会又出来一个。特别是馆阁里的年轻官员情绪已经被范仲淹调动起来，又颇有几个无法无天之辈，最终决定借着这次机会把这个隐患清除。指使侍御史韩渎，上书要求把范仲淹之事榜于朝堂，戒百官越职言事。
这是以御史台的名义报请赵祯施行的，帝王深以朋党为戒，赵祯没有阻止。
这才是捅了马蜂窝，赵祯亲政才几年？大规模地贬逐言事者已经有三次了，而且两次被当头打击的就是范仲淹。自太祖登基，便就戒子孙不得杀上书言事者，别说是官员，普通百姓还能够对朝政发表自己的看法呢。特别是年轻官员，地位低的时候，就是通过上书言事施展自己的抱负，让上位者发现自己的才华。
以馆阁官员为主，陆续有尹洙等人因为替范仲淹伸冤，被贬出朝堂。接着又有欧阳修写《与高司谏书》，痛骂高若讷，说朝堂御史台的榜上已经禁了非台谏不得言事，他作为谏院的主官，非但对此事一言不发，私下里还说范仲淹“狂言自取谴辱，岂得谓之无辜”。
欧阳修骂高若讷非常难听，充分展示了他超人的文采，其中一句“不复知人间有羞耻事”还流传后世。最终把老实人高若讷骂毛了，把欧阳修的书呈给朝廷，欧阳修就此被贬为夷陵县令。谏官是有特殊地位的，欧阳修这样骂自己爽了，受到的惩罚就特别重，到夷陵可不是知夷陵县事，而是夷陵县令，直接贬到选人行列去了。
此后又有另一个天不怕地不怕的狂人蔡襄写《四贤一不肖》诗，接着骂高若讷。不过蔡襄出身大族，背景深厚，最终安然无事。而欧阳修此时已经跟他的第一个岳父胥偃因为立场不同而闹翻，这个时候可就没人帮他说话了。
这一场政治冲突因范仲淹上《百官图》而起，本来并不大，最后闹成一场巨大的**，固然有范仲淹不妥协的原因，但也正说明了此时朝堂内部斗争激烈到了什么程度。
（备注：范家和吕家真正结仇就是因为这一次风波，但对于当事人来说，范仲淹和吕夷简并没有成为死对头，他们很大程度上还只是因为政治争端，不涉及私人感情。历史上后来西北乱起，两人还自比唐时郭子仪和李光弼，握手言和。但此次被贬出京，范仲淹的原配李夫人因为旅途劳顿，积劳成疾去世，却让范仲淹的儿子再也不能原谅吕夷简。偏偏不管是范仲淹还是吕夷简，家庭教育都非常成功，儿子一样都位至宰辅。结果就是吕夷简的子孙以自己家里存的范仲淹书信为证，说两人晚年和好，范家则坚称那些书信是吕家伪造的，因为母亲的死，父亲是无论如何不能原谅吕夷简那个奸贼的。欧阳修写范仲淹的墓志，有两人和好的内容，并坚持是自己的亲身经历，不肯修改。范家就把墓志的这一部分凿掉了，与欧阳修的关系也变得冷淡。因为此事，甚至引起富弼、韩琦和欧阳修等等当时亲历者的矛盾。加上这些备注，是说明当时的情况绝不是像后来说的那样黑白分明，范仲淹是大忠，吕夷简是大奸，其实实际情况远比这样的认识复杂。历史本来就是如此，在后人的眼里只剩下黑白两色，但本来其实是彩色的。）