出嫁后的第二年，也就是宋徽宗崇宁元年（1102年）七月，其父李格非被列入元祐党籍，不得在京城任职。其时被列党籍者17人，李格非名在第五，被罢提点京东路刑狱之职。九月，徽宗亲书元祐党人名单，刻石端礼门，共120人，李格非名列第二十六。而在同一年，赵挺之却一路升迁，六月除尚书右丞，八月除尚书左丞。为救父之危难，李清照曾上诗赵挺之。对此，张尝谓：“（文叔女上诗赵挺之）救其父云：‘何况人间父子情’，识者哀之。”（《洛阳名园记》序）晁公武亦云：“（格非女）有才藻名，其舅正夫（挺之字）相徽宗朝，李氏尝献诗云：‘炙手可热心可寒’。”（《郡斋读书志》）惜均未奏效。被罢官后的李格非，只得携眷回到原籍明水。

朝廷党争愈演愈烈，李格非“元祐党人”的罪名竟株连到李清照身上。崇宁二年（1103年）九月庚寅诏禁元祐党人子弟居京；辛巳，诏：“宗室不得与元祐奸党子孙为婚姻。”（《宋史》卷十九《徽宗本纪》）崇宁三年（1104年），“夏，四月，甲辰朔，尚书省勘会党人子弟，不问有官无官，并令在外居住，不得擅自到阙下”（《续资治通鉴》卷八十八）。据此，李清照与赵明诚这对原本恩爱的夫妻，不仅面临被拆散的危险，而且偌大的汴京，已经没有了李清照的立锥之地，不得不只身离京回到原籍，去投奔先行被遣归的家人。

政治风云变幻，世事翻覆莫测。崇宁四年（1105年）暮春，赵挺之始除尚书右仆射兼中书侍郎。六月，“（因）与（蔡）京争权，屡陈其奸恶，且请去位避之”，遂引疾乞罢右仆射（《宋史·赵挺之传》）。仅仅过了半年多，崇宁五年（1106年）二月，蔡京罢相，赵挺之复授尚书右仆射兼中书侍郎。与此同时，朝廷毁《元祐党人碑》，继而大赦天下，解除一切党人之禁，李格非等“并令吏部与监庙差遣”（《续资治通鉴拾补》卷二十六），李清照也得以返归汴京与赵明诚团聚。但是，宋徽宗大观元年（1107年）正月，蔡京又复相，无情的政治灾难又降到了赵氏一家头上。三月，赵挺之被罢右仆射后五日病卒。卒后三日，即被蔡京诬陷。家属、亲戚在京者被捕入狱，因无事实，七月狱具，不久即获释。但赵挺之赠官却被追夺，其子的荫封之官亦因而丢失，赵家亦难以继续留居京师。李清照只好随赵氏一家回到在青州的私第，开始了屏居乡里的生活。

李清照、赵明诚屏居青州，始于宋徽宗大观元年（1107年）秋。次年李清照25岁，命其室曰“归来堂”，自号“易安居士”。

“归来堂”，取义于陶渊明《归去来兮辞》。其时，曾对清照极为称赏的文学家晁补之与李清照之父同以党籍罢官归隐，自号“归来子”。