贞观二年(公元628年)，雨水比较少，中书舍人李百药上书说，这是因为太上皇征召了太多的宫女，皇宫里“阴气郁积”才导致干旱。
李世民很快下了一道诏令，将李渊身边的宫人裁减了3000多人，全部逐出宫中，按照李世民的说法就是：你们“任求伉俪”吧。
在李渊看来，宫女少就少点吧，能忍就忍了吧。
不过这事还没有完。
李世民当了皇帝，自然要治治以前那些不听话的人，于是李渊信任的裴寂也成了李世民的整治对象。玄武门之变前，裴寂一直支持太子李建成；玄武门之变的当天，李渊惶惑之中不知如何是好，萧瑀、陈叔达纷纷拍马屁，说秦王人心所向，而太子、齐王人心险恶，裴寂默默不言，对此不予评论。
李世民当然记在心里，于是将裴寂免官“遣还乡里”，接着又将他流放到位于今天四川阿坝的静州，就是要搞死这位李渊信任的老臣。
这一切李渊都看在眼里、记在心里。
他是识相的，李世民当上皇帝三年后，李渊从太极宫中搬到了大安宫居住。大安宫低矮狭小，夏天非常闷热，但李世民对老爸不予过问，自己却经常跑到隋炀帝留下的九成宫里避暑。有的官员看不下去，便上书建议李世民让老皇帝也去避暑乘凉，李世民对此并未理会。直到贞观八年，李世民才第一次邀请老爸李渊去九成宫避暑，但李渊推辞说，隋文帝就是在那里死的，我就不去了吧。
此时李渊的生命，已经剩下不多的时间了。玄武门之变后七年，唐帝国在他那个血腥上位的儿子手中，形势越来越好，并且攻破突厥，平定了让李渊心中一直隐忧的大患。这一年，李世民在汉朝原来的未央宫举行宴会，李渊难得地放松了一回抑郁多年的心情，让降服的突厥颉利可汗起来跳舞，又让南蛮的酋长冯智戴咏诗助兴，非常高兴地说“胡、越一家，自古未有也！”于是李世民趁机拿着酒杯上前给李渊祝寿，说，以前刘邦曾经在未央宫这里，讽刺过他的老父亲，刘邦妄自尊大，儿子我不跟他那样子，我给您祝祝寿！也不知道李渊此时，该是作何感想。
但随着时间流逝，李世民心中的愤恨和恼怒也开始慢慢沉淀下来，毕竟是自己的父亲，而李渊日渐衰老，在他看来，时日已经无多。就在去世前的一年，68岁的李渊宴请西突厥的使者用餐，李渊再次又感慨起来说，“如今蛮夷都降服了，这是自古未有的事情。”
而李世民则不知道为什么留下了眼泪，他