戚夫人因为自恃得宠，曾经常在刘邦面前哭闹（史载到达“日夜啼泣”之地步），意欲为自己的儿子赵王刘如意以夺取皇太子之位，刘邦在公元前205年（汉二年）六月即已立吕雉之子刘盈为太子，但即位为皇帝后，以刘盈仁弱“不类我”为理由，想要改立戚姬子如意为太子，因为“如意类我”。周昌、叔孙通等朝中大臣都坚决反对废长立幼。

有人为吕后设谋，让他找张良。吕后就让他的哥哥吕泽劫持张良，逼着张良献计。张良对吕泽说：“陛下在战争困难的时候确实能够听我的意见，但是，如今是因为爱而要废长立幼，这已经不是靠说能了结的事。但是，陛下非常看重的商山四皓（隐居在商山的四位年长的高士），却始终请不来，因为他们认为陛下对臣下态度一贯傲慢。如果你们想个办法把商山四皓请出来辅佐太子，让他们天天陪着太子，特别上朝之时陪伴太子，陛下一定会看见。陛下知道商山四皓辅佐太子，也许会有一用。”吕后立即付诸实施。吕后派吕泽让人带了太子的亲笔信，还带了一份厚礼，请“商山四皓”出山，这四位高士竟然全来了。

公元前195年（汉十二年），刘邦平定英布叛乱结束，但是，刘邦也在这次平叛中第二次受到致命箭伤。而且，由箭伤引发的疾病更加严重。此时的刘邦已经预感到人的生命是有尽头的；因此，刘邦废立太子的愿望也更加强烈了。张良劝阻无效，托病不再上朝。作为太子太傅的叔孙通以死相谏，刘邦假装听从，实际上废立太子的想法毫无改变。

一次朝宴，刘邦发现太子身边有四位八十多岁的老人，胡须、眉毛都白了，服装、帽子非常讲究。刘邦很奇怪，就问他们：你们是谁？四位老人上前回答，并各自报了姓名：东园公、甪里先生、绮里季、夏黄公。刘邦听说后大为吃惊：“我请你们多年，你们逃避我。为什么要随从我的儿子呢？”四位老人回答：“陛下轻视读书，又爱骂人。我们坚决不愿受辱，所以才因为恐惧而逃亡。如今听说太子仁孝恭敬，爱护天下读书人，天下人都愿意为太子效死力，所以我们就来了。”刘邦说：“烦请诸位好好替我照顾好太子。”

四位老人敬完酒，离去。刘邦看着离去的四位老人，指着他们对戚夫人说：“我想更换太子，但是，他们四位高士都来辅佐太子，太子的羽翼已经丰满，难以撼动了啊！吕后是真正的主人！”戚夫人听说后，立即失声痛哭，刘邦说：“为我跳一曲楚舞，我为人唱一首楚歌。”歌词说：“鸿鹄高飞啊，一飞千里。羽翼已成啊，横渡四海。横渡四海啊，还能作什么。即使有弓箭，对于高飞的鸿鹄还有什么用呢。”从此之后，刘邦再也不提废立太子之事。