公元前206年（汉元年），刘邦被项羽封为汉王，但其家属仍然在沛县。同年八月，刘邦令将军王吸、薛欧出武关，因南阳王陵军欲迎刘太公与吕雉等刘邦家属。楚发兵进驻阳夏，汉军不得前。
公元前205年（汉二年）四月，汉军乘项羽陷入齐地不能自拔之际，一举攻下楚都彭城。而项羽率骑兵迅速回防，与汉军战于睢水，汉军大败，吕雉等一帮众刘邦家为楚军所俘。直到公元前203年（汉四年）九月，楚汉议和方被放回归汉。
回到刘邦身边的吕雉却发现刘邦身边早已有了宠幸的戚夫人，此时的吕雉因为年龄长于戚夫人，常常作为留守，伴在刘邦身边的是那戚夫人。