单只留恋吕雉这一美色？况且刘邦从前在酒色场中厮混，免不得与区藕断丝连的。之前刘邦闲逛，巧合下遇见一个楚楚动人的女子，曹氏，二人郎有情妾有意，合了一场露水情缘，她却比刘邦正妻先有孕，到了分勉，生了一个男孩，叫刘肥。只是外妇。
刘邦任职亭长时曾请假回家务农，吕雉和两个孩子在田间锄草，有一位过路老人向其讨水喝，吕雉还留他吃了饭。
老人看了吕雉的面相，赞道：“夫人是天下贵人。”吕雉请他给两个孩子看相，他看了刘盈，说：“夫人之所以能成为贵人，是因为有这个儿子。”他又看了鲁元公主，也说将来是位贵人。
老人走后，刘邦从另一间田舍归来，吕雉向他说：“那位老人相我母子三人都是大贵之相。”
刘邦问老人在哪，吕雉说：“其走未远。”刘邦追及老人，求问自己的生相。老丈说：“刚才说夫人及令郎等生相大贵，都是由于您的洪福。您的生相是贵不可言。”刘邦连忙称谢道：“果真如老先生所说，我永远会记住您的指点之恩。”
这个老人其实是太上老君李耳的弟子铁拐李所变化也。
据说将来到刘邦登基后，这位老人早已不知去向。
刘邦做沛县亭长的时候，为县里押送一批农民去骊山修陵。途中大部分人都逃走了。刘邦自己度量，即使到了骊山也会被按罪被杀。于是走到丰县西的涸泽地带就停下来，饮酒大醉，夜里干脆就把剩下的所有农民都放了。并且对他们说：“你们都走吧，我从此也要逃跑了。”这些农民中愿意跟随刘邦的有十多个。刘邦带醉行走在丰西泽中，让一个农民在前面探路。这个人回来说：“前面有一条大蛇挡路，我们还是回去吧”。
刘邦趁着酒劲说：“大丈夫独步天下有什么害怕的！”于是走到前面拔剑将蛇斩断。蛇从正中间被分为两段。走了几里地，刘邦醉得倒下睡着了。
刘邦的队伍之中走在后面的人来到斩蛇的地方。看见一个老太太在路边连夜放声啼哭。问她为什么这样伤心，说：“我儿子被人杀了，所以痛哭”。问她儿子为什么被杀，说：“我儿子是白帝子，变成蛇横在路上，被赤帝子杀了，所以我很伤心”。人们以为她胡说八道、散布谣言，想打她，这个老太太突然不见了。后面的人赶到前面，刘邦才醒过来，人们报告了他这一情况。只有刘邦心里觉得很高兴，心生自豪感，跟随他的人越来越敬畏他。秦始皇曾经说：“东南方向有天子气”。于是亲自东游来验证，刘邦怀疑秦始皇说的就是自己，就躲了起来，藏到荒凉的芒砀山的深山老林中。
吕雉和其他人都寻找他，每次都能在人迹罕至之处找到。刘邦觉得奇怪，就问是怎么回事。吕雉说：“你在的地方头上总有云气凝结，所以我们根据这一现象总能找到你”。
这也是奇怪，吕公善看相，而吕公女儿吕雉善于望气，也可以说是吕家的独有特色了。
刘邦听了很高兴，欣然说道：“居然有这样的事，我曾经听说过秦始皇帝经常说东南方向有天子之气，所以他才经常东巡，意在以自己天子之气压胜，莫非始皇帝死了，王气还在，我刘邦能独当此乎？”
吕雉说道：“苦尽甘来，安知以后没有这样的事。但是如今甘还没有回来，苦楚已经吃得够了。”
刘邦又连忙问了妻子这段时间受苦的情况，等到吕雉说明底细，刘邦忍不住泪下盈眶。
原来刘邦西行之后，县令等他复报罪徒当民工的情况，久久没有消息。于是派遣衙役前去打探情况，方才知道刘邦私自纵放罪徒，逃跑了。县令当下派役吏去搜查刘邦的家，也没有着落，此时刘邦的父亲太公已经让刘邦分居在外面，幸免诛连。只有吕雉连坐夫罪，竟然被县役拘捕送到县里，囚禁了起来。秦朝监狱本来严苛暴虐，狱吏那是作威作福，任意凌辱。且因为吕雉尚是年华未衰，有些姿色，那些监狱官往往在一旁调戏，并且嘲笑她。
吕雉举目无亲，没办法只好忍耐着性子，忍受着这些羞辱，巧是有一个小吏任敖，也在沛县之中看管监狱里的囚犯，平时和刘邦曾经有过一些交情友谊，一听说刘邦的妻子入了监狱，便有心照顾，虽然吕雉不归他管，但是自己在监狱里面工作，也是方便探视的。某天，任敖又过去看望吕雉，看见一样狱吏吆喝声、辱骂声，浪笑声不断，字字无礼，句句下流。顿时侠肝