胡耀邦和夫人李昭，一生共养育了4个子女。
长子胡德平，1942年出生，北京大学历史系毕业，历任中央统战部副部长、全国工商联党组书记，现任全国政协常委、经济委员会副主任。次子刘湖，1945年出生，他出生后不到40天，胡耀邦夫妇要赶赴前线作战，将他送给陕北老乡刘世昌抚养，并坚持让孩子跟老乡姓刘，老乡便给孩子取名为“湖（胡）”。刘湖直到10多岁才回到胡耀邦身边，清华大学化工系毕业，后为华润集团常务董事，副总经理。三子胡德华，1948年出生，毕业于重庆通信学院，曾在中科院软件研究中心工作，后下海办公司。女儿李恒，1952年出生。胡耀邦夫妇一直渴望有个女儿，高兴地叫她“满妹”，意思是“满足了”，直到她长大参军，才随母姓，取名李恒。离开军队后，她就读于北京医学院，后任中华医学会理事、中华医学基金会理事。
现在父亲胡耀邦离开他们已经22年，但在他们心中，父亲的言传身教永在眼前，他们对父亲的思念永在心间。
胡德平：“追思追远语纷纷”
年近70的胡德平，与父亲胡耀邦晚年时的相貌很像。作为长子，他有幸在父亲身边成长，父亲的思想和精神对他的影响是一生一世的。提及他现在所关心的民营经济，胡德平会很自然地说起父亲留给他的种种记忆。
胡德平至今都记得，“文化大革命”初期，他还是北京大学历史专业的学生，与身为“走资派”、已经被打倒的父亲进行了一次坦诚的交心。
“当时都以阶级斗争为纲人们的衣食住行、经济问题，被认为是最简单、最一般的，或者不屑一顾的。就在1967年上半年的一个晚上，父亲问我，（对）‘文革’情况（怎么看）。我就像念经一样的，说什么阶级斗争啊。就是在这一次，他第一次开口，说你翻翻《毛泽东选集》第一卷，其中有一篇文章叫《必须做好经济工作》。说到这儿的时候，他忽然很严肃。他说，德平，你不是老说阶级斗争吗，毛泽东在这篇文章里面说了，我们苏区搞经济建设这是个伟大的任务，这是一个伟大的阶级斗争。一下子就把我说蒙了，他的意思是什么呢？在革命战争时期，我们要流血牺牲，要打仗，我们还搞经济建设，现在我们掌权了，怎么就对经济建设没有一个议论的空气呢？这对我是一个震动。”这次交谈使胡德平开始对经济有所认识，为他以后的人生打开了历史研究之外的另一扇窗——关注民营经济。
1975年，已是花甲之年的胡耀邦恢复了工作。一年之后，“文革”结束。此时的胡耀邦满怀激情地想多做些事情。他对子女们说，“有什么民情民意，都可以向我来反映，我来办”。当时，胡耀邦虽然没有明确提出打破计划经济，但是对于社会上出现的一些自谋出路的人，却很赞赏。“父亲赞成那种离开旧有体制、自己来创业（的人），而且他相信（这些人）会生活得很好。原来我们住在富强胡同，1984年，我们要搬到新住址去，父亲的一个警卫参谋也跟着我们一起搬，但想把他原来的房子留下来。我父亲就说，我们的房子要交给团中央，你把你现在的房子也交出去，我们（现在）的政策（是）富民政策，就是让人们今后用自己的所得，可以买得起房子，买得起汽车，你不要这么近视。”