1952年，胡耀邦调任团中央书记处书记。第二年，4岁的胡德华说着一口四川方言跟随母亲来到北京。有一次，胡德华不想去幼儿园，被严厉的母亲打了一顿。但父亲从来没打过孩子。“他很和蔼，特别喜欢孩子，别人的孩子他也喜欢，当时团中央气氛特别好，除了工作朝气蓬勃之外，在生活上特别融洽。我爸会带别的干部的小孩出去玩，别人也带我们家的小孩出去玩，整个机关里面特别温馨。”
调皮的小德华儿时是个结巴，有意思的是，从小就喜欢演说的胡耀邦也有些口吃。“大人总说‘哎呀，你就是学你爸’。父亲开会的时候‘啊，那个那个’，我也跟着‘啊，那个那个’ 最后他生气了轰我走，我就跟他做个鬼脸跑了。那会儿我爸和王震见面，人家都管他叫结巴子。”奇怪的是，随着胡德华长大，胡耀邦的口吃也渐渐矫正了。
全家团圆的幸福时光转瞬即逝，很快“文革”开始了，胡耀邦被打成“走资派”，胡德华也受到牵连，当时他还在上高中，理想是考清华大学、做工程师。然而刚读完高一，他就被分配到北京市政二公司工作，负责修马路。“当时我的工种叫‘壮工’，听着都可怕。我一天能吃掉一斤八两粮食，可见体力消耗有多大。”对于儿子当工人，胡耀邦并无异议，他还鼓励胡德华用第一个月工资给家人买礼物。
1973年，胡德华考入重庆通信学院，毕业后被分配到南京通信学院教书，在南京一呆就是10年。1986年，胡德华才回到北京，进入中科院软件研究中心工作。父亲去世时，他是唯一一个守护在病床边的亲人。1989年4月15日早上7时53分，胡德华目睹父亲的心电波骤然变成一条直线，整个人都蒙了。至今，他都不愿多谈那一天的情形，只说了一句“太沉重了”。短短的一句话，却有深藏的悲伤。
满妹：“思念依然无尽”
满妹是胡耀邦最疼爱的小女儿。在她童年对家庭的记忆里，第一印象就是客人特别多。“团中央的人都知道父亲的工作方式很特别，他不大去机关上班，却习惯把人约到家里来谈话、汇报工作、研究问题、撰写文章。他的书房和客厅，简直就成了团中央的另一个书记处办公室。家里常常一屋一屋的人，有时是和团中央的书记、部长们讨论如何写文件或报告，有时是和中国青年报社的总编、主任们研究社论的题目、内容和版面的安排。屋子里经常烟雾腾腾，像失了火似的他们一来，父亲就让公务员把香烟、瓜子、糖果等所有能吃的东西都拿出来招待，炊事员则不停地烧水沏茶，忙着给他们做饭。中午一过12点，下午过了5点，父亲必定留大家吃饭父亲恐怕从来没想过，一个5级干部的工资，如何在养活这个9口之家以外，再来应酬这车水马龙般的客人。仅父亲接待客人、买书、抽烟这三项，他的工资就有时入不敷出。秘书和公务员常常寅吃卯粮，到机关去借，通常是月初发工资时还账，月末又再去借。”
“文革”中，父亲下放，满妹去当兵，直到1975年复员回到北京。
满妹还记得，1977年父亲当上中组部部长后，蒙冤受屈的人们奔走相告：受了苦，找中组部；有冤枉，找胡耀邦。“那几年，我们家门口经常聚集着一些手拿材料的上访人员，满怀期待地等着父亲下班回家。父亲对身边工作人员早有交代：‘凡是来找我的上访人员，一律不要阻拦。’”有一天，胡耀邦凌晨两点多才睡下，一大清早，武汉钢铁研究院党委书记朱鸿翔就找上门来。“父亲连忙穿衣起床，听他诉说妻子的冤情。父亲听完后，真诚地对朱鸿翔说：‘请你给我一点时间，你看3个月行不行？如果过了3个月，你妻子的冤案还没平反，你再来找我。’这时已经7点多钟，快到上班时间了，我催父亲赶紧吃早饭。父亲匆匆洗漱后，将朱鸿翔领到餐厅，餐厅里还有6个上访的同志在等着。父亲请他们在餐桌边坐下，一边喝着稀饭一边说：‘时间紧，只能这样和大家说话了，请你们原谅。’向来吃饭很快的父亲，这顿早餐吃得时间很长。直到对6位上访人的冤屈都了解清楚，父亲才离开餐桌，并亲自把他们送到大门口。”
在胡耀邦主持平反的冤假错案里，有不少人是当年整过胡耀邦的。但他宽容大度，一样给这些人平了反。“我曾跟父亲开玩笑：‘俗话说宰相肚里能撑船，我看你的肚子里能跑航空母舰。’邓小平的女儿毛毛说过，你瞧耀邦叔叔打牌，他的牌拿在手上，另外三家都能看到。既无害人之心，也无防人之意，是父亲一生的最大特点之一。”
胡耀邦当上党的总书记后，频频外出下基层视察，子女们常常一两个月见不到父亲的面。“只有母亲对此习以为常，说：‘你爸爸在团中央的时候就是这样他书房里有一幅全国大地图，从墙顶一直垂到地面。他经常站在地图前沉思，然后在地图上画个圈，或者插上一面小红旗。画了圈的，是他下一次要去的地方；插上小红旗的，是他已经去过的地方 ’”
1988年底，胡耀邦心里涌起对故乡的深深思念。11月11日，他回到湖南长沙，几天后，在那儿度过了自己的最后一个生日。目睹家乡人民对自己的关爱，胡耀邦感叹道：“我这辈子有两个没有想到，一个是没有想到被放在这么高的位置上；一个是没有想到在我退下来以后，还有这么个好名声。”2005年，在胡耀邦诞辰90周年之际，满妹把这段话忠实地记录在《思念依然无尽——回忆父亲胡耀邦》一书中。
（本文部分内容参考《中国为什么要改革——思忆父亲胡耀邦》和《思念依然无尽——回忆父亲胡耀》本刊记者许陈静 刘