他相貌俊俏，性格也颇风流自喜，虽对小龙女一往情深，从无他念，但许多少女见了他往往不由自主的为之锺情倾到，如程英、陆无双、公孙绿萼等人或暗暗倾心，或坦率示意。此刻他手抚床边，想起自己已成残废，若再遇到这些多情少女，在她们眼中，自己势必成为可笑可怜之人，武功虽强，也不过是个惊世骇俗的怪物而已。思潮起伏，追念平生诸事，情不自禁的低声说道：“只有姑姑，只有姑姑一人，别说我少了一臂，便是四肢齐折，她对我的心意也必毫无变异。”
正想到此处，忽听东面隐隐传来两人言语争执之声，听声音正是郭靖和黄蓉。杨过好奇心起，想听两人争些甚麽，寻声悄步，走到郭靖夫妇居室的窗外。
只听黄蓉大声说道：“这两人明明是抱了襄儿前去绝情谷，想换解毒药物，你口口声声还说杨过是好人？这孩子生下不到一个时辰，便落入了他们手中，这时还有命麽？”说到这里，语声呜咽，啜泣起来。
郭靖说道：“过儿决不是这样的人。再说，他累次救我救你，咱们便拿襄儿换他一命，那也是心甘情愿。”黄蓉泣道：“你情愿，我可不情愿……”
这时室中突然发出一阵婴儿啼哭，声音甚是洪亮。杨过大奇：“难道那小女孩已从李莫愁手中抢回来了？怎麽她又说‘这时还有命麽’？”屏住呼吸，凑眼到窗缝中张望，只见黄蓉手中果然抱著一个婴儿。那婴儿刚好脸向窗口，杨过瞧得明白，但见他方面大耳，皮色粗黑，脸上生满了细毛。那女婴郭襄他曾在怀中抱过良久，记得是白嫩娇小，眉目清秀，和这壮健肥硕的婴儿大不相同。黄蓉背向窗口，低声哄著婴儿，说道：“好好一对双胞胎，你快去给我找他姊姊回来。”杨过恍然大悟，才知黄蓉一胎生下了两个孩儿，先诞生的是女婴郭襄，其後又生一个男婴。当生这男婴之时，女婴已给小龙女抱走。
郭靖在室中踱来踱去，说道：“蓉儿，你平素极识大体，何以一牵涉到儿女之事，便这般瞧不破？眼下军务紧急，我怎能为了一个小女儿而离开襄阳？”黄蓉道：“我说我自己去找，你又不放我去。难道便让咱们的孩儿这样白白送命麽？”郭靖道：“你身子还没复原，怎能去得？”黄蓉怒道：“做爹的不要女儿，做娘的苦命，那有甚麽法子？”
杨过在桃花岛上和他们相聚多年，见他们夫妇相敬相爱，从来没吵过半句，这时却见二人面红耳赤，言语各不相下，显然已为此事争执过多次。黄蓉又哭又说，郭靖绷紧了脸，在室中来回走个不停。
过了一会。郭靖说道：“这女孩儿就算找了回来，你待她仍如对待芙儿一般，娇纵得她无法无天，这样的女儿有不如无！”黄蓉大声道：“芙儿有甚麽不好了？她心疼妹子，出手重些，也是情理之常。倘若是我啊，杨过若不把女儿还我，我还他的左臂也砍了下来。”
郭靖大声喝道：“蓉儿，你说甚麽？”举手往桌上重重一击，砰的一声，木屑纷飞，一长坚实的红木桌子登时给他打塌了半边。那婴儿本来不住啼哭，给他这麽一喝一击，竟然吓得不敢再哭。
便在此时，杨过突见西首窗下有个人影一幌，接著矮了身子，悄悄退开。杨过心想：“ 原来除我之外，还有人在窗外偷听，却是谁了？”当下蹑足在那人之後，只见那人身形婀娜，正是郭芙。杨过心头火起：“好啊！我正要找你！”突然身後一暗，房中灯火熄灭，听黄蓉气忿忿的道：“你出去罢，别吓惊了孩儿！”
杨过知道郭靖就要出来，在他眼前可不易躲得过，当即钻到假山之後，快步绕到郭芙房外，一跃窜高，上了她房外那株木笔花树，躲在枝叶之间。
过不多时，果见郭芙回到房中。只听得一个女子声音说道：“已打过二更啦，姑娘请安睡罢！”郭芙哼了一声，道：“我睡得著时自然会睡！你出去。”那女子应道：“是。”只见一名丫鬟开门出来，带上房门，自行去了。
过了半晌，只听得郭芙幽幽的一声长叹，杨过心道：“你还叹甚麽气？你断我一臂，我便也断你一臂，只不过好男不与女斗，此刻我下来伤你，虽然易如反掌，却不是大丈夫行迳。”略一沉吟，已有计较：“好，让我大声叫嚷，将郭伯伯叫来。我先将他打败，再处置他女儿。男儿汉光明磊落，再也无人能笑话我一句。”但转念又想：“郭伯伯武功卓绝，我真能胜得了他麽？只怕未必！那麽此仇就此不报了？”念及断臂之恨，胸间热血潮涌，将心一横，正要从木笔花树上跳下，忽听得脚步声响，一人大踏步过来。
只见他脚步沉凝，身形端稳，正是郭靖。他走到女儿房外，伸指在门上轻轻一弹，说道：“芙儿，你睡了麽？”郭芙站了起来，道：“爹，是你麽？”声音微带颤抖。杨过心中一惊：“莫非郭伯伯知我来此，特来保护女儿？好！我便先和你动手！打你不过，死在你手下便了。”
郭靖“嗯”了一声。郭芙将门打开，抬头向父亲望了一眼，随即低下了头。