在这种背景下，王祥，这样一个著名的孝子，也当然不可能长久的居于草野了.
魏黄初年间，王祥被征召出山，担任徐州别驾，当时的徐州刺史叫吕虔，就是吕公刀中的吕公.
顺便说一下，黄初是曹丕的年号，那时候，王祥已四十岁上下，江东的那位吴下阿蒙，已经白衣渡江，夺了荆州了.
别驾是刺史的佐吏，很重要，总理一切杂务，如果别驾得力的话，刺吏就会轻松的多.而从历史上的记载来看，王祥的能力和责任感应该都很不错，在那时，民间有一首歌，是这样唱的:
海沂之康，实赖王祥，邦国不空，别驾之功.
海沂，就是徐州，从这首歌中可以看出，王祥，至少在徐州一地，是有着非常高的威望的.
又有声望，又会理政，用现在的话来说，王祥可以说得上是有德有才，德才兼备，绝对是个好干部料子，而吕虔也看到了这一点.
吕虔有一把很心爱的宝刀，但一直不敢配，为什么呢，因为，据说，只有三公之位方可佩戴此刀，福薄的人，是当不起的.
三公，曾是中国古代最高地位臣子的称呼，而在魏晋年间，三公要位列三师太师，太傅，太保之后，但仍然是非常了不起的大官，吕虔的野心和能力，都没有这个高度，所以，他就一直不敢用.
在各个朝代中，三公有着不同的定义，在魏晋时，三公指得是太尉，司空和司马，汉朝时则是大司徒，大司马和大司空，那位权势滔天的曹丞相，其实也可以叫做曹大司徒，另外，汉朝没有三师，三公就是最大的官了.那位志大才疏的袁本初公，便一直很自豪于他家的世代三公.
后来，他把这刀送给了王祥，这当然是一份很了不起的礼物，但也是一份很沉重的礼物，所以，在收下这份礼物时，王祥的反应，并非欢欣鼓舞.
而在随后的很长一段时间中，王祥的表现，似乎也在表明着吕虔的错看与错爱，稳健而谨慎的他，就从未放射出过灿烂的光芒，而当考虑到这是一个拥有着诸葛亮，马良，郭嘉，荀攸，周瑜和鲁肃的年代时，就更让人没法去将他重视.
转眼间，离他得刀的日子，已过了三十多年了.
三十年时间，老了刘备，逝了诸葛，司马懿与陆逊也已离去，上方谷的大战，已渐渐成为一个传说中的事件了.
可是，对王祥来说，这三十年时间，却就在一种单调和不急不忙，安宁平静的节奏中，慢慢的，和悄悄的过去了.
魏甘
露三年，七十五岁的王祥被任命为三老，这是一个专掌教化的官，很受人尊重，可以给皇帝上课，某种意义上来说，也可以算是帝师，以七十五岁高龄受用如此，王祥很满足，此时的他，早已将三公之说抛到了脑后了.
他没想到，转机，很快就要来了.