杨博虽然发狠，可是他老人家的身体已经不允许了，从唐毅那里回来，没有三天，杨博就昏迷了。
身为吏部天官，责任至重，分管吏治的高拱又是个工作狂、急脾气，哪怕着急白银危机的事情，吏治这块也从来没有放手。
越是灾祸临头，地方的官吏就越容易上下其手，戕害百姓，高拱必须把这帮人都盯住了。杨博病倒，没有办法理事，到了第五天，高拱就亲自造访，仔细打听，说了一大堆的好话，和往常专横跋扈的作风一点不一样。
杨博都成了精，哪里看不出高拱的算盘。
他把儿子叫到了身边，“吏部尚书是做不下去了，爹要给人家挪窝。”
杨俊民眼圈发红，惊得手脚无措，“爹，您老是大家伙的顶梁柱，这种时候，没有您老护着，可怎么办啊？”
杨俊民说的声音很大，外面隐隐传来哭声，都是晋党在京的官吏，还有张允侠和王崇观等人，见杨博倒下了，一个个哭得和泪人似的。杨博听在耳朵里，无比的烦躁，眼前又是一阵阵发黑。
缓了半天，杨博才断断续续说道：“眼下朝堂，虎狼横行，没有一个善茬子，老夫知趣一点，还能给你们留一点香火，要是我死赖着不走，连这点香火人情都没了，你懂吗？”
杨俊民惊得说不出话来，迟疑了半晌，才试探问道：“爹，高胡子会保着咱们？”
“你太嫩了！”杨博哀叹一口气，“高拱没有那个本事，眼下谁也保不了咱们，你记着，咱们只有躲到别人看不见的地方，别挡着人家的路，坏了人家的事，他们想要什么，就让人家拿。”
“爹，那不是砧板上的肉吗？”杨俊民都快哭了。
杨博凄惨一笑，“不这样还能如何，越王勾践卧薪尝胆，什么苦没吃过。你记着，只有活下来，才有机会。不要和唐毅斗，你们谁也不是他的对手，只有等！”
“爹，唐毅才三十出头，要等到什么时候啊？莫非咱们永远都出不了头儿？”
杨博老眼闪光，压低了声音，对儿子说道：“陛下非是长寿之相，唐毅也没有胆量取代大明。等着，等到一朝天子一朝臣的时候，唐毅就完了，他是人，不是神，他斗不过皇帝的，斗不过的……”
杨博喃喃自语，真的斗不过吗？其实他的心里也没有数，可没有了这点念想，晋党还剩下什么了？
六月末，杨博上书，说是中了暑气，老病复发，不能视事，恳请回家休养。
隆庆象征性地挽留杨博，等到杨俊民带父上书，隆庆不得不同意，派遣锦衣卫，护送老天官回家。
杨博离开了京城，作为两朝元老，嘉靖的托孤重臣，他在这时候离开，对于处在低谷的晋党，又是沉重打击，这一年的时间，兵部丢了，吏部丢了，内阁大学士也失去了，遍观整个台面，只剩下一个并非晋党核心的葛守礼，勉强能扛起大旗，剩下的小猫两三只，已经无足轻重。