隋炀帝要去太行山，开辟直道九十里，一直通到张衡的家里。
隋炀帝到了张衡的老家之后，发现那里的山泉特别甜美，在那里饮宴三日，与当地的父老欢聚一堂，真是给足了张衡的面子。
隋炀帝说：“当年，朕随先帝一起去太行山，途经洛阳的时候，就想过来看看，一直没有这个机会，今日终于实现了这个夙愿。”
直把张衡感动得拜伏于地，不知道说什么好了。
张衡捧杯祝酒。
隋炀帝很高兴，都一一地喝下了，并且，给了张衡很多的赏赐。
这份恩宠是任何一个臣子也不曾享有过的。
因此，张衡显得有些骄贵。
隋炀帝把手中的笔放下了。
“朕今日召你，是有一件事想让你去处理一下。”
“但不知陛下说的是何事？”张衡问道。
“前段时间，朕去了汾阳宫，朕觉得那里有点破旧不堪，有损我们皇家的威仪，因此，朕想扩建汾阳宫，你和纪弘去整画图纸，然后呈报上来给朕看。”
张衡听了之后，心想这隋炀帝也太能折腾了，连忙劝阻道：“陛下，这几年，朝廷修筑长城，修建东都洛阳、显仁宫和西苑，又开凿京杭大运河等等一系列大工程，耗费了众多的民力、财力。
百姓疲惫不堪，已经怨声载道。
如今，朝廷若不是裴蕴推荐了‘貌阅法’，国库已经空虚，那汾阳宫已经够气派的了，何必再要扩建呢？
因此，老臣建议陛下暂缓扩建汾阳宫。”
“你只知其一，不知其二，西域诸国经常会有使者往来于此，若是让他们看到汾阳宫如此破败不堪，岂不是有失国体，让那些西域诸国小看了我们大隋？”
“陛下此言差矣，吴起曾经说过‘在德不在险’，当年，他与魏武侯一起论山河之固时，就曾指出，真正能够守护江山社稷的，在于德，而不在于山川之险和宫殿的巍峨。
当年，萧何替汉高祖刘邦修建长安的宫殿，就曾经受到世人的指责。
并非宫殿越高大气派，就越能镇住四方，而在于君主实行德政。
只要陛下德佩四海，施行仁政，不要说汾阳宫已经十分巍峨壮观，就是断壁残垣，也不影响陛下的威名。
换句话说，如果陛下施政无德，那汾阳宫就是修建得再高大壮观，也没有用。”
“放肆，大胆！”隋炀帝气得把龙书案一拍，“朕让你去办此事，那是看得起你，你到底去也不去？”
“如果陛下一定要扩建汾阳宫的话，那就请陛下另请高人吧。”
这张衡今天也拧上了，竟然硬生生地给顶了回去。
“行，朕今日就不用你，看能不能把汾阳宫修建好。”
君臣二人就这样不欢而散。
当张衡走出宫门之时，隋炀帝对太监张成说：“张衡认为，如果不是因为他，朕当初就做不了太子。朕的江山都是拜他所赐的。”
“陛下，奴才也认为张大人有失为臣之道。”张成说。
张衡郁郁寡欢地回到了自己的府上。
小妾田氏强颜欢笑，迎了上来，问道：“你怎么了？怎么看上去气色不太好，皇上都和你说了些什么？”
张衡长叹了一口气，就把隋炀帝所说的话对她诉说了一遍。
“陛下让你去扩建汾阳宫，那你就去办，反正又不花你的钱，他爱怎么折腾就怎么折腾呗。”
“胡说，我身为朝中大臣，当看到君主有不适当的举措时，自然要强言直谏，这才是我做臣子的本分。
如果像你所说的那样的话，我和那些奸佞小人又有什么区别？”
田氏听他这么一说，不敢再说话了。
张衡叹息道：“陛下变了，已经不是当初的晋王了，若是在当初，我说什么，就是什么。
如今，他做了皇帝，变得好大喜功，昏庸无道。
想当年，秦始皇修筑长城，修建骊山陵墓、阿房宫，秦朝仅维持了十五年，二世而亡，我看他是要步秦二世的后尘啊。
我现在都有点后悔了，如果当初杨勇继承皇位的话，虽然他的能力不如杨广，但是，杨勇绝不会像他这样折腾的，大隋朝定会长治久安，代代相传下去的。”
田氏听在耳里，记在心里，她把张衡所说的这些言论，一一记录了下来。
这一天，隋炀帝单独召见裴蕴。
不知道为什么，隋炀帝发现自己越来越离不开裴蕴了。
裴蕴说话办事，总是能让他满意。
在裴蕴的一番颂扬之下，隋炀帝心情大悦。
裴蕴趁机奏道：“最近，张衡的某些行为，似乎有违朝廷制度。”
“哦？张衡都干了些什么？”
“据哨探来报，张衡私自把伊阙令皇甫诩带到了汾阳宫，这是有违朝廷制度的。”
“你说得没错，我什么时候让皇甫诩到汾阳宫去了？张衡这样做，是什么意思呢？”
“这就不得而知了。
可能他觉得自己是朝中老臣，功劳甚大，想怎么干就怎么干。
陛下，你还记得吗？当年你到涿郡以及祭祀恒岳时，前来拜见你的百姓，衣冠不整，这岂不是有违礼法吗？”
“裴爱卿，你要不说的话，我差点都忘了，确有此事，张衡作为司法官，这是他的职责，他却不能检举处理此事，是一种失职行为，按照朝廷的制度当罢免他的官职。”
“陛下圣明。”裴蕴听了，心头窃喜。
隋炀帝长叹了一口气说：“算了吧，我念他昔日有功，不忍心罢免他的官职，就让他出京去做榆林太守吧。”
裴蕴心想这样倒也还不错，只要张衡离开了京师这个权力中心，自己将会有更大的话语权，以后再慢慢收拾他。
“陛下，不过，还有一事，臣要提醒陛下。”
“什么事？”
“我听说，陛下最近在重用一对兄弟程咬金和程咬银。”
隋炀帝听了，哈哈一笑，道：“也谈不上什么重用，那程咬金参加比武大会夺得了副先锋的将印。
他的兄弟程咬银不过是一名小小的队长，不过，他们兄弟俩确实帮助我们隋军东征西讨，立下了不少功劳。”
“陛下，据我所知，那程咬金十分奸狡。
而且，有结党营私，树立朋党之心，他和翟让、李密、杨玄感等人混在一起，最近，又和裴仁基父子结交上了。”
这就叫咬人的狗不露齿，这一条要是坐实了，那就是掉头之罪。
不过隋炀帝却也没有糊涂到那种地步，他说：“一个小小的副先锋和一名小队长能掀得起什么风浪来？不必大惊小怪。”
裴蕴见一口没咬中，把话锋一转，说道：“我建议陛下，像这些人只能利用，不能视为心腹，一旦战争结束，立即把他们的兵权收缴了才好。”
“这一点，朕自然明白，虽然程咬金的祖上是当官的，他的曾祖程兴，北齐兖州司马；
祖父程哲，北齐晋州司马；
父亲程娄，济州大中正，可是，后来他们家道败落了。
程咬金便成了绿林中人。”
“陛下，所言甚是。不过，对于礼部尚书杨玄感，希望陛下能对他提高警惕。
我听说，他对他父亲杨素之死，一直耿耿于怀，甚至认为他父亲的死和陛下有关系。”
“哦？此话怎讲？”
“当初，杨素负责修建显仁宫，却死伤了几十万民工，没有向陛下报告，后来，陛下知道了这件事，责罚了他。
杨素内心惶恐不安，郁郁寡欢，得了重病。
后来，在他生病期间，虽然陛下也派御医前去探望，可是，不知怎么的，杨素就不吃药了，他兄弟杨约去劝他吃药，他也不听。
紧跟着，很快，杨素便死去了。
为此，杨玄感和他的几位兄弟心中颇有怨言。