公元133年(阳嘉二年),张衡升任侍中,顺帝任用他在自己身边对国家的政事提出意见。顺帝曾询问张衡天下所痛恨的人。宦官们害怕他说自己的坏话,都用眼睛瞪着他,张衡便用一些不易捉摸的话回答后出来了。但宦官还是担心张衡以后会成为他们的祸害,于是群起毁谤张衡。张衡常想着如何立身行事。认为吉凶祸福,幽暗深微,不易明白,于是作《思玄赋》,以表达和寄托自己的情志。
公元136年(永和元年),张衡被外调任河间王刘政的国相。刘政骄奢淫逸,不遵法纪;又有不少豪强之徒,纠集一起捣乱。张衡到任后,严整法纪,打击豪强,暗中探得奸党名姓,一时收捕,上下肃然,他为政以清廉著称。任职三年后,张衡上书请求辞职归家,被征召拜为尚书。