张安世年轻时曾担任郎官，后来因为为人忠厚而受到大将军霍光重用，任车骑将军，忠信谨慎，勤劳政事，日夜不怠。霍光去世后，朝中大臣上疏举荐张安世为光禄勋，皇上也想重用他们父子。
张安世可能深知“知足不辱，知止不殆，可以长久”的道理，知道如果放纵贪婪的欲望不知满足，早晚会招来羞辱和灾祸。所以当他听说皇上还要对他加官进爵时，惧不敢当，去求见皇帝，摘冠叩头，说自己不足以担任这么重要的官位，希望皇上保全他的性命。皇上笑着说：“你太过谦了，你要是不行，还有谁行呢？”张安世仍旧坚辞不受，皇上没有答应。数天后，任他为大司马车骑将军，兼领尚书事，后来又改为卫将军。
张安世总是身穿黑绨，夫人亲自纺织。他看到自己同儿子都尊贵显耀，心怀不安，曾特地替儿子请求外出补官。
张安世曾经向朝廷举荐官员，那人后来向他道谢，张安世很后悔，认为举贤荐能，岂有私谢之理？从此便与此人断绝了来往。
有一郎官来找张安世，说他自己功高却没有升职，张安世说：“你功劳高了，圣明君主必然会知道。作为臣子任职，怎么能自己宣说自己的长短呢？”从而拒绝提升他。过了不久，这个郎官却又得到了升迁。张安世就是这样匿名迹远权势，公私分明，不喜欢让人知道他的恩惠。
他的忠厚还体现在他善于隐人过失。在任光禄勋时，有位郎官因为喝醉酒在殿堂上小便，主事将这件事禀报了张安世，想要按法处罚，张安世却说：“怎么知道那不是反水浆呢？”
张安世虽位高权重，但却以谨慎周密而著称，内外无漏洞，自始至终谦恭不骄，史书称赞他“满而不溢”。皇帝非常信任和敬重他，去世后赠印绶，送轻车甲士，谥号“敬侯”。他的子孙继承了他谦恭、知足的美德，也受到朝廷重用。