重兵去攻曹的大本营，结果不能够攻下。很快，乌巢兵败，消息传来，袁军军心动摇。郭图闻讯后大为羞愧，为推卸责任，诬谗张不卖力作战，失败后还言不逊。张心中害怕，与将军览愤而投奔曹。曹闻张来降，十分兴，将此事比作微去殷、韩信归汉，于是拜张为偏将军，封都亭侯，授予他队，随军作战。

[204年]，张随曹攻克邺城，大败袁尚。次年，又随曹在南消灭袁谭势力。

[207年]，曹远征乌桓，张与张辽共为先锋。战后，张因功升为平狄将军。后来，张又参加了征讨承，征讨陈兰、梅成等人的作战。

[211年]，超、韩遂叛，张随曹征，在渭南大破关中军。继而，张率军围攻安定，击降杨秋。

[214年]，超在张鲁支持下，卷土重来。张跟随夏侯渊击败超，并平定了宋建的叛。

[215年]，曹亲率大军攻汉中，从散关，派张率五千步兵在前开，一直到平。张鲁投降，曹回军，留张与夏侯渊、徐晃等守汉中，以拒刘备。同年，张率兵南下攻西郡，迁徙当地百姓到汉中。刘备派征虏将军张飞为西郡太守，抗击张。张军至岩渠，被张飞击败，率残退回南郑，改任寇将军。

[218年]，刘备攻汉中，屯于平，夏侯渊、张、徐晃等率军迎击，张负责防守广石。刘备亲自率兵万余人，分为十，夜间猛攻张。张亲自率兵与蜀军行搏斗，刘备不能攻克。次年，魏军主帅夏侯渊在定军山战死，曹军大败，张同败军一起退守平关东。司郭淮和督军杜袭收敛散卒，推举张继夏侯渊为魏军主帅。张任，指挥士兵，布置营寨，军心安定。刘备渡汉来攻，见魏军在汉以北列阵相迎，刘备于是放弃渡河，隔相持。不久，曹遣使令张假节。后来，曹亲自攻汉中，不能取胜，于是撤汉中的队，令张屯兵于陈仓。

[220年]，曹丕即位，任命张为左将军，封都乡侯。不久，曹丕称帝，又封张为侯，随即命令张跟随曹真征讨安定的胡羌，之后与曹真一同朝朝见。

[223年]，张同夏侯尚一起攻江陵。张别督诸军渡江，攻取洲上屯坞。

[227年]，魏明帝曹即位，张奉命屯兵荆州，与司懿攻孙权将刘阿等人，追至祁战，击败吴军。

[228年]，蜀相诸葛亮第一次北伐，南安、天、安定三郡响应。魏明帝曹加张位特，使督诸军，与蜀将谡战于街亭。谡依守南山，下不据城，被张截断源，杀得大败。继而，张又平定了三郡的反叛。魏明帝曹下诏嘉奖张，增加邑1000，前后一共4300。司懿在荆州训练军，从沔江顺长江伐吴，魏明帝曹命令张率关中诸军去荆州接受调度。张到达荆州后，正值冬天浅，大船无法通行，于是又回军屯驻方城。同年年底，诸葛亮第二次北伐，散关围陈仓。魏明帝曹急招张京，把三万士兵给他指挥，并派遣武卫、虎贲等侍卫保护张。魏明帝还亲至河南城置相酒送，问张能不能来得及救援陈仓，张判断诸葛亮军没有粮草，一定不能持久，便回答等援军赶到时，诸葛亮已经退走。张率军连夜赶到南郑，诸葛亮果然退军，于是奉诏还于京都，被拜为征西车骑将军。

[231年]，诸葛亮第四次北伐，张随司懿前往相拒。后诸葛亮粮尽退兵，张追至木门，与诸葛亮军战，被飞矢中右膝，死亡，被谥为壮侯，儿张雄继嗣。由于张前后征战有功，魏明帝分张的邑，封张的四个儿为列侯，封他的幼爵为关内侯。