牢固，仓促间肯定攻不下来。如果淳于琼等人被俘，我们也就要当俘虏了。‘结果袁绍听信郭图。不听张郃的劝阻，派他攻打曹军营，结果不但没攻下，缺乏救援的乌巢也被劫了。

郭图将计谋失败后，诬陷张郃失败后言不逊，张郃等将领惧怕被追究，于是投降了曹。曹对张郃的投降到兴，亲自迎接并称‘如微去殷，韩信归汉也‘，此后担任著偏将军、封都亭侯。这就是张郃归顺曹一事了，从此其也就踏上了辉煌的一生。

建安二十年，曹西征张鲁，抵达陈仓，准备从武都郡氐族落;氐族人挡住路，曹派张郃统帅大军讨伐梁兴和氐族首领窦茂所。不久从散关汉中，派张郃率五千步兵在前开，一直到平。张鲁投降，曹回军，留张郃与夏侯渊、徐晃等守汉中，以拒刘备。

同年，张郃别督诸军南下攻东、西二郡，将当地百姓迁徙到汉中。刘备派征虏将军张飞为西郡太守，抗击张郃。张郃率军至宕渠，与张飞相拒五十余日，张飞率兵万余人从小攻张郃，由于山狭窄，首尾不能相救，张郃大败，仅带十余人弃爬山逃跑，之后收拢败兵，撤回南郑。升迁寇将军。

建安二十四年，刘备亲自率兵万余人，分为十，夜间猛攻张郃。张郃率亲兵与蜀军行对抗，刘备不能攻克张郃，写信要求益州拨发援兵。诸葛亮一时迟疑不缺，从事杨洪劝:‘汉中是益州门，没有汉中就没有益州，还迟疑什么‘诸葛亮恍然大悟，立刻发兵增援。

其后，刘备退走谷，放火烧营，夏侯渊知张郃兵少，调分兵力来增援，并救火，途中遇上刘备军，被蜀军所杀。曹军大败，张郃同败军一起退守平关东。而当刘备听闻夏侯渊被斩杀，只说:‘要杀就杀张郃，杀夏侯渊有什么用!‘

司郭淮和督军杜袭收敛散卒，郭淮见状，便说:‘张将军是国家的名将，刘备也忌惮他。现在形势迫，只有张将军才能安定军心。‘于是众人推举张郃任主帅，指挥士兵，布置营寨，军心安定。不久，曹遣使令张郃假节。刘备渡汉来攻，见魏军在汉以北列阵相迎，刘备于是放弃渡河，隔相持。曹亲自攻汉中，不能取胜，于是撤汉中的队，令张郃屯兵于陈仓。

延康元年，曹丕即魏王位后，任命张郃为左将军，封都乡侯爵位。等到曹丕登基之后，又封他为鄚侯，命令张郃与曹真率领兵征伐盘踞在安定一代的卢胡人和东羌人。战斗结束后，曹丕又在许昌召见了张郃、曹真，派张郃南下与夏侯尚一起攻东吴政权的江夏郡。张郃独自率领几路大军渡过长江，夺取了百里洲上的吴军堡垒。

太和二年，蜀汉丞相诸葛亮大举北犯，天、南安、安定三郡吏民叛应诸葛亮。当时朝臣未知计所，曹睿自信地说:‘诸葛亮恃险固守，不易攻。现在他自动来了，正符合引敌人的战术。打败诸葛亮是一定的了。‘于是曹睿给张郃加官特，让他总督各路军，在街亭阻挡诸葛亮的将谡。