时，塞外的胡人已经在檀石槐的统治下而变得非常强盛。因此，张辽所在的雁门郡经常遭到胡人的杀掠洗劫，张辽从小就养成了勇武好战的性格。

熹平六年（公元177年），雁门郡的军民曾与一些匈奴人联合反攻檀石槐，却大败而还，死伤惨重。

张辽的族人在此战中损失颇多，年幼的张辽不但没有伤心，却更加坚定了张辽对抗敌人的决心。

经此之后，张辽无论习武还是学习兵法更加的刻苦，在少年时便成为雁门郡的郡吏。

中平五年（公元188年）三月，并州刺史张懿在抵御胡人的进攻时，战败被杀。

继任为并州刺史的丁原因为张辽武力过人，素知兵法，召其为从事。

正好当时大将军何进召边疆大吏带兵进京对抗十常侍为首的宦官集团，丁原命令张辽带兵赶赴京城，去接受大将军何进的领导。