张衡的祖父叫张堪，做过多年太守。但他比较清廉，不像别的官僚那样专门搜括人民脂膏，所以没有什么积蓄。张衡的父亲死得又早。因此，张堪去世以后，张衡一家的生活便比较困苦，有时还需要人家的帮助。这使得生长在官僚家庭里的张衡，从小没有染上游手好闲的坏习气，而能认真地学习。
　　

　　张衡对于研究学问非常刻苦，他读书一字不苟，而且思想开阔，不受传统观念的束缚。当时一般士大夫人家子弟，都必须读《诗经》、《书经》、《易经》、《礼记》、《春秋》等儒家经典，张衡少年时代也熟读过这些书。虽然如此，但他却不喜爱这些经书，认为经书太束缚人们的思想。张衡少年时代最喜爱的是文学，他对当时著名文学家，像司马相如、扬雄等人的作品，都曾经下过一番功夫，不但能深刻地理解而且能够背诵。因此他很早就能作一手好辞赋，人们对他的文学才能很为赞羡。
　　

　　青年时代的张衡就懂得：读书固然是获得知识的一个方法，但是一个人要在学问上有成就，除了书本以外，还必须有实际生活的经验，从实践中求知识。这样，张衡自然不会满足于"闭门坐家中，苦读圣贤书"的生活了。他渴望出外游学，多多接触实际，以充实生活和开阔自己的眼界，寻求书本以外的实际知识。
　　

　　 公元94年(汉和帝永元六年)，张衡才十七岁，他就离开家乡，出外游历，访师求学。
　　

　　张衡游历的目的既然不是为了寻求功名，因此，他离开家乡以后并不先到京师洛阳去，而先去汉朝的故都长安(今陕西省西安市)。长安周围在当时叫做京兆(包括今西安、华阴、兰田等地方)，和左冯翊(今西安以东，北到朝邑、合（阝）阳地区、右扶风(今西安以西到风翔、宝鸡地区)合称三辅，是当时最富庶繁华的地区，也是学术文化的中心。
　　

　 　从公元94年到95年，张衡在三辅一带跑了许多地方，游览了名山大川，考察了历史古迹，也访问了民情风俗，调查过市井制度和商业交通的情况等。
　　

　　游历了三辅以后，张衡到了洛阳。他在洛阳住了五六年，慢没有结交贵族豪门，奔走钻营，也没有进当月寸专门培养官僚的学校--太学；却到处求师访友，虚心向他们讨教，因而获得了不少知识。他曾对人家说过："不做官有什么要紧?要紧的是修养品德J，研究学问。"当时许多学者在学术上各有主张，张衡则并不盲从任何一家学说，他有独立思考的精神，对各家学说采取批判地接受的态度。这是他以后获得巨大成就的原因。

　　张衡在洛阳结识了不少有学问的朋友，其中像马融，是当时著名的辞赋作家，又擅长于音乐，后来成了东汉的儒学大师。像窦章，也是一个很有学问的人，谦虚俭朴，很受当时人们的尊重。像王符，是当时有名的政论家，他的著作《潜夫论》一直流传到现在，成为研究东汉时代社会情况的宝贵历史资料。像崔援，对于天文、数学、历法有精深的研究。在这些朋友中间，崔瑗对张衡的影响最大，他们常在一起谈论学问，交情也最深。这对于张衡以后研究天文、数学等科学并获得巨大的成就，是有一定关系的.