赵子昂出生于皇族后裔，他是秦王德芳的后人，也就是宋太祖赵匡胤的后人，到了赵子昂这一代，家族已经完全没落，幼年的赵子昂读书极为勤奋加之天资聪慧，过目不忘，很快便有才名。