于是赵光在秦国生活了下来，后赵光生赵永，赵永生赵胜，赵胜生赵升
赵升家世清贫，但好读书，于是被派给秦王子嬴异人为侍者
后赵升随吕不韦商队前去HD营救异人，在嬴异人逃出HD市时，赵升假扮嬴异人三日，发现后，直接被赵王处死
赵高与嬴政同年出生，但赵高的母亲因为触犯刑法而身体残缺，无力抚养赵高兄弟，于是们先后被收入秦王隐宫
赵高小时候酷爱读书，尤其喜欢读律法，隐宫中书籍不多，于是赵高经常在做完了自己的本职工作之后，就前往秦国的公室内读书
不过一年的时间，就熟练的掌握了大秦律，并对此倒背如流，曾与李斯和韩非讨论律法，两人对赵高的言行举止都感到非常的震惊，认为未来可以担任大秦的廷尉！
赵高小时候扶着清扫章台宫的梁柱，经常需要爬到房顶上打扫每当工作劳累的时候，就喜欢坐在房梁上远瞭整个咸阳宫，然后感叹道“大丈夫有朝一日就应该成为这座宫殿的主人！”
但赵高的母亲在怀孕的时候，就已经接受了残酷的刑罚，导致赵高先天不足，乃是一个天阉之人
秦国认为天阉之人不属于可以征兆的士兵，所以赵高无法通过参军来获取军功授权
而秦国上下对于天阉之人也非常的鄙夷，赵高数次参加秦国的秦律测试，虽然每次都是其中成绩最优秀的人，但选拔者却都会直接拒绝赵高
直到秦庄襄王三年，嬴异人去世，临死前握着嬴政的手，向诉说了赵升的功劳，然后告诉嬴政道“听说赵升的儿子赵高是一个很有能力的人，年仅13岁就能够熟读秦国的律法，与人辩论也从来没有失误，但却因为身体原因而无法为官！”
“虽然记着父亲赵升的功劳，但却从来没有对赵高进行任何关照，也没有给予任何帮助，只是让隐宫注意，别让饿死就行，知道这是为什么吗？”
嬴政摇头表示不知
“这是留给的英才呀！”秦庄襄王道“赵高处于痛苦之中，那必然会对将带离痛苦的人感恩戴德，报效终身若简拔于，会感恩于而不是”
“若是由来提拔，则赵高必定会一生一世效忠于赵高乃是天阉之人，注定此生无后，死后也一无所有所以必定不会背叛于，而会一生一世对效忠”
“而且赵高与年龄相近，必会是最好的臣子与朋友！”
秦庄襄王驾崩后，嬴政便遵从父亲的遗命，将赵高调到自己的身边，任命为中常侍，后又认命为中车府令，掌管嬴政的车架
中元前18年，秦王嬴政的弟弟，长安君成蟜率领大军攻打赵国，中途谋反，嬴政命令赵高给秦将王翦宣旨，同时命令其暗中联络诸军，以备不测
中元前19年，秦王政在雍城蕲年宫举