果不其然，赵匡胤这次的选择是正确的。到后汉乾祐元年（948年），一次偶然的机会，赵匡胤投到了后汉枢密使郭威帐下，并奉命征讨五代时期的后晋大臣李守贞，并屡立战功，深得郭威的器重。后周广顺元年（951年），郭威称帝，建立后周，幸运的赵匡胤补任东西班行首，拜滑州副指挥使。当柴荣被封为开封府尹时，赵匡胤又转任开封府马直军使。
说起柴荣，他是何许人也？原来他从小就在姑父郭威家长大，因他为人谨慎、笃厚，后来被郭威收为养子。后周显德元年（954年），郭威驾崩，柴荣便继位为帝，是为后周世宗。这时候的赵匡胤也正是春风得意之时，他先是执掌了禁军，后来又被任命为殿前都虞侯，领严州刺史。
后周显德三年（956年）春天，赵匡胤跟随柴荣征伐淮南。没过多久，赵匡胤就在六合东面打败了南唐齐王李景达，并斩杀一万多人，场面甚是惊人。回来后，赵匡胤又被任命为殿前都指挥使；过了不久，他又被委任为定国军节度使。一晃一年又过去了，到后周显德四年（957年），恰好又逢一个春天，赵匡胤再次跟随柴荣出征寿春，不仅攻克连珠寨，还乘势攻下了寿州。还军后，柴荣拜赵匡胤为义成军节度使、检校太保，仍旧担任殿前都指挥使。