郭元振，魏州（今河北省邯郸市）人，18岁的时候考中进士，被朝廷封为通泉（今四川省遂宁市射洪县）县尉。据史料记载，郭元振虽然是个读书人，却在县尉任上干尽了不法之事，铸造私钱、掠卖人口，行径之恶劣，堪比后世黑社会。后来，郭元振遭到百姓举报，被押送到洛阳城问罪。
当时，武则天亲自审讯他，交谈之下，发现郭元振居然才华横溢，而且做事情很有一套，于是将他任命为右武卫铠曹参军。自此以后，郭元振一直在军中服役，还到边境处理过和吐蕃的外交事务，建立了不少功勋。
韦后当政的时候，郭元振受到宗楚客的排挤，一直在安西都护府任职，唐睿宗李旦登基之后，郭元振重新回到长安，担任太仆卿，加银青光禄大夫。没过多久，李旦让他取代宋璟，担任吏部尚书、同中书门下三品。
李旦对郭元振有知遇之恩。
当时，太平公主和李隆基斗得如火如荼，窦怀贞等人明确站队，可郭元振却选择明哲保身，李隆基就已经很不满了。李隆基发动政变的时候，郭元振又跟随在唐睿宗李旦的身旁，为自己贴上了太上皇的标签。
当着满朝文武的面，李隆基不好多说什么，还下诏封郭元振为代国公，食实封四百户，赐布一千段，给足了面子。然而，李隆基没想过重用郭元振，因此后来加封他为御史大夫，兼任朔方（今宁夏回族自治区灵武市）大总管，准备让他前往边境防御突厥。