東漢光武帝劉秀在位時，桓榮被任命為議郎，教授太子讀書。桓榮博學敦厚，光武帝對他十分滿意。

桓榮此時年已六十，從前他在九江自辦學校，招收的弟子有幾百人。他的弟子何湯被提拔為虎賁中郎將，正是由於何湯的推薦，光武帝才徵召桓榮的。何湯在老師入朝第一天便提醒他說：「治學和為官是截然不同的。治學講究嚴謹、認真，而為官卻在於通融、應變，老師有此機遇，當不可太固執了。」

桓榮一聲未吭，何湯又說：「皇上雖為明君，卻也喜歡奉承喜言，太子更不可得罪，老師不要對他過於嚴厲。」

桓榮聽他說完，不高興的說：「你為我的弟子，難道還不了解為師嗎？為師一生治學，最愛君子之道，本無意為官。今見天下大治，天子聖明，這才應召。你為官不久，竟學會官場的權術諂媚之道，還以此教我，我真為你感到痛惜啊！」

桓榮於是辭官，光武帝卻不批准，和桓榮交談數次之後，光武帝連連稱讚他說：「你說得太好了，得到你，是國家的大幸，只是太晚了些。」

他當即任命桓榮為博士，不料桓榮卻堅決推辭，口說：「臣無德無能，陛下一時心喜，就任我官職，未免失之草率。若論學問，臣不及同學郎中彭閎、揚州從事皋弘，陛下還是重用他們比較合適。」

光武帝感慨說道：「讀書人雖口不言利，言不好名，然而又有幾人能真正做到呢？你是個難得的君子，自我謙虛不說，還能薦舉別人，不慕權位。」於是堅持讓他擔任博士之職，還提拔彭閎、皋弘做了議郎。

彭、皋二人向桓榮致謝，桓榮卻不讓他們進自己家的門，他派人傳話說：「天子聖明，才會重用你們，與我何干呢？要謝，你們當謝皇上，勤於政事，為國盡忠，這才是你們該做的。」

一次，光武帝到太學視察，正趕上各位博士在爭論不休，不少人爭的面紅耳赤，嘴裏滔滔不絕，惟有桓榮言辭溫和，也少有不敬之色。光武帝對隨從自己的官員說：「有理有敬，這才是儒士本色，只有桓榮做到了。」

光武帝幾次要提升桓榮的官職，桓榮都辭謝說：「陛下垂愛於臣，是臣的萬分榮幸。臣於國並無大功，若貪譽而受，必讓陛下遭人非議，說陛下任人不公。這樣陛下有嫌，而臣亦難堪了。」

太子經學有成，學業精進，桓榮喜在心頭，卻要求辭去太子師傅的職位。他幾次上書光武帝：「臣蒙陛下厚愛，有幸教導太子，今日太子憑其聰慧，經義皆通，臣理當辭歸。」

有人勸他不該請辭，且說：「為太子之師，此乃榮耀之本，他日太子登基，其榮更不可估量。他人求之不來，你何以輕輕棄之？」

桓榮回答道：「似你多思，我又何以能任太子之師呢？正因此職榮寵，我才不敢戀據。」

太子劉莊後來即位，為漢明帝。漢明帝深敬桓榮，「猶尊桓榮以師禮」。他曾親自到太常府去，讓桓榮坐東面，設置几杖，像當年講學一樣，聆聽老師的指教。他還將朝中百官和桓榮教過的學生數百人召到太常府，向桓榮行弟子禮。桓榮生病，漢明帝親自登門看望，每次探望老師，他都是一進街口便下車步行前往，以表尊敬。

桓榮去世時，漢明帝親自穿起孝服，為其送葬。@