1872年到1875年,4批120名大清幼童陆续留学美国,成为近代最早官派留学生群体。数年以后,因为国内守旧人士的阻碍和美国排华大潮的出现,幼童留美事业夭折,93名幼童分三批黯然归国。值得注意的是并不是所有的幼童全部归国,有二十余人并没有随队回国,他们成为近代中国留学教育史上最早滞留海外的不归者。
这些不归者中,部分人是由于各种因素在留学美国期间便不幸去世,比如第一批幼童中最聪明伶俐、最被人钟爱的潘铭钟15岁时,即1876年进入纽约特洛伊(Troy,New York)的仁塞利尔理工学院(Rensaelear Polytechnic College),可能是最先升入大学的幼童。不幸的是,次年,即1877年潘铭钟因学习过度而去世。此外,第一批的黄锡宝、第三批的曹家爵等人都是留学期间夭折的幼童。
更多的不归者是基于各种因素而滞留海外的人,其中代表人物是抗旨不归的谭耀勋和容揆。二人是百余名留美幼童中的佼佼者,皆于1880年高中毕业被美国名校录取,其中容揆的毕业成绩是全班第二,且成为在毕业典礼上致辞的毕业生代表。不幸的是,因为他们都在接触西方文明的同时接受了基督教信仰,并且剪掉了被视为忠诚于大清王朝象征的辫子,被认为是触犯了清廷对留美幼童的清规戒律。刚出任出洋肄业局委员不久的保守官僚吴嘉善对此勃然大怒,将它们从肄业局除名,而后勒令他们立即回国。在这时,容闳帮助了他们。据容闳的朋友杜吉尔牧师回忆说:容闳博士访我,其愿负担容揆大学费用每年七百元,如果能安排使容闳留美不返的话,┅┅当我八月去肯泯河谷时,容揆与我约好在春田城见面。我们谈了此事。故当其他幼童整装待发归去之时,容揆及另一位信教之学生——谭耀勋,他已得到他同批(第一批)来美幼童们之捐助,凑足进入耶鲁之学费——俩人一齐由寄住之处出走,并躲藏起来。
在容闳及其友人、同学的帮助和支持下,容揆和谭耀勋逃离留学事务局的控制,得以延续自己的学业,在幼童都返回国之后,依旧延续着幼童留美教育的历程。其中谭耀勋于1883年完成了耶鲁大学的学业,毕业后获得了在纽约中国总领馆的一个职位。但就在这年秋天,他却因肺病客死他乡。他死后,葬在曾生活过的美国家庭的墓地里,至今墓碑仍在。
容揆在容闳的帮助下于1880年进入耶鲁大学,读文科,至1884年毕业。而后他仍留在耶鲁雪菲科学院学习化学。1886年又考入哥伦比亚大学矿业学院学习工程,1887年毕业。毕业后直到1943年去世,容揆长期在华盛顿中国驻美使馆工作。其中1909年,第一批47名庚款留美学生到达美国春田市时,容揆办理接待,协助游美学务处坐办唐国安根据学生的不同情况,将他们安置在不同的学校读书。唐国安归国后,容揆负责照料管理这些新的中国留美学生,延续了容闳当年的留学计划。
虽然当时中美之间的差距比今天大得多,但早期滞留海外不归的留学生却没人主动留在美国,他们都是因为复杂的客观因素被迫滞留海外的。他们虽然身在海外,但却不思享受国外的荣华富贵,而是心忧中华,容揆、唐耀勋等都工作在中国驻美使馆,在海外为祖国奉献力量,给中国留学人树立了一个个光辉榜样。