1928年1月，蒋介石由日本回国，复任国民革命军陆海空军总司令，郑介民便千方百计托人直接走蒋介石的门路。蒋介石在召见他的时候，他把在苏联留学的黄埔学生思想情况向蒋介石作了报告，并表示他是坚决反共的。蒋介石很欣赏他这一套，将他留在身边当侍从副官。从此以后，郑介民便一直官运亨通，飞黄腾达。
搜集桂系的情报，把李宗仁玩得团团转，得到蒋介石的青睐
郑介民当了蒋介石的侍从副官，实际上是替蒋介石做特务工作。当时主持这一工作的是王柏龄，直接领导郑介民的是蔡劲军。郑介民与蔡不仅是黄埔同期同学，且系海南岛同乡，两人之间关系很不错。郑介民最初在南京搞这一活动时，并没有什么特殊表现，只是在一些同学同乡方面搜集一点情报。但没有多久，在蒋介石和桂系军阀斗争中，他却大显身手，一鸣惊人，受到蒋介石的特殊信任，奠定了他以后搞特务的基础。事情的经过大致是这样的。
1928年冬，张学良在东北“易帜”以后，蒋介石在表面上算是“统一”了中国，但新桂系的势力却从广西经武汉直到华北，分去了他不少的地盘。蒋介石对此很不甘心，时刻想把这个眼中钉拔去。
郑介民了解到蒋介石有解决桂系的决心，便自告奋勇，请求去武汉活动。他认为最有把握的事，是他与李宗仁的兄弟李宗义在苏联中山大学同学时两人私交很深，李早就要郑介民去替桂系工作，郑介民可以通过这一关系打入桂系内部活动。王柏龄认为他这一关系很可利用，便正式向蒋介石提出。蒋介石马上找他去，面授机宜，命他立刻动身去武汉。
郑介民的这次活动，他一直认为是件得意的杰作，以后经常向人夸耀。
他假装失业，从南京悄悄跑到武汉，故意找一家很小的客栈住下来，装出一副非常穷困潦倒的样子。当他把武汉的情况看了看以后，便去第四集团军总司令部去找李宗义。当时第四集团军总部里，一般人称李宗仁为“老总”，称李宗义为“二总”。“二总”在总部内受到各方面的尊重，谁也不会注意他会把一个特务引进来。
郑介民见了李宗义之后，说自己失业很久，连生活都无法维持，此次是专程前来投效，希望得到收容。他说得非常诚恳，加上李宗义根本不了解他的情况，便信以为真，马上答应为他设法谋个职位。
隔了一天，李宗义去客栈探望郑介民，看到他那副穷困样子，便毫不怀疑，立刻要他搬到总部与他同住一室。李还给他做了衣服，经常陪他出去玩。这时在总部工作的一些高级官员看到“二总”和郑介民的关系这样好，都乐于和他接近，他便利用种种机会拉拢总部机要人员，首先把李宗仁和各部队及各方面联络的密电码本盗出拍成照片，又陆续把李部兵力驻地、人数、装备、主官姓名等表册抄出来，秘密送给蒋介石，使蒋介石掌握到第四集团军的全部情况和各种活动。