尽管在思想和做法上有诸多的不同意见，但在大局上，特别是在蒋介石为首的南京国民政府成立后的最初两年里，蔡元培在总体上，对内而言，在国民党内部争斗中是站在蒋介石集团一边的，对外则是的全力支持“清党”的。
1927年4月18日，蒋介石操纵下的南京国民政府成立。蔡元培作为国民党中央监察委员会代表，发表了演说，明确提出当时的武汉国民政府，“受.共.产.党妨害”和俄国人操纵，应予取消。
6月19日至21日，他又与胡汉民、吴稚晖、张静江等，追随蒋介石参加与西北军阀冯玉祥商讨联合清共的徐州会议，并在这年9月，促成了南京国民政府同武汉国民政府合并的“宁汉合流”。蔡元培与汪精卫、胡汉民、李烈钧、谭延闿五人，在合并后的国民政府委员会中被列为常务委员。
当时在南京，有蒋介石控制的“国民政府”和“中央党部”；在武汉，有汪精卫控制的“国民政府”和“中央党部”。另外上海和各地都有一些军阀把持的地方政权，但是主要以南京和武汉，蒋介石和汪精卫为主。由于南京国民政府和武汉国民政府在反.共问题上已没有分歧，武汉方面渐有妥协趋势。
为了实现“合作清党”、“统一党务”，通过一系列酝酿和接触，冯玉祥从中牵线，与各方反复电商，于7月20日提出解决宁、汉合作的具体办法。汪精卫等表示愿意“和平统一”，同意“迁都南京”。
蒋介石、李宗仁、胡汉民等欢迎武汉重要分子到南京“柄政”，赞成各方“共同北伐”。8月上旬，宁、汉双方基本上达成了妥协。
由于南京的蒋介石在争权夺利的斗争中处境渐显不利，加之蒋的国民革命军在徐州战场被孙传芳打的一败涂地，蒋介石不得不宣布下野。
蒋介石的政治生涯中曾有三次下野，这是他的第一次下野。
蒋介石的下台促使南京和武汉方面迅速靠拢，8月25日武汉国民政府迁往南京，南京国民政府同武汉国民政府合并，因南京简称“宁”，武汉简称“汉”，史称“宁汉合流”。
这一期间，蔡元培继续积极地支持蒋介石。蒋介石宣布下野后，蔡元培与胡汉民、吴稚晖等人即联合通电，声明与蒋介石同进退，同时辞职。
在随后的宁汉谈判中，蔡元培与蒋介石的政敌——汪精卫针锋相对，他联合张静江、李宗仁、吴稚晖、李石曾等，以中央监察委员会的名义弹劾汪精卫，指斥汪精卫口是心非、阻碍清共。
蒋介石的下野当然只是一时的权宜之计，他并未失去江浙财团和国民党黄埔系军官的支持。
1927年12月10日，国民党二届四中全会上通过恢复蒋介石国民革命军部司令的职务。身为国民党元老的蔡元培即发表拥蒋宣言，他在南京向新闻界说，蒋介石“功在党国，此次再任艰巨，自极赞同。余意蒋先生复职后，必能将所有军队凡立于铲除共.党、打倒军阀之旗帜者，结合为一”。
随后蔡元培又与国民党军政首领们一道去南京车站迎接蒋介石复职，并在欢迎会上发表讲话称，蒋介石“与本党历史甚深”，蒋的复职，“不独北伐可以进展，而一切困难问题，亦可解决。”
在当时的蔡元培看来，蒋介石是国民党中可靠的老同志，又是国民革命军的领导者，只有支持蒋介石这样年富力强的领导者才能完成北伐大业、进而完成统一中国的革命事业。
空前惨烈的清党大捕杀，虽然没有从根本上改变蔡元培对蒋介石的支持，但毕竟埋下了诸多芥蒂。而让蔡元培这样的自由知识分子，更为不满的是蒋介石日益显露出的独裁倾向。渐渐地，蔡元培不再毫无保留地支持蒋介石了。
1928年9月，蔡元培以在国民党《三民半月刊》第1卷第4期发表《三民主义的中和性》一文告诫国民党当局在反.共的同时要谨防出现法西斯主义货色，指出“若口唱三民主义，而精神上不是法西斯，便是波尔雪维克(即布尔什维克)，那就是孙先生的罪人了”。
1928年10月8日，国民党的中常会再次推蔡元培为国民政府委员并兼任监察院院长。蔡元培感到，这个任命实际上是出于蒋介石在国民党内派系斗争的需要，他不愿去趟这个浑水。
在10月13日写给吴稚晖的私函中，蔡元培写道，“此次国府委员名单及院长与主席人选，完全由先生及张、李两先生提出，诸先生不避嫌之勇气，固为可佩，然未免太露骨，如留弟一人，立于半超然之地位，仍亦不为无益”。
他建议让与蒋介石关系密切且同样老资历的张静江来干这个职务，私下里他却对胡适说：“这时候哪有监察的事可做？”
从这个时候开始，蔡元培这个在国民党内有影响的人物，在党内纷争中，不再坚定地站在中国政坛日益崛起的蒋介石一边，而是采取了他常说的“超然”态度，有时甚至站到了蒋介石的对立面。
1929年，蒋介石的亲信、湖南省主席鲁涤平被国民党中的桂系免职，与南京的蒋介石政府发生矛盾。蔡元培作为“湘案”的查办员，反对蒋介石用武力对付桂系。调解过程中，蒋介石扣押了由蔡元培等国民党四