紧接着，朱元璋便下令，城墙修筑工作马上开始。
在修造城墙过程中，刘基对南门的修筑工作极为关心。利用朱元璋给予的特权，要求南门必须用最好的城砖。后来，在比对了所有来自5个省152个州运来的城砖之后，刘基看好了来自江西袁州府送来的白瓷城砖。这种瓷砖采用当地特有的泥土烧制，厚重、结实、不吸水，是用来做城砖的最好材料。于是，在刘基的直接干预下，确定，南门城墙附近的城砖一律采用江西袁州府特供的白瓷。其他地方的烧制运来的城砖则被安排用来建造其他地方的城墙。
早在南门城建开始建设的时候，刘基就与施工负责人暗通，让其私下在城墙地基处暗做手脚。就在眼看南门城墙主体工程即将完善时，城墙“莫名其妙”地就塌了。于是，再重新建造，再塌再建，再塌。如此往复几次，连朱元璋都坐不住了，觉得南门重地如此大事，必有鬼怪作祟。为了不影响自己的万年基业，朱元璋连忙找来术士，想要打听究竟。可这位术士其实是刘基的师侄，早就被刘基买通了。术士装模作样地说，“此为朱氏命穴之处，要不可比。但城下有专吃砖土的怪兽，必要有异宝珍玩填埋到城基下，方可镇住怪兽。”
于是，刘基再次从幕后跳到前台，及时向一筹莫展的朱元璋便献策，说江南首富沈万三家藏有聚宝盆，将此物埋于南门城墙下，定可保南门万世无虞。
想到沈万三，朱元璋便一阵气恼。他居然拿提前完成工期来向朱元璋炫耀，并且敢于私自犒赏朱元璋的军队士卒，这在朱元璋看来，都是赤裸裸的威胁。刚进入应天城时，立足未稳，不敢对豪绅轻易动手，可是现在朱元璋自恃已经坐稳江南半壁，于是，果断对沈万三下手：抄家，发配。
而那个抄出来的聚宝盆，则在刘基的主持下，被迅速的、秘密的埋置与南门城下。自此，此段城墙终于安然无恙，就差最上面的小部分建设尚未完工。
而朱元璋则为了给自己遮羞，对外宣布：江南首富沈万三忧国忧民，主动将家中聚宝盆献于应天百姓，修造南门，以赎其罪。此门就赐名“聚宝门”，以彰其功！
此时，被刘基已经秘密派遣自己的长子刘琏赶赴了江西袁州府制造城砖的地方，秘密制造刻有父子姓名的城砖。
到了袁州府以后，刘琏才知道这个任务的艰巨。原来，因为建造城墙是朱元璋的一号工程，各个环节都有提调司的人严密监督和把控，而且，每块城砖上都要刻上造砖者的姓名、检验者的官衙和官员姓名的铭文。绝对是每块城砖都需要进行严格质量和外观检验。而且，当地被的监工和质量管理者，都是朱元璋直接任命的，主簿叫韩及古，司吏叫黎焕张，都是无法通融之人。更要命的是，即使通过了他们的检查，每块城砖在被运到应天后，被砌到城墙上之前，还都需要由施工者确认城砖上面是否有相应的铭文。在这两道检查下，想要偷偷刻上自家姓名，而又不被发现，实属不易。
于是，刘琏想了一个好办法。那就是花点钱，买通了两名造砖匠之一的廉铭，在做好了土坯的城砖上，分别刻上了他们父子三人的家乡和名字：“青田刘基”“青田刘琏”“青田刘璟”，再以极薄的土坯层覆盖，后一同烧制。这样一来，城砖在经过两此检查时，完全看不出破绽，而且在十年内，覆盖在名字上的那层极薄的砖层就会自然剥落，名字就会显现出来。
就利用这个办法，首先被烧制好的内部藏有“青田刘基”铭文的城砖，果然顺利通过了袁州府和应天府的严格检查，最终被砌到南门城墙上。
正当刘琏想如法炮制，欣赏着内部刻有其兄弟二人名字的“青田刘琏”“青田刘璟”的城砖时，一群捕快来到了他跟前。
“我们奉命来此地拘捕你归案。跟我们走！”不容分说，捕快们就给刘琏套上了刑具。一头雾水的刘琏虽然不知道到底发生了什么事情，但也知道事情不妙，在被带走之前，趁机将城砖偷偷撇到了砖窑的一个角落里，用脚往两块城砖上蹭了一堆土，刚踏了两脚，刘琏就被捕快强行带走了。
原来，刘基的死敌胡惟庸向朱元璋告发，说刘基设计城墙有私心，将自己祖宅的形制纳入了应天城墙的设计中，“言大帅万世之兴，却行光耀刘氏家门之事”。
雷霆大怒的朱元璋立即下令逮捕刘基和他所有的家人，正欲决定将其诛九族，可是又一想，自己一世英名，却在此事上被刘基给骗了，这要是传出去，自己的脸面往哪里搁？况且，城墙建设地已经基本差不多了，现在“自毁长城”，恐怕最高兴的当属雄踞南方，对应天城虎视眈眈的张士诚了。
“留着刘基，对平衡胡惟庸的势力，还有好处。”于是，朱元璋就将此事做了软处理，释放刘氏一门，降薪罚俸。逃过一劫的刘基这才想起，刻有两个儿子名字的城砖还没有被安置到城墙上。而，此时，自己一手设计的雄伟、坚固的应天城墙业已完工。再想做手脚，已经回天乏力了。
此时的刘基只能看着自己的两个可怜的儿子，慨叹自己精心布局的计划，却只保住了自己的命数，两个儿子注定无法善终了。想到这里，刘基不禁老泪纵横。