尤其令人厌恶的是，他将来巡察的官员严密监视，但凡私下又一句话儿被他拿住，他就上报朝廷，处罚这个官员。
他的情报系统，密如天网，西北的官员叫苦连天。
这样的行径太多，后来就没有人再待见他。众官员都纷纷上书，要求撤掉西林王的封地，收回他的封赏，带回金都关起来治疗他的疯病才是。
后来，北凉求和，并与卫朝和亲。双生的公主，一个入金都为皇妃，另一个嫁给西林王为王妃。皇帝如此行为，大概也有拉拢规劝西林王之意。西林王欣然接受，三十好几了，终于娶了王妃。
当时，北凉为表诚意，又进贡了一批财宝给南楚朝。没想到押运车路过定西时，西林王借口要检查，竟胆大包天扣押了一批。
西林王本就与人无善缘，自然很快这事就被皇帝知道。皇帝本也与他无几分兄弟之情，立即下令削了他的王位，并要将他全家押回金都受审。只是派去的钦差翻遍了王府，也没有找到王爷和王妃。
因西林王行事一向疯癫，他又经常不肯以真面目示人，当时就报说他因失心疯走失，至今不见踪影已十余年。
西林王出事后，他留下的大批财产被充公。当年负责抄家的就是孟大元帅，因抄出的家产巨多，增补了国库，富裕了军资，孟大元帅为此被记功一大件。
西林王失踪后，宫中报其丧。此后西林王就算是活着，那也是个没有身份的死人。这偌大的王府，空着也是可惜，后来陛下便将其赐给孟大元帅。
今日孟大元帅居住于此，基本未改动原有建筑，只是换了四处的牌匾对联，将一片奢靡之气改换为风清气正之字句。因而李嘉世游玩时，处处可见西林王为建这王府所费的精妙心思。且不说雕梁画栋、亭台楼阁的别致用心，只说这肃杀秋日，王府中居然还五彩缤纷，宛若天庭仙府，就可知西林王是怎样的满足自我。
别处犹可，后花园中立着的镇园之宝，连皇帝都惊叹。
那是西林王曾经甚爱的“日月无极石”。此石是北凉上供，天地精华自然产生，有一人高，水缸粗。石头在日光中呈金色，依稀可见周遭芒芒似烟；月光下，却散发出一种令人神往的夜昙色，幽幽若水。
见此石尚立在园中，李嘉世道：“昔日王叔闭门自守，拒不同治，原来竟是关着门自己享受这些个奇珍异宝。往日听说，只是一笑而过，今日一见，实在心惊。这光是园中一块石头都如此罕见，方知王叔富贵过分哪！”
孟远川亦道：“此石乃是北凉降服我朝后，当年上供朝廷的宝贝。西林王拒不上交，私自扣押。抄没家产时，本要将此物一同押送京城，谁知此物质地脆弱，抬起一角后，有石砾不断下落，为不暴殄天物，因而只能停放此处。”
李嘉世笑道：“舅舅在奏章中已说明此事，陛下金口玉言将其赏给了您。我只是稀罕此物奇特罢了，舅舅不要多想。”