他生性诙谐，个性外向不设防，宴请外宾时，谈完正事之后喜欢讲故事。长相俊美的单身汉杨朔总成为严文井开玩笑的对象，如果席间坐着日本作家，他就会请人给杨朔介绍日本女孩做妻子，总是弄得杨朔很尴尬。

2015年起，他指使下属采取虚构工程项目的方式，伪造工程合同及验收报告，并令人冒用他人身份先后注册成立了两家“皮包”公司，专门用于虚开建筑类发票，总共套取财政和扶贫发展专项资金518万余元，其中扶贫资金90余万元。在套取资金的同时，他还以乡财政资金困难为由，13次从乡代理办违规挪用村级集体资金和村民互助资金435.2万元，其中最多一次，挪用资金高达80万元。

《南航“英雄机长”离世 曾驾故障飞机安全落地》这期间，林绍纲的家搬进了王府大街黄土岗胡同13号作协宿舍大院。他的住处是三间东厢房，房间虽小，但花砖铺地，很有气派。《文艺报》副主编冯牧则搬进了西厢房，与他家遥遥相对。