在古物上花钱如流水，但他对家里就照顾不到了，有时甚至连5岁女儿和16岁儿子的学费都交不出，因为对老物件过于痴迷，妻子忍受不了离开了他。

1966年，林绍纲有一次去台基厂的对外友协，碰见正在办公楼一层打扫厕所的杨朔。他双颊微红，面露尴尬地对林绍纲说：“他们说我里通外国，真是无中生有。”第二年，林绍纲又在一个外事场合碰到了杨朔，知道他被解放允许参加一些活动，彼此都很高兴。

《群众为办医保连夜排队 哈尔滨13名责任人被问责》1964年3月，文联和作协开始整风。秋天，社会上已经开始批判“三家村”，作协主要是批邵荃麟和赵树理的“中间人物论”。