1969年国庆节前，作协全体180余人下放湖北咸宁文化部干校。此前调离作协的陈白尘、郭小川等人也被带回接受批判劳改。作协被编为第五连，作协党组成员李季担任连长。

每次出访，林绍纲要组织人员为代表团成员订做西装和中山装、准备发言稿等。按照杨朔要求，代表团出访期间，他总是留在国内负责后勤。直到1979年，才有机会第一次随团出国。

《现场报道:新华社"两报两端"暨重点报刊品牌推介会》1961年初春，突患肝炎的林绍纲被安排到八大处休养。作协党组书记邵荃麟夫妇、文学评论家侯金镜也在此休养。一日三餐，同桌进餐。伙食很好，早餐有牛奶和鸡蛋。作家们每天上午读书写作，下午自由活动，散步聊天。