两年后，“文革”开始，作协被砸烂，东总布22号院也被北京市的机关接管。冰心、臧克家、张天翼、张光年、陈白尘、李季等人被关进牛棚，经常被送到13号院劳动，运家具、搞卫生。

他生性诙谐，个性外向不设防，宴请外宾时，谈完正事之后喜欢讲故事。长相俊美的单身汉杨朔总成为严文井开玩笑的对象，如果席间坐着日本作家，他就会请人给杨朔介绍日本女孩做妻子，总是弄得杨朔很尴尬。

《借调借调，借而不调！警惕基层随意性借调常态化》作为军方代表的“戎装常委”，可以加强地方与军队的沟通。他的任务也有不少，比如，出席地方党委常委会议，参与地方重大事项的决策等。