叶若夫遭到清洗之前，巴别尔有一次问他：“假如我被逮捕审讯，该怎么办？” 叶若夫说：“你就死扛，什么也不承认。内务部警察一点辙都没有。”天真的巴别尔信以为真，后来他被捕入狱，在审讯初期，巴别尔不发一言，拒绝背负莫须有的罪名和交代所谓叛党同谋，但随即遭到了警察的严刑拷打和逼供，最终被迫开口。从一九三七年一月二十六日至二月一日，苏联作家在《苏联文学报》上纷纷表态支持大清洗运动，发表了三十多篇效忠声明，论述运动的正确性和必要性，支持党中央消灭一切人民的敌人。巴别尔也被迫在该报发表了署名文章《谎言、背叛和奴颜婢膝》（Ложь,предательство,смердяковщина）。他在文章中，明确表态支持斯大林对苏联著名党务和国务活动家比亚达科夫（ Георгий Пятаков）的整肃，却函法国作家安德烈?马尔罗（André Malraux），说苏联开展大清洗对工人阶级是必要的，但却引发了知识分子的误解，历史学家认为，这封信极其危险，巴别尔为此完全可能被投入监狱。除此之外，巴别尔在家中收藏众多遭遇斯大林清洗的“人民公敌”的作品，对被清洗者表现了最大的同情。

 

一九三九年苏联画家瓦涅齐安（Арам Ванециан）给巴别尔画了一幅肖像，成了巴别尔留在人间的最后一幅画。四月，巴别尔在列宁格勒举办了最后一场小说朗诵会。四月十五巴别尔被捕，理由是，他是外国间谍。巴别尔妻子彼洛什科娃回忆说，那天清晨，她和巴别尔没有住在一起，她住在莫斯科市内，巴别尔住在郊外的别列捷尔金诺作家村，两位带枪的秘密警察先将彼洛什科娃叫醒，带着她驱车赶往作家村，他们走上前去叫门，巴别尔没有马上开门，彼洛什科娃知道巴别尔那时在穿衣服，他不会光着身子出来开门。巴别尔开门后，警察走进去搜查，彼洛什科娃随后走进屋来，她见到屋中的气氛比较紧张，就对巴别尔莞尔一笑，说：“我还以为你去敖德萨了呢。”这时两个警察把巴别尔的书稿和书信装进一只只大口袋里，彼洛什科娃见状，又说：“真可惜，那是我们的家信。”其中一位警察还接茬说：“我们对你们的家信没有异议。”他说得对，因为无论对警察还是巴别尔本人，最重要的就是手稿，警察想找到巴别尔的间谍证据，而巴别尔想保护自己刚刚杀青，还未来得及修改的唯一长篇小说。

 

根据苏联四百一十九号秘密卷宗披露，秘密警察前去搜查巴别尔的住宅，师出有名，内务部怀疑他“参与反苏阴谋恐怖活动和间谍活动”。秘密警察逮捕巴别尔的时候，还没收了他的全部手稿，具体数量是，十五个文件袋，十一个个写满字的本子和七个写满了字的活页夹。

 

巴别尔再也没有见到他被没收的手稿，而且至今查无下落，历史学家一致认为，那些手稿遭到了秘密警察的销毁，并且没有留下任何销毁手续。而入了监牢的巴别尔更是凄惨，他开始拒不交代自己的所谓“反苏间谍罪行”，被施以酷刑后，精神彻底崩溃，竟然全盘招供，列出全部间谍组织的名单，其中包括苏联著名作家爱伦堡、戏剧家梅耶荷德（Всеволод Мейерхольд）和著名导演爱森斯坦等十余名苏联著名文艺家和社会活动家。巴别尔还被迫承认与托洛茨基派有关系，在苏联作家、演员和导演中间，散布反苏言论以及为法国充当间谍。审讯记录显示，巴别尔说，他1933年通过作家爱伦堡认识了法国间谍作家安德烈?马尔罗，并向他提供了苏俄空军情报。虽然，巴别尔后来给苏联总检察长写信翻供，坦言他是在重刑逼供下，才胡编乱造，栽赃名人。尽管如此，戏剧家梅耶霍尔德还是因此锒铛入狱，最后被判处死刑。

 

巴别尔自一九三九年五月起，羁押在莫斯科郊外的苏汉诺夫监狱，当年在监狱的地盘上，有一座“圣叶卡捷琳娜”教堂。巴别尔和叶若夫在监狱竟然比邻而关押，又前后脚遭到枪决。一九四零年一月二十七日，巴别尔被苏联最高法院军事法庭判处死刑，执行名单由斯大林亲自签属。巴别尔的死刑由内务部三个人执行，即莫斯科卫戍警长布洛欣及行刑队队员费季索夫卡里宁。苏联内务部档案记载，行刑地点“圣叶卡捷琳娜”教堂，卫戍警长布洛欣，走上前去，朝巴别尔头部开了一枪，杀死了这位文学天才。巴别尔的遗体葬于莫斯科顿河修道院（Донской монастырь）。时隔九天，即一九四零年二月四日，曾被巴别尔当作政治保护伞的叶若夫，也在同一地点被枪毙，并葬于一个杂乱的大坟场。

 

至此，巴别尔的好奇心终于划上了一个句话，一个神秘而急促，残忍又无奈的句号，一如他不朽的作品《骑兵军》。