Câu thành ngữ này có xuất xứ từ Nam Tề Thư – truyện Trương Dung. 

 

Triều Nam Tề có một thư sinh tên là Trương Dung, tính tình quái đản, cử chỉ và lời nói rất khác người, anh ta vóc người nhỏ thó, mặt mũi xấu xí, nhưng tinh thần quắc thước, đi đâu cũng ưỡn ngực ngẩng cao đầu, coi ngộ đến nực cười. 

 

Khi Tiêu Đạo Thành còn chưa lên ngôi vua vẫn rất khâm phục tài năng của Trương Dung và cho rằng Trương Dung là một nhân tài hiếm có. Sau khi Tiêu Đạo Thành lập nên chính quyền Nam Tề, nhà vua vẫn thường xuyên cùng Trương Dung đàm luận về văn học nghệ thuật. 

 

Một hôm, khi hai người thảo luận về thư pháp thì Tiêu Đạo Thành nói rằng: "Thư pháp của ông tuy có cốt cách, nhưng vẫn kém pháp độ của nhị Vương（tức cha con Vương Hi Chi và Vương Tích Chi, hai nhà thư pháp triều nhà Tấn）". Trương Dung không tán thành lối nói này bèn đáp rằng: "Bệ hạ nói tôi thiếu pháp độ của nhị Vương, không bằng nói nhị Vương thiếu pháp độ của tôi". 

 

Trương Dung chủ chương viết văn phải có tính sáng tạo và phong cách riêng của mình. Trong một bài văn của ông có đoạn viết: Là nam nhi đại trượng phu, đã viết văn chương thì phải viết ra "Thi", "Thư", đặt ra "Lễ", "Nhạc" như Khổng Tử, phát huy tính sáng tạo, không dập khuôn của người khác, bằng không sẽ như con chim sẻ sống dưới mái hiên nhà người. 

 

Do đó, nguyên ý của Ký nhân ly hạ là chỉ sáng tác văn học dập khuôn của người khác, không có cốt cách riêng của mình.