כשמת הולדהיים, ביקשו בני עדתו לקבור אותו במעלה הקברים, בשורה של רבנים. מיד נכנסו עסקני החרדים לישיבה, שניים מהם הלכו לשאול דעתו של הרב רבי יעקב-יוסף אטינגר.

אמר להם הרב:

אל תבואו בריב עם העדה הרעה הזאת. יקברוהו במקום שיקברוהו ובלבד שיקברוהו...