אחרי פטירת דודו של הרב רבי חיים אבן עטר, כבוד מורנו ורבנו הרב רבי משה אבן עטר, שבחצרו היה בית מדרשו, לקחה הממשלה החצר הזאת, באמרה שיש חוב למלכות על האדון משה. והיה כל ישמעאלי הקרב אל משכן הרב להיות דר בתוכו מת. מתו הרבה מהם, ובנו הישמעאלים כותל מחיצה על פתח הבית, שלא ייכנס שם שום אדם וימות.

יש בחצר מדרשו של הרב רבי חיים אבן עטר תאנה, והיא חנטה פגיה, בעת שהיא ראויה לגמור ולהתבשל כל צרכה כדרך התאנה, אבל תחת להתבשל היו הפרות לאבק ולעפר. ואומרים רבני קשישאי בירושלים, שהיו נערי הגוים עולים על התאנה ללקוט תאנים והיו מטרידים את הרב בשעת לימודו וגער על התאנה ונעשו פירותיה לאבק, ועד היום דבר זה בתאנה הנזכרת לאות ולמופת.

(ד, קנה). נוראות אנשי מעשה, ב, 6.