נולד בקושטא (איסטנבול) בשנת תקפ"ו (1826) למשפחה של חכמי ספרד, אלפנדרי גדל בסביבה של מסורת רבנית עמוקה והחל להתבלט כבר בגיל צעיר בזכות זיכרון מרשים ויכולת לימוד אינטנסיבית.
במהלך שנותיו הוא שירת כרב של קהילה דרמטית בדמשק, ולאחר מכן חזר לקושטא לשמש בתפקידי הנהגה רבניים, שם נודע בעמדותיו התקיפות נגד מנהגים שהבין כלא תקינים מבחינה הלכתית.
בשנת תר"ע (1910) הגיע אלפנדרי לירושלים, שם קיבל קבלת פנים חמה ממנהיגי הקהילה המקומית, והפך לביתו בשכונת בית ישראל למרכז לימוד וייעוץ הלכתי עבור רבנים צעירים ותלמידי חכמים מכל רחבי העולם היהודי.
הסבא קדישא נודע בזיכרון עצום ובחריפות הלכתית; הוא היה מסוגל לשחזר מקורות תורניים מדויקים בעל פה ולספק תשובות לשאלות מורכבות, דבר שהפך את ספר "שו"ת הסבא קדישא" למקור מרכזי בפסיקותיו.
בין נושאי ההלכה שבהם בלט היה נושא השמיטה – אלפנדרי נקט בעמדה מחמירה והביע התנגדות להיתר מכירת האדמה, בטענה שהדבר פוגע בקדושת השמיטה. באותו זמן הוא גם ניגן בגישה מקלה לגבי אתרוגים מורכבים, בטענה שהרכבת הלימון אינה משנה את מעמדו של האתרוג.
הוא שם דגש על כוונה בתפילה, והזהיר מפני קיצור תהליך התפילה ללא התמקדות במי שמולו עומדים, והיה נדרש לשאלות על טכנולוגיות חדשות, שבהן דרש בחינה קפדנית של כל נושא על פי יסודות ההלכה.
רב אברהם יצחק הכהן קוק, ראש ישיבת ירושלים ולאחר מכן הרב הראשי של ארץ ישראל, העריך את חכמתו של אלפנדרי, ואף תיאר את הקשר המיוחד ביניהם – כאשר הרב קוק נכנס לביתו, אלפנדרי קם לכבדו, מתוך כבוד לתורה שבידיו.
ב-2 באייר תר"צ (1930), לאחר חיים של למעלה ממאה שנה של לימוד, הוראה והנהגה, נפטר אלפנדרי בירושלים. קבורתו בהר הזיתים הפכה למוקד עלייה, ותלמידיו ממשיכים לפנות אליו בבקשת ברכה והשראה.
מורשתו של "הסבא קדישא" ממשיכה לחיות בתשובותיו המופיעות ב"שו"ת הסבא קדישא" ובסיפורים על זיכרונו המופלא, המשמשים עד היום כמופת למחויבות הלימודית ולחירות מחשבתית בעולם התורה.