הרצוג נולדה בלטביה בתקופה בה אביה שרת כרב העיר ברזינו. כשהייתה בת עשר חזרה המשפחה לבריטניה. כשבגרה, נישאה לרב יצחק הלוי הרצוג, לימים הרב הראשי לישראל. בני הזוג הרצוג עברו לבלפסט ומשם לדבלין, שם הנהיגו קהילות יהודיות, עד שעלו לארץ ישראל בשנת 1936.
הרבנית שרה הרצוג הרבתה בפעילות ציבורית כל ימי חייה. היא הקדישה את חייה לקידום נשים דתיות בחברה הישראלית, לעזרה לעולים חדשים, לנזקקים ולחולי נפש.
הרצוג ראתה בפעילות ציבורית שליחות וחובה. בראיון בשנת 1963 אמרה לכתבת עיתון מעריב: "בזמננו כל אישה צריכה ויכולה לתרום משהו למדינה. הנשים בעולם כולו עשו גדולות ונצורות למען הארץ: בתי חולים, מעונות יום, וכל מה שעושות נשים מצליח. הן מכניסות את חייהן בזה."
הייתה ממקימות תנועת "אמונה" – תנועת האישה הדתית לאומית, הפועלת לקידום מעמדן של נשים בחברה ולסיוע לנשים דתיות באמצעות מעונות יום, בתי ספר, מדרשות ועוד.
במשך 40 שנה הייתה נשיאת בית החולים "עזרת נשים" בירושלים (כיום נקרא "בית החולים הרצוג" על שמה), ותרמה רבות לפיתוחו. על שמה קרויה גם אולפנת נוה שרה הרצוג בבני ברק.
כדאי להציע רחוב על שמה בכל עיר בארץ.