خدم في الجيش كضابط في وحدة مشاة قتالية وكان مراسلا عسكريا لمجلة الجيش الإسرائيلي، وهو محام حائز على بكالوريوس في الفلسفة والقانون وعلم النفس من الجامعة العبرية في القدس.
انتخب للكنيست على قائمة حزب الليكود اليميني عام 1973، وقد كان عضوا في لجنة الدستور والقانون والقضاء.
في عام 1988 وحتى 1990 شغل منصب وزير دولة ليكون مسؤولا عن شؤون الأقليات، ومن عام 1990 وحتى 1992 شغل منصب وزير الصحة.
وفي نوفمبر (تشرين الثاني) 1993 انتخب أولمرت رئيسا للمجلس البلدي اليهودي للقدس، فاستقال تبعا لذلك من الكنيست عام 1998. وبعد إعادة انتخابه للكنيست عام 2003 استقال من منصبه كرئيس بلدية القدس في فبراير (شباط) 2003، . في نفس الشهر عين أولمرت نائبا لرئيس الوزراء أرئيل شارون في حينها، ووزيرا للصناعة والتجارة والعمل والاتصالات، حتى يناير (كانون الثاني) 2005. وفي أغسطس (آب) من نفس العام عين وزيرا للمالية بالوكالة، إلى أن ثبت في هذا المنصب في نوفمبر.
في 4 يناير 2006 وبعدما أصيب رئيس الوزراء آنذاك شارون بنزيف دماغي، بدأ أولمرت ممارسة مهامه كقائم بأعمال رئيس الوزراء بموجب القانون الأساسي للحكومة. وفي 16 يناير انتخب رئيسا مؤقتا لحزب كديما خلفا لشارون. وفي أعقاب فوز حزب كديما برئاسة أولمرت في الانتخابات للكنيست الـ17 في 28 مارس 2006 أصبح أولمرت رئيس الوزراء وبقي في المنصب حتى مارس 2009، عندما رحل متمهما بقضايا فساد. خاضت إسرائيل أثناء رئاسة أولمرت للوزراء، حربين إحداهما على لبنان في يوليو (تموز) 2006 والثانية ضد قطاع غزة أواخر 2008 ومطلع 2009.