تكون تنظيم «جيش الإسلام الفلسطيني» من مجموعة من شباب حركة فتح الذين تشبعوا بأفكار دينية متشددة جعلتهم أكثر تشددا من باقي الحركات الإسلامية في فلسطين، ونشأت بينهم وبين حركة حماس علاقة تحالف في بداية خلاف الحركة مع فتح، لكن العلاقات بين الحركتين انقلبت إلى صدام مسلح بلغ ذروته بهجوم القوة التنفيذية التابعة لحركة حماس على منازل عائلة دغمش التي ينتمي إليها مؤسس التنظيم ممتاز دغمش.
وبدأ اسم التنظيم، الذي يتشكل غالبية أفراده من عائلة دغمش، يتردد عقب مشاركته حركة حماس والمقاومة الشعبية في عملية «الوهم المتبدد»، وأسر الجندي جلعاد شاليط في يونيو (حزيران) 2006.
وكان الجيش الإسرائيلي متخوفا من «جيش الإسلام» الذي كان يسعى إلى تنفيذ مخطط يستهدف أسر إسرائيليين في شبه جزيرة سيناء المصرية، مدعيا أن قيادة حماس في غزة تعلم جيدا بنشاطات منظمة «جيش الإسلام» في سيناء وتعطي الضوء الأخضر لممارسة هذه النشاطات الرامية إلى ارتكاب عمليات إرهابية واختطاف سياح إسرائيليين بمصر.
وأعلنت حماس في مايو (أيار) 2007 أنها قطعت أي صلة لها بـ«جيش الإسلام»، بعد خطف مراسل هيئة الإذاعة البريطانية «بي بي سي» في غزة، الذي حررته قوات حماس في يوليو (تموز) 2007 بعد أن أمضى 4 أشهر في الأسر.
وقمعت حركة حماس عددا من هذه المجموعات، خصوصا عندما أنهت في أغسطس (آب) 2009 تمرد مجموعة جند أنصار الله الإسلامية المتطرفة في رفح جنوب قطاع غزة.
وقد اعتاد التنظيم في بياناته وتصريحاته على استخدام اسم زعيم تنظيم القاعدة أسامة بن لادن، كما أن شعاره يحتوي على رسم للكرة الأرضية، وسيف ومصحف، ولا يوجد بالشعار أي رمز لفلسطين. وظلت علاقة التنظيم بـ«القاعدة» محل جدل؛ لأنه لم يؤكد ولم ينف صلته التنظيمية بـ«القاعدة». وسبق لأجهزة الأمن المصرية أن اتهمت «جيش الإسلام الفلسطيني» بالوقوف وراء حوادث إرهابية على الأراضي المصرية مرتين، الأولى كانت في حادث الزيتون الذي وقع في 28 مايو 2008، وكانت عبارة عن عملية سطو مسلح على محل ذهب يملكه مسيحي في حي الزيتون (شرق القاهرة)، وقالت السلطات إن التنظيم كان يريد استغلال المسروقات في تمويل عملياته الإرهابية.
وأسفر الحادث عن مقتل مالك المحل مكرم عازر، و3 من العاملين به كلهم من المسيحيين، وفر الجناة خوفا من ضبطهم من دون التمكن من السرقة، قبل أن تضبطهم الشرطة وتحيلهم للقضاء الذي ما زال ينظر القضية.
والمرة الثانية كانت في تفجير بمنطقة الحسين بالقاهرة وقع في 22 فبراير (شباط) 2009، وأسفر عن مقتل سائحة فرنسية، وإصابة 24 شخصا، بينهم 14 فرنسيا وسائح ألماني و3 سعوديين، و4 مصريين من بينهم طفل، وأحد أفراد الشرطة، بعد انفجار عبوة يدوية الصنع وُضعت، على ما أفادت الشرطة، تحت مقعد في ساحة الحسين قرب خان الخليلي في وسط العاصمة المصرية. وألقت السلطات المصرية القبض على 7 من أعضاء التنظيم: مصريان وفلسطينيان وبريطاني من أصل مصري وبلجيكي من أصل تونسي وامرأة فرنسية من أصل ألباني، واستمر اعتقالهم لمدة عام تقريبا قبل أن يتم الإفراج عن المتهمين كلهم، وتم ترحيل الأجانب منهم إلى بلادهم.