لاستياء اليمن، فغالباً ما تصفها وسائل الإعلام بالوطن الأصلي لأسامة بن لادن. هاجرت عائلة بن لادن من وادي دوعن، وهو وادٍ في حضرموت، إلى المملكة العربية السعودية في أوائل القرن التاسع عشر. ويماثل التأييد الشعبي لتنظيم القاعدة في اليمن ذاك الذي في بلدان عربية أخرى؛ ونتيجة محدودية بسط الدولة لنفوذها، جاب أنصار تنظيم القاعدة الناشطون في البلاد تحت حماية قبلية في تلك الأيام، حيث كان العديد منهم من المحاربين القدامى في الحرب الأفغانية.
عام 1998، قتلت خلية مزعومة للقاعدة أربعة من أصل ستة عشر من السياح الرهائن بعد تعرضهم لهجوم من قبل الجيش. وفجرت خلايا للقاعدة المدمرة الأمريكية البحرية USS Cole عام 2000 وناقلة النفط الفرنسية Limburg عام 2002. كما تم تفجير العديد من أنابيب النفط في المناطق المنخفضة الشرقية. عام 2007، تم قتل سبعة من السياح الأسبان من قبل مسلحين من تنظيم القاعدة بالقرب من مأرب، وعام 2008 تم قتل سائحين بلجيكيين مع سائقيهما اليمنيين في مأرب. كما تعرضت المباني الأمريكية في صنعاء إلى القصف عام 2008.
تتعاون اليمن والولايات المتحدة رسمياً في الحرب ضد القاعدة. ويعتقد بأن عملاء المخابرات المركزية الأمريكية يعملون في اليمن. وطارد هؤلاء العملاء قائد سنان الحارثي، المعروف باسم أبو علي، وقتلوه عام 2002. وهو أحد المسؤولين عن الهجوم على USS Cole، وذلك بإطلاق صاروخ من طائرة بدون طيار على السيارة التي كان يستقلها مع خمسة آخرين مشتبه بهم. اتهمت الولايات المتحدة الحكومة اليمنية بالتساهل مع تنظيم القاعدة، بعد أن قام متهم آخر بتفجير USS Cole بالهرب من السجن للمرة الثانية بطريقة مثيرة. طالبت الولايات المتحدة بتسليمه إليها، ولكن اليمن رفضت، مصرّة على تحرير المعتقلين اليمنيين المحتجزين في معسكر اعتقال خليج غوانتانامو أولاً.
عام 2009 تم إعلان تشكيل تنظيم “القاعدة في جزيرة العرب” كاندماج لفروع القاعدة السعودية واليمنية. وبعد ذلك بوقت قصير، أعلنت الولايات المتحدة بأن القاعدة في جزيرة العرب تشكل تهديداً كبيراً، أكبر من فروع القاعدة في أفغانستان والعراق. وتم نسب هجومين إلى القاعدة في جزيرة العرب. ففي 25 كانون الأول/ديسمبر عام 2009، لم تنجح محاولة عمر فاروق عبد المطلب النيجري الأصل في تفجير قنبلة في طائرة كانت تقترب من ديترويت. وبعد تسعة أشهر، تم إرسال طرد يحتوي على متفجرات داخل طابعة من صنعاء إلى منظمتين يهوديتين في شيكاغو؛ وتم اعتراضه. واعتبر أنور العولقي الأمريكي المولد بأنه العقل المدبر لهذه العمليات وتم تصنيفه زعيماً للقاعدة في جزيرة العرب. وقتل في هجوم طائرة أمريكية بدون طيار في 30 أيلول/سبتمبر عام 2011.
استهدفت عدة عمليات عسكرية مشتركة بين الولايات المتحدة واليمن قواعد مفترضة للقاعدة في جزيرة العرب في شرق وجنوب شرق اليمن. جاءت هذه العمليات، والتي غالباً ما كانت تتم بطائرة بدون طيار، بنتائج عكسية في عدة مناسبات، وذلك عندما أخطأت أهدافها وقتلت مدنيين أبرياء. أدى ذلك إلى تزايد المعارضة لتدخل الولايات المتحدة، والذي اعتبر دعماً لنظام صالح، في ظل غياب دليل واضح على تهديد تنظيم القاعدة في جزيرة العرب. مما دفع بأشخاص أكثر للانضمام إلى الجماعات المسلحة المعارضة لصالح. ولتواجد أعضاء من تنظيم القاعدة في الجزيرة العربية بين هذه المجموعات، غالباً ما وسمت بشكل جماعي على أنها تنتمي إلى تنظيم القاعدة.
في مقابلة في نيسان/أبريل عام 2011، دعا قائد يدعى عادل العباب مجموعته من المجاهدين إلى القتال من أجل إقامة الشريعة (القانون الإسلامي) في اليمن. فضل العباب اسم “أنصار الشريعة” في المواجهات مع السكان المحليين، ولكنه اعترف بأنه يشعر بأنه جزء من القاعدة. وقد تحدث عن عدد من النجاحات وحضور متزايد في أجزاء كبيرة من اليمن، وذلك لأن “الناس استطاعت أن ترى بأننا نجلب الأمن”. ادّعى العباب بأن مجموعته كانت متحالفة مع حركة طالبان الأفغانية وحركة الشباب الصومالية.
اندلعت حرب غامضة في أبين شرق عدن خلال ثورة عام 2011، وشاركت القاعدة في جزيرة العرب في هذه المعارك. وهناك تقارير عن معارك بين وحدات معارضة من الجيش وميليشيات محلية وجماعات قبلية. وفي حزيران/يونيو عام 2011، امتد القتال من أبين واقترب من مدينة عدن. ويفترض بأن القاعدة في جزيرة العرب نظمت هروب 63 سجيناً سياسياً من سجن المكلا، وتم تحرير بعض أعضائها.
في حزيران/يونيو عام 2011، أفادت الأنباء بأن قراصنة صوماليين كانوا يستخدمون جزيرة سقطرى لبعض الوقت كميناء لإعادة التزود بالمواد الغذائية والأسلحة والوقود. وبقيت هذه التقارير غير مؤكدة.