První dochované zmínky se odvozují z nápisů, v nichž jsou zmínky o židovském Himjárském království a jeho králi Abu Karibovi, který kolem roku 500 přijal judaismus. Po ovládnutí prostoru islámem bylo postavení jemenských Židů lepší než v jiných muslimských zemích, výnosem z 9. století jim například bylo zajištěno vlastnictví půdy. Rozkvět místní komunity, a to jak ekonomický tak kulturní, nastal v době vzrůstajícího obchodu s Indií mezi 10. a 13. stoletím. Toto období znamenalo odtrhnutí se od duchovních center v Babylonu a Palestině a přimknutí se k egyptské majmonovské škole.
Úpadek obchodu s Indií znamenal i úpadek a stagnaci místní židovské komunity, o které se dozvídáme až ve zprávě z roku 1629, kdy se Židé stali terčem útoků šiítských zajdovských imámů. Naopak v 18. století za dynastie kasimovských imámů, která přinesla zemi politickou integritu a hospodářský rozkvět, měli Židé velká privilegia, dokonce některé rodiny (Irákí nebo Halevi aš-Šajch) byly ustanoveny za dozorce nad ražením mincí a vybíráním daní. V tomto období se také prosadili slavní duchovní vůdci jako například Jehuda Sadí, David Mašrikí či Jahjá Sálih.
Události 19. století však byly počátkem konce židovské prosperity v Jemenu. V letech 1881–82 (během tzv. první aliji) jich do Palestiny odešlo 30 000 a při operaci Orlí křídla (také Létající koberec) jich bylo od června 1949 do září 1950 letecky přepraveno z Adenu do nově vzniklého státu Izrael dalších 47 000. Některé bohaté židovské rodiny, které pochybovaly o slibované lepší budoucnosti v Izraeli, se však rozhodly neopustit svůj majetek a tak nakonec v Jemenu zůstalo na 300 Židů, jejichž komunita se do současnosti zmenšila na asi 200 osob, ačkoliv jemenská vláda přijala zákony na ochranu Židů, kteří nesmějí být nijak diskriminováni.
Židé, kteří žijí nebo jejich předci žili v Jemenu se nazývají Tejmanin (hebrejsky תֵּימָנִים).