Josef var smuk og så godt ud. Engang skete det, at hans herres hustru kastede sine øjne på Josef og sagde: »Kom og lig hos mig!« Men han vægrede sig og sagde til hende: »Min herre bekymrer sig ikke om noget i huset, men har givet mig ansvaret for alt, hvad han ejer. Han har ikke mere at skulle have sagt i dette hus end jeg, og han har ikke nægtet mig noget undtagen dig, og det er, fordi du er hans hustru. Hvordan skulle jeg så kunne gøre noget så ondt og synde mod Gud?« Selv om hun dag efter dag søgte at overtale Josef, ville han ikke opfylde hendes ønske om at ligge hos hende og have omgang med hende.

En dag, da han kom ind i huset for at gøre sit arbejde, og der ikke var nogen af husets folk til stede, greb hun fat i hans kjortel og sagde: »Kom og lig hos mig!« Men han lod hende beholde kjortlen og flygtede ud. Da hun så, at han var flygtet ud og havde ladet hende beholde kjortlen, råbte hun på husets folk og sagde til dem: »Se, han er kommet med en hebræer, som går og gør tilnærmelser til os. Han kom ind til mig og ville ligge hos mig, men så råbte og skreg jeg. Da han hørte, at jeg råbte højt, efterlod han kjortlen hos mig og flygtede ud.« Hun lod hans kjortel ligge, til hans herre kom hjem. Så fortalte hun ham den samme historie: »Den hebraiske træl, du kom med, kom ind og gjorde tilnærmelser til mig. Men da jeg råbte højt, efterlod han kjortlen hos mig og flygtede ud.«

Da hans herre hørte sin kone fortælle, at hans træl havde båret sig sådan ad mod hende, flammede hans vrede op; han satte Josef i fængsel, det sted, hvor kongens fanger sad indespærret, og så sad han der i fængslet. Men Herren var med Josef og viste ham godhed og lod ham finde yndest i arrestforvarerens øjne. Arrestforvareren gav Josef ansvaret for alle fangerne i fængslet, så det var ham, der gjorde alt, hvad der skulle gøres. Arrestforvareren tog sig ikke af noget af det, Josef havde fået ansvaret for; det var, fordi Herren var med Josef, og det, han gjorde, lod Herren lykkes.