Potifár mindent Józsefre bízott, s így neki már szinte semmivel nem kellett törődnie — legföljebb az étellel, amit megevett.
József szép termetű és csinos fiatalember volt. Egy idő múlva ezt Potifár felesége is észrevette, és szemet vetett rá. Sőt, el is akarta csábítani. „Gyere, József, hálj velem!” — mondta neki. De József elutasította urának feleségét: „Asszonyom, jól tudod, hogy uram mindent rám bízott a házában, és mellettem semmire nincs gondja! Uram szinte maga mellé emelt ebben a házban, és semmit sem tiltott el tőlem — téged kivéve, hiszen a felesége vagy! Hogyan is követhetnék el ilyen gonosz árulást uram ellen, és ilyen súlyos bűnt Isten ellen?!” Bár az asszony nap mint nap csábította Józsefet, ő ellenállt neki, és nem akart vele hálni.
Történt egy napon, hogy József akkor ment be a házba a munkáját végezni, amikor a szolgák közül éppen senki más nem volt bent. Az asszony megragadta József ruháját, és igyekezett magához húzni. „Most hálj velem!” — mondta. József azonban kifutott a házból, ruháját az asszony kezében hagyva.
Az asszony látta, hogy József elfutott, de a ruháját a kezében hagyta. Kiáltott hát a szolgáknak, és összecsődítette őket. „Nézzétek, mit művelt velem a férjem héber rabszolgája! Hogy megalázott bennünket! Bejött a házba, és velem akart hálni, de mikor teljes erőből sikoltozni kezdtem, elfutott, s még a ruháját is itt hagyta!” A ruhákat magánál tartotta az asszony, amíg a férje, József gazdája hazajött, s akkor neki is előadta ugyanezt a történetet: „A héber rabszolga, akit idehoztál, bejött ide, hogy meggyalázzon! De mikor teljes erőből sikoltozni kezdtem, elfutott. Nézd, még a ruháját is itt hagyta!”
Mikor Potifár hallotta, hogy felesége azzal vádolja Józsefet, hogy ilyen gyalázatosan viselkedett vele szemben, nagyon megharagudott. Abba a börtönbe vetette Józsefet, amelyben a király foglyait őrizték. Egy ideig József a börtönben maradt. Az Örökkévaló azonban ott sem hagyta el őt, hanem hűséges szeretettel bánt vele. Így történt, hogy a börtön parancsnoka megkedvelte Józsefet, rábízta az összes fogoly felügyeletét, és az egész börtön igazgatását. Attól kezdve a parancsnoknak már nem kellett semmivel törődnie, hiszen mindent József intézett: az Örökkévaló ott is vele volt, és mindenben sikeressé tette.