Згодом дружина господаря почала накидати оком на Йосипа. Якось вона сказала: «Візьми мене!» Та Йосип відмовився. Він сказав їй: «Послухай, зі мною мій господар не турбується ні про що в домі, і все, що має, залишив під моїм наглядом. Немає вищого в цьому домі, крім мене. Він не відмовляє мені ні в чому, не віддає лише тебе, бо ти його дружина. То як же можу я чинити таке зло і грішити проти Бога?»
День-у-день вона повторювала йому те саме, але він відмовлявся лягти поруч неї або ж бути з нею. Одного дня, коли Йосип прийшов у дім виконувати свої обов’язки, нікого з слуг не було в хаті. Потифарова дружина схопила його за вбрання і каже: «Лягай зі мною в постіль!» Він же, залишивши свій одяг у неї в руках, вирвався й вибіг надвір.
Вона побачила, що він залишив свій одяг в її руках і втік надвір. Тоді вона загукала домашнім: «Погляньте, мій чоловік привів сюди цього єврея, щоб він насміхався з нас. Він прийшов до мене, щоб переспати зі мною, та я голосно закричала. Почувши, що я здійняла ґвалт, він утік надвір, залишивши свій одяг».
Вона залишила в себе той одяг, аж доки господар не прийшов додому. Тоді вона розповіла йому те саме: «Слуга-єврей, якого ти привів до нас, прийшов позбиткуватися з мене. Та коли я здійняла ґвалт, він залишив свій одяг коло мене і втік надвір».
Вона сказала: «Отаке вчинив твій слуга зі мною». Почувши ці слова, господар дуже розлютився. Йосипів господар схопив його та й кинув до в’язниці, де утримувалися фараонові в’язні. І Йосип залишився у тій в’язниці.
Але Господь був із ним і виявив милість до нього. Він дарував йому прихильність начальника в’язниці. Начальник в’язниці зробив його старшим над усіма в’язнями, але він виконував ту ж роботу що й інші. Начальник в’язниці не стежив за тим, що довірено було Йосипові, бо Господь був із ним і Господь робив усе, щоб йому щастило.