ต่อมาภายหลัง เมียของเจ้านายเริ่มให้ความสนใจในตัวโยเซฟ นางพูดว่า “มาร่วมหลับนอนกับฉันเถิด”
แต่โยเซฟปฏิเสธ เขาพูดกับเมียของเจ้านายว่า “ดูเถิด กับผมแล้ว เจ้านายไม่เคยต้องเป็นห่วงกังวลเกี่ยวกับเรื่องอะไรเลย เขาได้ตั้งให้ผมดูแลทุกสิ่งทุกอย่าง ในบ้านหลังนี้ไม่มีใครใหญ่กว่าผมอีกแล้ว และเขาไม่เคยห้ามอะไรผมเลย ยกเว้นท่าน เพราะท่านเป็นเมียเขา จะให้ผมทำสิ่งชั่วร้ายอย่างนี้ และทำบาปต่อพระเจ้าได้อย่างไร”