คิดยังไงกับคนที่ชอบฝากลูกไว้ที่คนอื่นตลอด

เรากับแฟนมีลูก 1 คนวัยกำลังหัดเดิน เราเอาลูกมาเลี้ยงเองที่บ้าน ส่วนแฟนอยู่บ้านตัวเองเพราะใกล้ที่ทำงาน วันหยุดถึงจะได้อยู่ด้วยกัน ซึ่งเดือนหนึ่งจะมีวันหยุดประมาณ 3-4 วัน ปัญหาคือ - เวลาแฟนหยุดเราตกลงกันว่าจะพาลูกไปเที่ยวด้วยกัน แต่พี่แฟนชอบฝากให้ลูกแกไปด้วย (ลูก 2 คนดื้อมากวัยอนุบาลกับประถมต้น) ตอนแรกเราก็เฉยๆ แต่พอเป็นแบบนี้ทุกครั้งที่แฟนเราหยุด เราก็เริ่มไม่โอเค เพราะไม่ได้มีเวลาของครอบครัวเราเลย แฟนต้องคอยดูแลหลานจนไม่ค่อยได้ดูแลลูกตัวเองเลย - เวลาเราไปอยู่บ้านแฟน พี่แฟนก็ชอบฝากลูกแกให้เราดู ทั้งที่เราก็ต้องดูแลลูกเรา ซึ่งถ้าจำเป็นจริงๆ เราดูให้ได้ แต่ไม่ใช่ฝากทั้งวันทุกวัน เราเหนื่อยมากจริงๆ - ซึ่งปัญหาที่บอกมาเราเอาไปบอกแฟนแล้ว ตอนแรกแฟนบอกสงสารหลานเลยรับฝาก แต่พอเราบอกเหตุผลว่าเราอยากให้แฟนมีเวลาให้ลูกบ้าง แฟนก็เข้าใจและพยายามเลี่ยงไม่ให้ฝาก - พอญาติแฟนรู้ว่าเราไม่อยากให้เอาหลานมาฝาก ก็มีการต่อว่าเราว่าไม่มีน้ำใจ ระวังจะไม่มีใครรับฝากลูกเรา เราเลยบอกว่าเราไม่คิดจะฝากลูกไว้กับใครอยู่แล้ว เวลาไปไหนเราเอาลูกไปด้วยตลอด ถ้าจำเป็นจริงๆ เราจะฝากลูกเราไว้กับพ่อแม่เราก็ได้ - อีกเหตุผล คือ ลูกเขาดื้อมากและชอบรังแกลูกเราด้วย ต่อหน้าแฟนเราจะทำตัวรักลูกเรา พอลับหลังจะชอบผลักชอบทำร้าย ตะคอกใส่ลูกเรา - ที่เค้าเอาลูกมาฝากเพราะลูกเค้าดื้อ เค้าเอาลูกตัวเองไม่อยู่ แต่ลูกเค้าค่อนข้างเชื่ฟังแฟนเรา (ไม่ใช่เค้าไม่มีเวลานะคะ เค้าแค่ไม่อยากดูลูกเค้าค่ะ) เราใจแคบเกินไปหรือเปล่าที่ไม่อยากให้เค้าเอาลูกมาฝาก เราแค่อยากให้พ่อลูกมีเวลาด้วยกันบ้าง แต่ญาติๆเค้าไม่เห็นใจเราบ้างเลย เค้าฝากตั้งแต่เราท้องจนตอนนี้ลูกเรากำลังเดิน ไม่มีท่าทีจะหยุดฝาก ขอวิธีพูดหรือปฏิเสธหน่อยค่ะ หรือมีวิธีจัดการยังไงดี