สอบถามเรื่อง sql delete ครับ

ถ้าเกิดผมเพิ่มข้อมูลแล้วข้อมูลของ Row ไม่ตรงกันผมสามารถลบแล้วให้มันอ้างอิงถึงข้อมูลตรงกันโดยการอ้างอิงจาก FK ที่เป็นของ PK ตารางหลักได้ไหมครับ
ตัวอย่างนะครับ
table a
id    name      
1         a
2         ab
table b
id    name     a_id
1        ab         2
2         a          1

แบบนี้นะครับ
เวลา update ได้ปกติครับ
แต่เวลาลบมันจะลบโดยการอ้างอิงถึง ID แล้วลบทิ้งนะครับ
แต่ผมอยากทราบว่าถ้าผมอยากจะลบที่ FK แทนจะได้หรือเปล่าครับ
เพราะถ้าเกิดกรณีแบบนี้เวลาผมลบโดยอ้างอิงจาก ID จะมีปัญหาเรื่องข้อมูลไม่ตรงกันครับ
จากในตัวอย่างถ้าเกิดผมลบ Row 2 ข้อมูลใน FK ที่อ้างอิงจาก table a  Row 1 มันจะลบ table b Row 2 ซึ่งมี Fk อ้างอิงของ Row 1 table a อยุ่นะครับ
ข้อมูลก็จะไม่ตรงแล้วนะครับ
แบบนี้พอมีวิธีที่ลบประมาณลักษณะนี้ได้หรือเปล่าครับ
ขอคำแนะนำด้วยนะครับ
ขอบคุณครับ