Энтони был несколько раз женат. Первый брачный союз был заключен в возрасте 30-ти лет, на тот момент актер уже имел популярность. Его супругой стала Петронелла Баркер, у пары родилась дочь Эбигейл. Брак просуществовал 6 лет, а после супруги развелись. Актер считает первый брак неудачным и предпочитает от нем умалчивать. Долгое время отец не общался со своей дочерью, спустя долгое время общение было возобновлено.