Можно сделать еще и такой финт - сделать копию php-файла шаблона страницы, назвать его page-contact.php убрать в нем вызов блока каментов, и при редактировании страницы контактов выбрать вот эту модифицированную копию шаблона страницы с удаленными комментариями. Но это если ты не боишься в код лезть.
А так да, выше предложили самое простое решение