Можно ли снести хозпостройку?

Здравствуйте. Приобрел в с/местности участок с домом. Недавно был куплен другими людьми соседний участок с домом. Сейчас соседи настойчиво просят снести небольшую обветшалую хозпостройку на самой границе с их участком (3 стены из досок, и крыша 1,5м высотой, наклонившись в сторону соседского участка). Мол, она им вид портит. Мне она тоже не нравится, и я бы ее снес. Но постройка отмечена в проекте и является, по сути, отметкой границ моего участка, так как никакого забора между участками нет. Как мне поступить в этом случае, чтобы застраховать себя от возможных проблем и избежать конфликтов с соседями. Спасибо

Николай