Что ж там за магнит у Вас такой?
Чтобы с часами было всё в порядке, желательно соблюдать пару простых вещей: не ронять их со всей силы, не окунать в воду (если не предназначены) и не намагничивать специально сильным магнитом. Это про механику, а уж про кварцевые вообще можно не говорить.
За более, чем 20 лет каждодневного ношения и механики, и кварца (в том числе, в экстремальных условиях) ещё ни одни часы не сломались.
Главное, специально не ломать, а дальше здравый смысл и мать природа должны подсказать! А уж магнитик от кармашка на куртке или от холодильника не причинят вреда