離職了，老闆說要告我。 - 法律

小妹我最近遇到一個問題。
我先前在一間公司當業務員，任職三年多，之前有段時間業績很差。
有天老闆把我抓過去，跟我說，要把我培訓成公司幹部，要我簽合約，內容是三年內不得離職，否則賠償違約金四十萬。
剛簽下合約的時候還有種被鼓勵的感覺，公司要培育我當主管幹部耶!所以也很努力，但還是一直沒有收入(公司是獎金制，無底薪，所以沒業績就是沒收入。)
這樣撐了一段時間實在是受不了，房貸都繳不出來了，只好離職另尋他路。
離職當天公司經理有拿出當時簽的合約，但是沒有要求賠償違約金，他只說"這個合約我暫時保留"。
任職期間我跟很多客戶都很熟識，但是有些客戶在我離職之後，就不再跟公司訂貨了。
昨天我爸爸跟我說家裡接到存證信函，之前任職的公司說我散布不實謠言、影響公司信譽，導致客戶流失，要對我提告。但是我根本沒有叫客戶不要跟公司訂貨，是他們自己要換訂別家的，干我什麼事啊?
而且當下我離職的時候公司沒有跟我要求賠償違約金，還說保留，現在又說我散布不實謠言，要告我，這樣根本是子虛烏有，這樣公司告的成嗎?請各位懂法律的朋友幫我解答好嗎?感激不盡!!