要離職了，老板拿違約金壓我怎么辦？

到現在公司2年半了，半年前就開始找工作了，終于要離開了。
2008年12月進公司。
2009年4月底去日本開始為期四個月的研修。去之前簽訂了三年服務期的違約金合同
2009年9月初回國，正式開始國內的工作。
2011年6月15日正式提出離職。因為現在公司的業務量基本為零，處于全線停產狀態，
自己也看不到未來。決定把手頭的工作交接好以后走人。
因為公司的員工基本上都處于無所事事的狀態，所以覺得現在離職不會對公司造成什么損失。沒想到公司想用違約金來強留我，已經表明離職的決心已定，現在的直接領導也同意離職但必須交違約金。

本人平時對工作盡心盡職，和日本領導及同事相處得也還不錯。到頭來卻是這樣的結局
世事難料啊！人情淡漠！