要离职了，老板拿违约金压我怎么办？

要离职了，老板拿违约金压我怎么办？

到现在公司2年半了，半年前就开始找工作了，终于要离开了。
2008年12月进公司。
2009年4月底去日本开始为期四个月的研修。去之前签订了三年服务期的违约金合同
2009年9月初回国，正式开始国内的工作。
2011年6月15日正式提出离职。因为现在公司的业务量基本为零，处于全线停产状态，
自己也看不到未来。决定把手头的工作交接好以后走人。
因为公司的员工基本上都处于无所事事的状态，所以觉得现在离职不会对公司造成什么损失。没想到公司想用违约金来强留我，已经表明离职的决心已定，现在的直接领导也同意离职但必须交违约金。

本人平时对工作尽心尽职，和日本领导及同事相处得也还不错。到头来却是这样的结局
世事难料啊！人情淡漠！