证据是诉讼的关键，而合法性是证据的重要属性，证明责任则是控辩双方积极主张应尽的责任和义务。非法证据排除程序中对争议证据合法性的的审查是重中之重，其核心是证明责任的分配以及实现。非法证据排除规则因为其自身所具有的诉讼价值以及它在刑事诉讼中的独特地位，为世界上大多数国家采纳。文章在明确了合法性的重要性以及证明责任的性质之后，在对中国立法现状分析的基础之上，结合证据种类对英美法系和大陆法系国家的立法、司法现状，在言词证据和实物证据存在合法争议时，分析两大法系的代表性国家的证明责任如何分配以及配套制度如何设计。综合上述分析，结合中国的立法、司法现状，提出要想充分发挥非法证据排除规则的作用，就要充分的保证争议证据的合法性的证明能够得到实现，应当明确合法性审查适用的证据种类，细化操作规则，同时通过建立和完善配套制度来达到合理分配证明责任并且保证证明责任实现的目的。