非法证据排除规则在我国正式确立的时间并不长，虽然1979年和1996年的《刑事诉讼法》都确立了禁止使用“刑讯逼供”、“威胁”、“引诱”、“欺骗”等非法取证方法，但对这些取证行为的限制并非非法证据排除规则的精髓。

刑事诉讼程序中，将侦查机关搜集的证据材料通过举证、质证、认证的过程转化为定案依据是整个诉讼程序的关键，也是国家完成指控犯罪职能的核心内容。而证据材料进入这个过程的前提条件就是具备证明能力，非法证据即是因为没有证明能力导致了被排除的命运。因此，当绝大多数人在立法沿革的过程中将注意力集中在法律对侦查人员取证行为的态度变化时，非法证据排除规则实际上折射的是非法证据本身效力的最终确认问题。

非法证据在刑事诉讼中反映出的是程序的违法性，例如通过刑讯逼供等非法手段获取被告人的供述，对应当同步录音录像的讯问无法提供录音录像等。在实体上则直接侵犯了公民的基本权利，如人身自由权、隐私权、财产权等。因此，排除非法证据的真正意义在于对侦查行为的宣告违法和对非法侦查行为所得结果的无效确认。在司法实践中，虽然很少直接通过判决的形式宣告侦查行为违法，但却实现了将非法证据排除法庭，不予转化为定案依据的效果。同时，根据我国《刑事诉讼法》的规定，被告人所做的有罪供述只要系侦查人员通过严重违法手段获取，均需强制性排除，而该有罪供述作为直接证据一旦被排除，往往使得许多案件只能依靠间接证据定罪，因此，无罪辩护的成功率得到了一定程度的提高。