人脸识别被认为是生物特征识别领域甚至人工智能领域最困难的研究课题之一。人脸识别系统的困难主要是人脸作为生物特征的特点所带来的。

不同个体之间的区别不大，所有的人脸的结构都相似，甚至人脸器官的结构外形都很相似。这样的特点对于利用人脸进行定位是有利的，但是对于利用人脸区分人类个体是不利的。

人脸的外形很不稳定，人可以通过脸部的变化产生很多表情，而在不同观察角度，人脸的视觉图像也相差很大，另外，人脸识别还受光照条件（例如白天和夜晚，室内和室外等）、人脸的很多遮盖物（例如口罩、墨镜、头发、胡须等）、年龄等多方面因素的影响。

在人脸识别中，第一类的变化是应该放大而作为区分个体的标准的，而第二类的变化应该消除，因为它们可以代表同一个个体。通常称第一类变化为类间变化（inter-class difference），而称第二类变化为类内变化（intra-class difference）。对于人脸，类内变化往往大于类间变化，从而使在受类内变化干扰的情况下利用类间变化区分个体变得异常困难。

现有的人脸识别系统在用户配合、采集条件比较理想的情况下可以取得令人满意的结果。但是，在用户不配合、采集条件不理想的情况下，现有系统的识别率将陡然下降。比如，人脸比对时，与系统中存储的人脸有出入，例如剃了胡子、换了发型、多了眼镜、变了表情都有可能引起比对失败。也就是说，人如果发生较大变化，系统可能就会认证失败。光照、姿态、装饰等，对机器识别人脸都有影响。