男人和女人看待出轨有着不一样的观点，普遍认为，男人更难接受伴侣身体上的出轨，而女人则相反，更难接受伴侣精神上的出轨。这种以生物性别为参照作出的结论，总让人有一种不够严谨的感觉。
无论伴侣是哪种形式的出轨，在得知这件事后，男人会倾向于自我消解、转移、压抑等，而女人则大多选择吵闹、逼问、向他人哭诉等。但男人和女人都会感到沮丧、失望、愤怒、受辱等（强度是一样的），只是会以不同的方式去表达而已。
能否接受伴侣的出轨，确实有着很大的个体差异，但是这差异的划分参照物不应该是生物性别，而是以气质类型、个性特点、价值观念等内在的东西更恰当。那些个性敏感、想象力丰富、情绪情感也很丰富的人，会更难接受伴侣身体上的出轨。
由于很少有人因为伴侣精神出轨而来到咨询室，所以什么样的人较难接受伴侣的精神出轨，还有待专业研究人士去多多关注。那么从这个角度来说，基本可以得出一个结论：与精神出轨比较起来，人们更难接受伴侣的身体出轨。
因为身体的出轨是有实质内容的，有画面的，所以比较容易激发人们的想象力。当得知伴侣出轨，且确认有身体的出轨之后，人们会不可避免地想象伴侣与他人亲密的画面，尤其是每当与伴侣进行亲密行为的时候。对这些画面的想象，会对当事者的自尊感、安全感、信任感等造成毁灭性的打击，同时也会影响到伴侣们的亲密感，而这将进一步挫伤亲密关系。
而精神上的出轨，却是虚无飘渺的，似乎有，又似乎没有，难以捕捉到可视可感的信息。这让人们的想象力无从发挥，也就弱化了对内在自我和情感的冲击。