Козлоразмышлизм

Когда говорят "Все мужики козлы", то тебя, вроде как, обозвали козлом. А с другой стороны, почему благородного дона должно беспокоить, как там называют каких-то грязных мужиков?