最终，他舍弃儒学，另立新说，聚徒讲学，形成了自己的墨家学派，成为儒家的主要反对派，也是先秦时代唯一能与孔子创立的儒家学派相抗衡的“世之显学”。
墨家与儒家的根本不同，在于两家的哲学方法和“逻辑”。儒家只注意行为的动机，不注意行为的效果，墨子的方法却恰与此相反，处处要问一个“为什么”。比如，造一所房子，墨子先要问为什么要造房子。知道了“为什么”，才能知道“怎样做”。知道房子的用处是“冬避寒焉，夏避暑焉，室以为男女之别”，才会知道该怎样布置构造，使其能避风雨寒暑、分别男女内外。
或许是因为出身的关系，墨子的思想总体而言，可以看成一种平民哲学。墨子在他的体系中，始终以下层的普通民众作为原点，进而衍生出其他。墨子以“耳目之实”的直接感觉经验作为认识的唯一来源，他认为，人的知识来源可分为三个方面，即闻知、说知和亲知。
在墨子看来，判断事物的有与无，不能凭个人的臆想，而要以大家所看到的和听到的为依据。对于学习得到的知识，不应当是简单地接受，而必须消化并融会贯通，使之成为自己的知识。因此，他强调要“循所闻而得其义”。这种把知识来源的三个方面有机地联系在一起的方法，使得墨子的认识论在我国古代哲学领域里独树一帜。