1896年6月，江苏砀山县（今属安徽）刘隄头村教民凭借教会方面的势力无理抢割平民地里的庄稼，双方发生械斗。当地大刀会集合1000余人，焚毁了刘隄头教堂以示惩罚。邻近数县的大刀会众闻讯后群起声援，先后焚毁、捣毁教堂20余处。刘士端还派单县大刀会会众1000余人赶赴江苏助战。在山东、江苏交界的马良集，他们捣毁了当地的官署，焚毁教堂，并与清军展开了激烈的战斗。
砀山县的大刀会首领庞三杰闻讯后联络山东大刀会以及牛金声（一作尤金声）、彭桂林、韩秉义、陈玉得、刘仲文等首领，率众前往单县及江苏丰县戴套楼等地找教民复仇，砸毁一些教民家中的家具，并焚烧了薛孔楼洋学等。由此引起清廷的注意，谕令两江总督刘坤一、山东巡抚李秉衡各派队伍，速往镇压。
庞三杰起事之初，率众不过四五百人，他们的活动区域主要集中在苏鲁交界的马良集等地。刘坤一与李秉衡派出的官兵与大刀会在马良集等地鏖战数次，先后杀伤大刀会众800余人，彭桂林、刘士端、曹得礼等首领先后被捕，残部千余人继续活跃于山东曹州、河南东诸、江苏徐州等三省周边地带。
曹州、单县的大刀会斗争是甲午战争之后山东地区第一次规模较大的反教会斗争。这次斗争尽管时间不算太长，尽管遭到了清政府的无情镇压，但它对山东地区正在兴起的反洋教斗争，对于义和团运动的进一步展开起到了相当重要的影响。