孔子的學生子游在魯國的武城當官，以禮樂教化百姓，因此城內一片祥和。有次孔子來到武城，看到學生子游將武城治理得非常好，便笑著說：「殺一隻雞何必用到殺牛的刀呢？」意思是說︰治理武城這樣的小地方，需要靠禮樂教化這樣大費周章嗎？子游聽了便回答說：「我從前聽老師說：『在上位的人學了禮樂，就懂得愛護百姓；在下位的人學了禮樂，便容易聽從命令。』」孔子聽了子游的話，就說：「弟子們！子游的話是對的，我剛剛說的只是開玩笑罷了！」後來「牛刀」便被用來比喻人富有大材。
　　北宋時，蘇軾的好友歐陽修之孫歐陽憲要去韋城擔任主簿一職，「主簿」是主管文書簿籍及印鑑的地方小官，而韋城也只是一個小地方。蘇軾認為，以歐陽憲的才學卻只是擔任這樣的職位，實在是「▲」，便寫了一首詩送他，詩中有一句便是說歐陽憲學識淵博，卻只能在這小地方試身手。後來「牛刀小試」這句成語，就從這裡演變而出，比喻有大才能，在小事上施展。