这时，张辽在旁边，听到祢衡这样狂妄，公开侮辱大家，气得抽出宝剑要砍，曹操止住他说：“我目前正缺少一个敲鼓的人，早晚朝贺和宴会，都要有人敲鼓，就让祢衡去做吧!”老奸巨猾的曹操，企图用这个办法狠狠羞辱一下祢衡，谁知祢衡一点也不拒绝，很快答应这个办法，告辞去了。张辽恨恨地问曹操：“这个家伙讲话这般放肆，为什么不让我杀他?”
曹操笑笑说：“这个人在外面有点虚名，我今天杀了他，人家就会议论我容不得人。他不是自以为很行吗，那就叫他打打鼓，丢丢他的人吧!”
第二天中午，曹操在丞相府大厅上邀请了很多客人赴宴，命令祢衡打鼓助兴。原先打鼓的人叮嘱祢衡打鼓时必须换上新衣，但祢衡却穿着旧衣服进入大厅。祢衡精于音乐，打了一通“渔阳三挝”，音节响亮，格调深沉，发出金石般的声音，座上的客人都被激动得情绪热烈，流下泪来。曹操的侍从们突然挑剔地叫道：“打鼓的为什么不换衣服?”谁知祢衡竟当众脱下身上的破旧衣服，赤裸裸地站在那里，客人们惊得一齐掩起面孔。祢衡又慢慢地脱下裤子，一直不动声色。曹操看见这个情景，呵叱起来：“在朝廷的厅堂上，为什么这样不懂礼仪?”