在《敕修百丈清规》卷八<法器章>木鱼条中说：“斋粥二时长击二通，普请僧众长击一通，普请行者二通。”由此可知，古代的木鱼主要用来做为集合僧众的讯号。
至于为何而作鱼形，《释氏要览》中说：“今寺院木鱼，盖古人不可以木朴击之，故创鱼象也。又必取张华相鱼之名，或取鲸鱼一击蒲牢为之大鸣也。”《敕修百丈清规》中说，作鱼形是昼夜精进义：“相传云，鱼昼夜常醒，刻木象形击之，所以警昏惰也。”
关于木鱼的起源，日本，成寻在《参天台五台山记》卷三<宋神宗熙宁五年八月八日>条中记载：“实性院本名清泰寺，中有传大士像供人礼拜烧香。院主长老谓诸寺打木鱼鼓召集行者，乃源于传大士。往昔，大士觅头陀于嵩山时尝打鱼鼓，头陀即应鼓声而来。其后，天下大小寺院以木鱼鼓集合大众。”
也有认为木鱼是隋代沙门志林所造，史料并无记载。此外《增修教苑清规》卷下<法器门>木鱼条又有另一个传说：有一名僧人违犯其师教诲，毁坛戒法，不但堕入鱼身受恶报，而且背上还长了一棵树，风涛摇摆时，皮肉更加苦痛。其师渡海时，大鱼遂作巨风浪而说：“往昔你不教导我，以致令我堕鱼报，今欲报此怨。”其师问他：“汝名什么？”鱼回答后。其师令忏悔，又为其设水陆追拔法会。后于夜梦间，大鱼自称已脱鱼身，可将其背上之树木供养寺众，以亲近三宝。其师后果然见至鱼尸背之大树，即刻成鱼形，悬挂警众。
关于木鱼的由来，也有另一个传说。玄奘大师的《指归曲》中记载：玄奘大师自天竺归，途经蜀道时，巧遇一长者。此长者丧妻，有儿甫三岁，其后母恶之，趁长长出猎时，从楼上将孩儿掷入水中。长者哀其子故，为其设斋供僧。此时适遇玄奘大师到来，长者欢喜迎请第一座，然而玄奘大师却不食。并告诉长者：“我长途跋涉，非常疲劳，希望能得鱼肉吃之。”在场者闻言皆大惊，长者欲出买鱼，玄奘又嘱咐他：“一定要大鱼才好。”长者于是买回一条大鱼，才割开鱼腹，就见到自己的孩儿在鱼腹中啼哭：所没之儿啼在鱼腹中，长者大欣欢。玄奘大师说：“这是此儿夙世持不杀戒果教，所以现今虽被鱼吞，却得不死。”长者问：“如何报鱼恩？”玄奘大师告曰：“以木雕成鱼形，悬之于佛寺，于斋时击之，可以报鱼德。”即今之木鱼是也。
至于现今诵经、礼佛时所使用，头尾相接的团圆形木鱼，可能是明代的产物。明·王析《三才图会》中说：“木鱼，刻木为鱼形，空其中，敲之有声。（中略）今释氏之赞、梵呗皆用之。”并绘图说明。《禅林象器笺》<呗器门>也说：“按图会木鱼图，鱼头尾自相接，其形团栾。今清国僧称木鱼者，作龙二首一身，鳞背两口相接，衔一枚之形，亦空肚团栾。盖与图会木鱼同，讽唱时专敲之以成节。”
其中所谓改鱼身作龙头，可能是取《群籍一览》卷上所载刘斧《摭遗》所谓“鱼可化龙，凡可入圣”之义。
一般，木鱼都是横穿腹部中央，作中空的团栾形，头部、鳞甲、龙珠等多隈以黑漆，押上金箔，其它部分则涂以朱红；安于小布团上，以包皮的木槌敲击腹部中央。至于体积大小，普通是径一尺乃至六尺，较小的则有三寸乃至五寸等。
木鱼又称鱼鼓，在《雪峰存禅师录》中有一首<咏鱼鼓颂>，对木鱼有生动的描述：“我暂作鱼鼓，悬头为众苦，师僧吃茶饭，拈槌打我肚。身虽披鳞甲，心中一物无，鸬鹚横溪望，我誓不入湖。”又说：“可怜鱼鼓子，天生从地养，粥饭不能飧，空肚作声响。时时惊僧睡，懒者烦恼长，住持闹喧喧，不如打游漾。”此中将木鱼警策大众的意味，以有趣的方式呈现出来。
