太监没有从细川元道那里收到好处，因此指使那些收了山名瑞颜贿赂的市舶司官员处处为难细川元道，故意减少细川元道贡品的数量或者压低其贡品的品质，使得细川元道有苦难言但又无可奈何，受了一肚子的闷气。
本来，如果市舶司的官吏能在随后的事情时坚持一下原则的话，事情也不会闹到不可收拾的地步，可接下来宁波市舶司的官吏在嘉宾堂举行欢迎细川元道和山名瑞颜的宴会下，又犯下了一个大错，进而燃了这次日本贡使争贡事件的导火索。
宴会上，持有永乐勘合的山名瑞颜被市舶司的官员安排坐在了首席，而持有宣德勘合的细川元道则被安排坐在了次席。
市舶司官员的这一安排彻底激怒了细川元道使团，本来他们与山名瑞颜使团的人在日本国内就是敌对势力，相互间时常爆发战争，关系可谓十分糟糕，再加上山下瑞颜使团人员的冷嘲热讽，这使得原本就满肚子火气的细川元道使团成员勃然大怒，很快就与山下瑞颜使团的人拳脚相向打成了一团。
市舶司的官吏见双方斗殴，于是出动了士卒，好不容易才将其分开，一场好好的宴会搅得不欢而散。
由于细川元道使团中的人有不少是海盗，也就是大明所称的倭寇，因此宴会后对受到的遭遇忿忿不平，而细川元道更是大为光火，于是恼怒之下做出了一个大胆的决定，率领着手下的人打开了市舶司的东库，拿回了按规定收缴保存的武器，进而气势汹汹地攻进了山名瑞颜使团的驻地。
山名瑞颜使团的人因为手里没有武器所以立刻在缠斗中处于了下风，作为使团的贡使山名瑞颜自然成为了主要攻击的目标，很快就被细川元道的人给杀了。
市舶司的官员见双方爆发了冲突，山名瑞颜的人被细川元道的人追得落荒而逃，抱头鼠窜，因此连忙给山名瑞颜的人提供兵器用以反抗。
可惜的是，细川元道使团人多势众，山名瑞颜使团的人无法与之抗衡，唯有落荒而逃，在闻讯赶来的卫所士兵保护下逃离了宁波市舶司，在十里外的青田湖躲避。
细川元道使团的人随之放火焚毁了接待使团的嘉宾堂，然后沿灵桥门外北行经东渡门至和义门外，烧了停在此处的山名瑞颜贡船船队的船船只。
虽然烧了山名瑞颜贡船船队，但细川元道等人还不解气，继续追杀被明军护送离开的河边白光等山名瑞颜贡使使团的成员，从余姚江岸一直追杀到了绍兴城下，面对城门紧闭的绍兴城大骂了一通后返回宁波。
此时此刻，细川元
…。。