Le jeu est basé sur la série animée "The Legend of Swordsman Yaiba". Yaiba Kurogane a été élevé par son père dans une jungle pour devenir un guerrier samouraï. Lorsque Yaiba arrive à Tokyo pour poursuivre sa formation, il rejoint la maison de l'ancien rival de son père, Raizou. Plus tard Yaiba rencontrera Takeshi Onimaru, un apprenti épéiste au talent exceptionnel, qui deviendra bientôt son plus grand rival. Un jour Onimaru découvre une trappe menant à une pièce secrète où il trouve deux énormes statues de dieux antiques - Fuujin, le dieu du vent, et Raijin, le dieu de la foudre. Onimaru réalise que les épées de ces dieux détiennent un immense pouvoir mais il en manque une. Il se lance dans un voyage pour trouver donc l'autre épée provoquant l'apparition des forces du mal...