創建は不明ですが、808年に作られた本に記録されています。

機織に携わった氏族である倭文氏が祖神のタケミカヅチを祀ったのが起源とされていましたが、社伝にはシタテルヒメに関するものが多く、大正時代まではシタテルヒメが主祭神であると考えられていました。

神社の記録によれば、シタテルヒメは出雲から船を使ってこの地に渡ったとされています。着船したとされる場所には、シタテルヒメが化粧直しに使った「化粧水」や、その際に腰を掛けた「お腰掛岩」が残っています。

境内の塚が「シタテルヒメ」の墓であると考えられていましたが、1915年に発掘調査を行ったところ「経典の墓」でした。ただ、出土品から、倭文神社が平安時代後期には伯耆国一宮であったことがわかりました。出土品は現在、国宝に指定されています。

かつて主祭神であったシタテルヒメにあやかって、安産祈願の神社として知られています。参道沿いにある「安産岩」には言い伝えがあり、難産の多かった女性が祈願したところ、夢にシタテルヒメが表れ、容易く出産できたと言われています。そのため、この岩を削って飲むと霊験があるとされています。

​※写真は、5/1の例祭前夜に行われる「例祭宵宮」の様子です。