母亲非常恭敬，是有名的大孝子。

后来京参加科举，中途遇见一个徒步赶路的，说是听说父亲在外任职病亡，于是赶路前往，王义方听了立马把自己的马让给了他，甚至做了好事还不留名。

京后，他不肯跟其它学生一样去拜谒公卿贵族，凭真本事考中明经，恰当初那位路上受他赠马的回到京师，认出他来，于是到处替他宣扬。

京师称赞。

连圣祖皇帝都听说了有这么一个新科明经才子，饱学有才，且很有素心，又还能助，于是钦授他为晋王府参军。

宰相魏征非常喜欢王义方的为，并欣赏这个老乡的才学，于是主动提出把妻子裴氏的娘家侄嫁给他，但王义方却一拒绝了，理由是魏征是宰相，他不想攀驸宰相，趋附权贵。

后来魏征去世后，却又主动上门求婚，娶了裴氏。别问他为什么，他说魏公如今已经去世了，我要继承他的遗志，实现他生前弘扬儒家、劝语君王的意愿，以报答他的知遇之恩。

王义方也因不肯攀附权贵所以仕途并不顺畅，到贞观末年也不过是弘文馆的绿袍小官。

结果还因为贞观末年对魏王党的清算，被举报他曾经跟张亮好，因此三十一岁的他受牵连贬到了海南岛为吉安县丞。当时的海南岛那是蛮荒之地，吉安县在后世时名字都是昌江黎族自治县。

他到任后却召集各峒首领商议，创办学校，挑选子弟，亲自讲经传学，教授礼乐，一时让那个蛮荒也登降有序悦顺。

三年后，因教化蛮荒有功，王义方调任河北洹水县丞。当时张亮有个侄子叫张皎，配流在崖州，来依义方而卒，临终托以妻子及致尸还乡。返回中原时，王义方使负柩，令皎妻抱其赤子，乘义方之马，身独步从而还。