Следом за воинами шли земледельцы, занимавшие в начале Нового времени более высокое положение, чем ремесленники и торговцы, так как крестьяне трудом своим кормили все общество периода Эдо. Земледельцы составляли примерно от 80 до 85% всего населения и проживали примерно в 63 ООО деревень, разбросанных по всей стране. Как уже отмечалось, они представляли собой разнородный класс, включавший богатую и грамотную верхушку и существенно большее количество простых фермеров и работников.

Некоторые из них вели достаточно комфортную жизнь, хотя другие едва сводили концы с концами, обрабатывая чужие земли. Деревенские головы следили за делами общины и докладывали обо всем местным администраторам, собиравшим рисовый налог и исполнявших обязанности региональных миротворцев. Крестьянские женщины вели домашнее хозяйство и при необходимости помогали в проведении сезонных работ.

Ремесленники и торговцы, проживавшие в крупных и небольших городах, составляли третий и четвертый уровни общества Японии начала Нового времени. Обыкновенно их вместе именовали «горожанами» (тёнип). Несмотря на явное стирание классового различия, официальная неоконфуцианская религия придерживалась четкое различия между ремесленниками и торговцами. Официальная оценка труда ремесленников была позитивной.

Они помогали обществу, так как сооружали инфраструктуру и производили товары и продукты, необходимые для его жизнедеятельности. Ремесленники, несмотря на свою важную роль для функционирования общества Японии начала Нового времени, редко накапливали такие средства, как торговцы. Эти искусные профессионалы либо производили свои товары независимо, либо продавали их торговцам. Официальное восприятие торговцев, напротив, было отрицательным: они воспринимались как корыстные эгоисты, нажившие капитал, торгуя товарами, не произведенными ими своим трудом. Здесь идеальное представление об обществе периода Эдо вновь противоречило действительности, так как, если не считать верхушку военной власти, торговцы представляли собой наиболее состоятельное сословие и пользовались той властью, которую им давало их богатство.

Эта занимались такими профессиями, как, например, убой скота и выделка шкур, которые считались грязными и потому оскверняющими человека с религиозной точки зрения. В результате эта подвергались сильной дискриминации, даже когда занимались делами, которые не считались ритуально нечистыми. Эта часто проживали в городах, причем были вынуждены жить там отдельными сообществами. Они были также ограничены в передвижении и общении, и им было разрешено вступать в браки только с другими эта. Хинин занимались профессиями, которые не входили в систему четырех сословий, официально признанных сёгунатом.