فلما بنى قصر الخضراء بلغ من إعجابه بالبناء أن سأل أبا ذرٍّ داعية الزهد والكفاف من الرزق: كيف ترى هذا؟ فسمع منه جوابًا كان خليقًا أن يترقبه لو لم يكن لزهوه بما ابتناه لا يصدق أن أحدًا يراه بغير ما رآه، قال أبو ذر إمام «الاشتراكيين» في ذلك الزمان: «إن كنت بنيته من مال الله فأنت من الخائنين، وإن كنت بنيته من مالك فأنت من المسرفين …»