הרטוריקה של האוטופי, של האחרות ושל השוּליוּת, הייתה תמיד בבסיס העבודה של גולדשטיין. בעבודותיו המאוחרות יותר – המורכבות והרב־קוליות יותר, שנוספו בהן מבטים גם לעבר וגם למקומות אחרים ממשיים והעתיד צבוע בהן בגוונים "אוונגרדיים" פחות – צבי גולדשטיין מנסח מחדש את עמדתו האמנותית־תרבותית־פוליטית כלפי עולם האמנות המערבי, הפוסט־מודרני, על רקע התמורות הכלכליות־פוליטיות־אידיאולוגיות כגון הגלובליזציה המאחדת ואינה מותירה מקום מחוצה לה. על רקע חשבון הנפש שלו, של אמן בוגר שנולד במזרח אירופה, ספג את המודרניזם חקר את מדינות אפריקה וחי בירושלים הוא מנסה להמציא מודל חדש לאמנות מחוץ לתרבות המערבית.
בשנת 2004, נוסף על יצירת אובייקטים וכתיבת טקסטים תיאורטיים, יצאו לאור מספר כתביו: הרומן "על נייר", ספר השירה Room #205, והקטלוג המקיף Zvi Goldstein: The Limits of my Knowledge, 1969-2014.