辭掉了菊竹事務所之後，卻也沒有下一個工作的眉目。大阪萬博結束了，到那之前一直都往上升的日本經濟成長也停滯了，景氣變成很差。我在一個好像完全不會有委託工作上門的時代，開設了自己的設計事務所，由於周圍有很多同輩人也抱持相同想法，我反而很樂天的覺得「啊，大概就是這麼一回事吧」。
開設了事務所，設計了「鋁之家」（一九七一年）住宅建築，那時有位廣島工業大學的學生石田敏明，在雜誌上看到這個作品的報導，暑假時突然從東京車站打電話過來：「請讓我在伊東先生的事務所工作。」正要回他：「來了也沒有任何工作給你做喔…」結果他竟然說：「我已經在東京車站了。」就這樣，自此硬待在我身邊不走。他的前輩村上徹，當時在內井昭藏先生的事務所工作，到了晚上，村上徹也會來到我的事務所。因為沒有去外面喝酒的錢，所以有一段時期喝著三得利的「角瓶「威士忌就能夠一直聊到早上的日子――那是「不倒翁（Suntory Old）「還是高級品的時代。
在那之後，從「中野本町之家」（一九七六年）完工的那陣子開始，變得常和坂本一成、石山修武、山本理顯、石井和絃，及菊竹事務所時代的戰友長谷川逸子、關西的毛綱毅曠、渡邊豐和這些同世代的建築家們一起喝酒聊天。
我們的上一輩像黑川紀章與磯崎新先生等人，從六○年代起就已經開始經營自己的事務所，從事公共建築的工作。我們這群人則因起步得晚而完全沒有那樣的機會。由於是既羨慕又嫉妒，所以一旦喝起酒來，就開始一味批判起前輩們的作品。
一邊喝著酒，一邊大言不慚的說「那樣的東西，我們用單手就可以做得出來。」也會互相詆毀、互相批評彼此的設計，可以說真的非常壞，譬如還損石井和絃先生，說他明明就很年輕，卻一個人在直島做起公共建築來。因為我們都只能偶爾做做住宅的設計，所以相當不服氣。
同輩人一邊爭執，一邊也建立了和上一輩相對抗的團結關係，我們的情感好像很好又好像不太好。槙文彥先生當時就替我們這群建築師取了一個「承平時代的野武士」的綽號。
