同治七年，法国神父谢福音将海河楼行宫旧址改建为法国领事馆，并违反了条约中不准拆毁原有庙宇的约定，很快法国领事馆建成。
同治八年，又将康熙初年建造的崇禧观拆除，在原地建造了望海楼教堂。
谢福音拆掉崇禧观和周围的建筑物，并在这个地方重建一座规模宏大的天主教堂。五月建堂工程破土动工，谢福音还专门为此举行了盛大的奠基仪式。
看着望海楼教堂一天一个样的变化，谢福音是情不自禁的喜上眉梢，每天都在工地上颐指气使。指手画脚，工人们稍有不如意轻则谩骂，克扣工钱。重则拳打脚踢，分文不给的轰出工地。
同年腊月，一座高十米、长三十米、宽十米的教堂落成，
县衙里高升对县令刘杰说：“大人，法国领事来函，邀请天津府县各级官员前往望海楼祝贺落成典礼的仪式，您是否参加”
刘杰说：“这种事情有什么好庆祝的，摆明了就是炫耀”
高升说：“听闻，参加落成仪式的还有崇厚大人”
刘杰说：“这么说，仪式还是挺隆重的，那好，我们去”
神父谢福音和法国领事丰大业站在教堂门口迎接前来祝贺的天津官员。
崇厚以及天津的各级官员依次来到。法国人一一的接待，客气的迎接。
谢福音邀请所有人参观教堂内部，一行人鱼贯而入。
谢福音说：“望海楼天主堂按照哥特式的法国天主堂样式设计，吸收了巴黎圣母院的很多特征。它坐北朝南，占地三千平方米。主体建筑为石基砖木结构，平面呈长方形，正立面有三个塔楼，呈山字形，中间是平顶钟楼。”
崇厚点点头说：“唔，很有气派”
下面的官员都齐声的叫好：“嗯，很好很好”
谢福音说：“全楼除三个塔楼外，大部分都是两层，窗户是由五彩玻璃组成的几何形图案。”
中国的官员们看见，教堂大厅内的布置充满宗教氛围，顶壁彩绘，四壁悬挂着耶稣受难图。
谢福音说：“建造这座教堂是圣母仁慈和战争胜利的结果，所以命名为胜利之后堂，并在这座教堂钟楼的大理石上刻上了“胜利之后堂”的法文金字。”
崇厚和各级官员听得出，谢福音是把法国侵略者第二次大烟战争的胜利战果，公然把它看做炫耀的资本。
崇厚的脸上漏出来一些不愉快，下面的官员也都议论纷纷。如此挑衅性的示威和侮辱，加深了天津人民的痛恨和愤慨。
围在教堂外面看热闹的人群中有人说：“什么天主教教堂，我们就叫它鬼子楼”
旁边的人跟着乐：“嘿，对，就叫鬼子楼，本来就是吗”引起一片的哄笑。
这消息不胫而走，从此以后天津的民众轻蔑地直呼教堂为“鬼子楼。”
高升对县令刘杰说：“大人，通商衙门来人传崇厚大人指令，叫咱们去望海楼教堂，把住在那里的居民赶走”
刘杰问：“怎会有如此事情，来传话的人呐”
高升说：“是李总管，没站住脚，他说，洋人正在通商衙门等信，叫他传到即回”
刘杰说：“总得有个正当的理由吧”
高升说：“李总管说，法国人照会崇厚大人，说是望海楼教堂周边太乱，影响他们正常的活动，以传经讲道的地方必须肃静为由，要将教堂附近的民房等原有建筑全部拆除，并把教堂周围的摊贩一律赶走，”
刘杰说：“法国人真是狂妄，这样一来，致使三岔河口一带又有大批的民众流离失所，