给我们开票的公司跑了，我们该怎么办？对方公司没交税就跑了。还需要交罚款。

向法院起诉。法律依据：《中华人民共和国税收征收管理法》第二十一条税务机关是发票的主管机关，负责发票印制、领购、开具、取得、保管、缴销的管理和监督。单位、个人在购销商品、提供或者接受经营服务以及从事其他经营活动中，应当按照规定开具、使用、取得发票。即发现对方不依法开具发票，你可以向其主管税务机关举报其税收违法行为。