急求日本签证问题

一家三口去 日本自由行，在淘宝上找的旅行社出签，本来旅行社代做了机票、酒店预订单和行程。等出签以后说可以更改行程的。没想到被日本领事馆盯上了，说一定要按照行程走。求解怎么办呢？旅行社的行程和我的预定完全不一样，等出完签以后可以更改机票、酒店和行程么？会影响以后的记录么?