Я бы, вероятно, завела привычку на этапе приглашения оговаривать что-то вроде "я пока не знаю, пожалуйста, стройте свои планы не ориентируясь на меня", и уточняла бы, можно ли будет в последний момент спрыгнуть или наоборот, в последний момент решить, что таки да - мало ли, может, там готовят что-то порционное, и будет глупо, если решившемуся в последний момент гостю не достанется еды, потому что его не ждали.
А в ситуации, когда перехотелось, во-первых, сказала бы как можно более заранее, не когда пора выходить, а когда поняла, что не хочу, чтобы и принимающей стороне уже передали, и они там не ждали, во-вторых, сослалась бы усталость, в том числе рассказала бы, что за неделю очень устала от общения и нуждаюсь в одиночестве (насколько я поняла, это самый близкий к правде вариант).