Много лет держа дома кошаков предположу, что это замахивание как раз от страха и неуверенности в себе на новом месте! И никак не попытка доминировать. Если бы кот конкретно стал показывать, что он - главный, маме бы мало не показалось, коты это хорошо умеют.
Вообще, если опишите позу, в которой он машет лапой, то будет понятнее, что он имеет ввиду. Если отклоняется немного назад, приседает - точно трусит. )
Кот пока сам пугается, поэтому никаких резких движений. Дайте ему обжиться, понять, что его никто не обидит, дайте ему время, он сам начнет осторожно дружелюбно подходить. По возможности надо гладить и чесать его без резких движний.
Давать вкусняшку с руки, там, сметанку с пальца полизать...