Блин… Даже не знаю. А разрешение монитора и разрешение игры совпадают? Вариант — сделать их одинаковыми. У тебя стоит странное разрешение если честно, нестандартное какое-то. Ставь такое как у монитора.
Я пользуюсь OBS прогой. Бесплатная и довольно гибкая в настройке. Не надо ничего выделять просто ставишь, чтоб стримилось окно и без рамочки. И усё. Xsplit настройки не понравились, более грубые какие-то. Да и наличие премиум версии как бы намекает.