后来《机构投资者》对两人掰了的原因进行了这样的分析，据一位曾和罗杰斯打过交道的分析师回忆，罗杰斯是华尔街出了名的脾性反复无常的人。一次，罗杰斯打电话向他询问一家公司的信息，这位分析师顺带向罗杰斯发表了自己对该公司的看法。结果仅得到后者10分钟的“言语虐待”，最后罗杰斯告诉这位仁兄他的想法很“愚蠢”，令这位分析师彻底崩溃!
且不论这一说法是否属实，属马人确实有心直口快的特点，往往会在自己毫不知情的情况下得罪了朋友。属马人常因自己反应敏捷，行事迅猛，因而在他人反应落后一步的情况下容易变得很急躁。从属马人的弱点看，其多变的性情会导致脾气急躁，产生暴跳如雷、怒火中烧的状况。但“暴风雨”过后，他们很快就忘记了曾经发生过什么。可对于曾身陷“风暴”中的其他当事人而言，这种言语和脾气上的火爆总会令他们印象深刻，并为此耿耿于怀，毕竟人总是不愿意忍受别人对自己大发脾气的。
罗杰斯后来曾告诉笔者，他这种急脾气一半有遗传的因素，一则他们家族的人都是急脾气，二则，在德莫普利斯每个人都按照规矩办事，而他到了纽约后，发现很多人光说不练，往往约好的事情根本就不做。这让他很困扰，不知道该以一种怎样的态度来对待人们的这种“没谱”。另一方面，他是个讨厌浪费时间的人，他不喜欢将时间浪费在听一些错误无用的观点上，也许这正是他一直不喜欢华尔街分析师的原因之一。
他并不认为自己脾气很坏，不过他的现任妻子佩姬很坦诚，她曾告诉笔者，她和吉姆都是没有耐性的人，结婚有了孩子后，两人在相互磨合、相互妥协中就好多了。
离开“量子基金”后，罗杰斯于1980年底成立了自己的公司——罗杰斯控股公司(Rogers Holdings)。在尚未找到合适办公室的情况下，他借用了一间摩根士丹利公司的办公室，他的办公地点也因此移到了曼哈顿美国大道1251号33层的魔根士丹利公司内。
有“财神”和自己一起办公，这个消息令人兴奋。有些摩根士丹利的分析师也会向罗杰斯请教对市场和行业股票的看法。罗杰斯并不保守，很乐意向他们表达自己的观点，因此很得人缘。1981年3月在他搬离后，还有摩根的员工给他写信，对他指点股票趋势而赚钱表示感谢。
自1981年春季开始，罗杰斯开始了全新的生活。他和简一起到美国很多城市游玩，享受休闲人生，在罗杰斯的身上可以看到一些彼此矛盾的特质却很好地融合在一起。他是个用钱很谨慎的人，每次外出，他会将每天的支出逐一记录。即便那时，他依然非常节俭，坐飞机基本都是经济舱，有时还会买折扣票。 但他并不拒绝享受人生，每次带着简外出，只要条件允许，他们都会选择好酒店。去当地最具特色的餐厅吃饭。在1981年3月初的一份外出开支记录中这样写道:
早餐:7美元
午餐:21.85美元
酒店住宿总计:228.17美元
打车去机场:7美元
从机场到酒店:2美元
打车去餐厅:8美元
晚餐:14.5美元(不含税)
打车回宾馆:8美元
罗杰斯的这种记账习惯一直保留至今，他几乎保存了所有的信用卡账单，并有详细的消费支出记录。这正像他此前在华尔街征战时那样，他要确保所有的事情都清晰了然，在资金的分配上和使用上更是如此。
1981年夏初，他在距离他家不远处的河滨大道345号租了一间办公室，罗杰斯控股公司正式落户这里。公司规模并不大，他曾有三位秘书，最后只剩下一个。罗杰斯是个很讲求工作效率的人，为他工作的人需要具备超强的、同时驾驭好几件事的能力。但他并不是位严苛的老板，对于下属的工作他很少斥责，有时候他自己就代劳了。这样反而让下属感到更有压力，于是更加努力。
他的一位前任秘书曾表示，罗杰斯是个很好的老板，对下属并不苛刻。有时甚至可以说很“迷人”，逢到工作晚了，他会掏钱请下属吃饭。这在凡事大谈能得到什么的纽约是很少见的。
