Közel hatvan évig élt boldog házasságban feleségével, Csima Idával, kapcsolatuk azonban jóval szövevényesebb volt, mint sokan gondolnák. 1945-ben, a második világháború idején ismerkedtek meg, mindketten ugyanabban a légópincében húzták meg magukat a bombázások idején. Kállainak aztán beindult a karriere a Belvárosi Színházban, és ott szerelembe esett a nála hét évvel idősebb Fényes Alice-szal, a színész azonban sosem felejtette el Idát. Mégis nagy kanállal falta az életet, kiváltképp a nőket, többek között gyengéd szálak fűzték egy időben Ruttkai Évához és Ferrari Violettához is. Kállai csak azután kapott észbe, hogy feleségül vegye Idát – és erről ő maga mesélt –, miután azt álmodta, hogy valaki mással látja együtt a lányt. A színész akkor a postára rohant, és levélben közölte Idával: el akarja venni. A lány nem ellenkezett, végül 1951-ben hivatalosan is összekötötték az életüket.
Ida – akit a színész csak Zúzmarának, Marának becézett – és Kállai szerelmét semmi nem ingathatta meg. Például az sem, hogy abban az időben a színházi társulatban a kommunistákat képviselő Szilágyi Bea mondta meg, melyik színésznek lehet gyereke, és melyiknek nem. Kállaiéknak nem lehetett… Később sem született gyermekük, csupán kutyákat neveltek együtt. De nem ez volt az egyetlen áldozat, amit Ida a színészért hozott. Kállairól köztudott volt, hogy házasság ide vagy oda, bármelyik nőben képes volt felfedezni a szépet, imádott flörtölni, ráadásul ezt Ida előtt sem titkolta, nyilvánosan tette. Felesége pedig elnéző volt vele, mert tudta: csak így tarthatja meg Kállait. Mégis volt egy eset, ami próbára tette kettejük kapcsolatát. Kállai 1958-ban beleszeretett egy Colette Deréal nevű francia színésznőbe, aki Budapesten is meglátogatta a színészt. Hogy szót értsenek egymással, Ida iratkozott be egy francia nyelvtanfolyamra, hogy fordítson férje és annak szeretője között. Amikor Idát később erről kérdezte egy újságíró, azt felelte: „Feri volt nehezebb helyzetben, mert neki kellett választania.” Mindezek ellenére a házaspár egészen a színész 2010-ben bekövetkezett haláláig kitartott egymás mellett, akik ismerték őket, azt mondják, megszólalniuk sem kellett, rezdülésekből értették egymást. Amikor Kállai súlyos beteg lett, és már a kórházban sem tudtak segíteni rajta, felesége ápolta közös otthonukban. A színész végül 2010. július 11-én örökre lehunyta a szemét.
Kiemelt kép: Archív