Sin interesse for Bibelen slap han dog ikke. I 1890 udarbejdede han et stort, aldrig udgivet manuskipt om Det Gamle Testamente, som han kaldte Bibelske Randgloser. Punkt for punkt opremsede han de mange uretfærdigheder, den hellige bog rummer, og hans konklusion var knusende: