Arnskov var født i Gierslev nær Høng sogn den 15. marts 1853. Han var søn af indsidder Peder Jensen og Karen Nielsdatter. Ved dåben fik han navnet Jens Peter Jensen. Han tog senere navnet Arnskov. Faderen rejste til Amerika og moderen til København. Drengen blev hos bedsteforældrene til han var tre år, som kom han i pleje hos sin moders halvbroder Poul Nielsen, som han altid omtalte som far og mor.