1940年4、5月间，日本华北方面军和它的上司日本中国派遣军之间，由于对华北形势的看法分歧，发生了一场争执。方面军司令官多田骏，对他的上司抽调华北兵力南下华中的要求，不但不予满足，反而派人去南京大诉其苦，强烈要求增兵华北，来对付共产党。一直闹到日本大本营派员来调解。在大本营的压力下，多田骏才不得不执行上司的意见。但华北方面军自认为“对完全不同性质的中共战略一再苦心研究……逐渐掌握了实际情况”，埋怨他的上司“对于华北所发生的根本不同性质的变化，完全没有认识”。
埋怨未了，彭德怀在华北敌后点了一把大火，掀动了一场地震，使华北敌寇的全部神经都紧张起来。在对抗日根据地进行了一番疯狂报复之后，总结其痛苦经验，筹谋新策。
战后日本防卫厅战史室追述当时的情形说：“共军乘其势力的显著增强，突然发动百团大战，给了华北方面军以极大打击。因而促使方面军特别是情报工作负责人作了深刻的反省。从此以后，对情报机构进行了空前的改革和加强。”日本华北方面军一面请求增兵华北，一面把过去对八路军和根据地的“扫荡”升级为“剿共治安战”。将此列为“方面军空前未有的大事”。
百团大战的兴奋冷却下来后，彭德怀和敌后军民面对的是新的更残酷的斗争。
日军的报复“扫荡”给抗日根据地留下了极凄惨的景象，太行山区的富庶之乡沁源县，“房屋全部烧光，被杀死者七千人，数十万群众无衣无食无房子”，根据地“许许多多的村庄成了废墟”。
国民党乘八路军根据地之危，于1940年11月停发了八路军的薪饷和武器弹药供应。1941年1月，国民党发动第二次反共高潮，制造了震惊中外的皖南事变。一度缓和的国共矛盾又处于破裂边缘，加剧了八路军在敌后所处的严峻形势：经济上，完全孤悬敌后；军事上，日军的压迫变本加厉。在115师344旅等部奉中央和总部之命南下开辟华中根据地后，八路军在抗击日寇之际，还要用一部分主力来准备应付蒋介石对延安下毒手。
彭德怀经历了苏区的艰难创业和撤离、转移，备尝长征中无根据地作战之苦，对敌后抗日根据地的建设倾注了极大的心力。在百团大战的紧张战斗中，彭德怀在中共北方局高干会议上，就巩固抗日根据地问题做过长篇报告。他根据中央的方针，总结根据地三年工作的经验教训，对如何坚持抗日民族统一战线、建立三三制政权和加强财政经济建设提出了一系列适合敌后条件的具体政策措施。抗日根据地依靠自力更生，在敌人的封锁下支持抗战，扶助被敌人摧残地区的民众重建家园。敌后200余县的农村陆续进行了村民普选，把毛泽东提出的三三制政权，建立到社会的最基层。
形势的发展使彭德怀对毛泽东的游击战争战略有了更深刻的领悟，在敌后军事建设上，从过去偏重于对主力军的扩军整训，进而致力于加强地方武装和群众游击武装的建设。
1941年2月22日，彭德怀向各战略区发出关于军区工作的指示，要求把八路军的基干兵团与军区组织系统分开，建立起军区独立的组织机构与系统，在军区领导下加倍发展地方武装和组织各种群众性的抗日武装队伍，以便在任何情况下(即使主力转移)保卫根据地。3月28日，彭德怀在北方局干校发表关于《抗日根据地的武装斗争》的重要演说，根据毛泽东人民战争的思想、红军十年斗争和八路军三年抗战的经验，提出建立正规军、地方军、民兵三结合的武装体制，对三者各自的性质、任务、作用和相互关系作了明确的规定。彭德怀的这一方案，使敌后抗日武装的几个方面在毛泽东抗日游击战略的思想指导下，成为一个有机结合的整体，得到毛泽东、朱德的赞同。同年11月7日，中共中央军委发出《关于抗日根据地军事建设的指示》，这一武装体制，遂成为抗日战争以后解放战争到中华人民共和国武装体制的雏形。
百团大战后的半年多内，敌后根据地军事、政治、经济、文化各方面的建设整顿工作，在彭德怀雷厉风行的领导下加速进行。彭德怀常常提醒干部说，在敌后，从战争上说，是没有相持阶段的。敌人天天在进攻，不战则亡。只有这一个战役和下一个战役间存在相持的时间。敌人的这一次“扫荡”和下一次“扫荡”之间，就成为敌后建设的黄金时刻。敌人怀着深刻的恐惧在其情报中说：“共军……埋头于恢复战斗力及重建根据地的工作”。
在同一个时间内，敌人也在加紧制定新的谋略。
日本华北方面军通过加强其情报系统，在几个月内收集整理了关于中共区党委以上至中央局、华北抗日根据地县以上、八路军团以上的组织系统和负责人名单。其中很少阙漏及差错。对八路军的抗日意识、战斗力、干部士兵素质、武器、装备、战术动向和所实行的旨在改善生活、推进民主的各项政策，以至国共关系的细微变化，都做了细致调查，进行了“彻底的讨论”。然后制订出一个以灭共为目标的“三年治安肃正计划”。
这一计划的起草人，当时任日本华北方面军作战室主任参谋的岛贯武治大佐回忆说：
“方面军通过对中共势力实际情况调查，做出了如下结论：他们是党政军民结合成一体的组织，具有明确的使命观。他们为了实现革命，力图通过争取民众、组织民众，以扩大加强其势力。他们巧妙地把思想、军事、政治、经济的各项措施统一起来，且将其努力分配于七分政治、三分军事之上，从而使我方单靠军事力量无法进行镇压，也必须采取多元的综合措施。”
对于能否“制止中共势力的扩大进而将其消灭”，岛贯回忆说，“方面军幕僚内部出现了悲观和乐观两种意见的对立”。
日本大本营在华北不得不换马了。
