就在送别路易丝的第二天，曾纪泽向他的父亲曾国藩提出了第二项建言，即在安庆开设一所制造枪炮弹药的工厂，这也是之前他就向曾国藩提过的，那时也得到了曾国藩的首肯。

曾纪泽的提议得到了曾国藩以及李鸿章等幕僚的支持，曾国藩遂于不久后在安庆建立了大清第一座手工制造武器弹药的工厂，取其名为“安庆军械所”。

军械所创办之初，所雇工匠全部是汉人，采用的方法也是传统的手工制作，效率极低。曾纪泽曾向曾国藩进言，向欧洲国家购买机器，并雇用洋匠，或者干脆采取大冶矿务局的合资方法办厂，以获取洋人的技术，但却被曾国藩断然拒绝。

曾国藩的理由是军工制造对于大清而言极其重要，如此重要的产业，必须完全的掌握在官府手中，若是容忍洋人参与尽量，则大清军火制造的详情将尽为洋人窥视，若然将来与洋人发生冲突，则是大为不利。用现代的话来解释曾国藩担忧，那些军工属于国家一级军事机密，任何可能泄露机密的威胁都是不能存在的。

曾纪泽认为曾国藩的担忧是完全多虑的，眼下想改变清军武器落后现状，需要的是想方设法的获得洋人的技术，而非自以为是的苛求于自己那点落后家底的保密性，说句不好听的话，就大清的那点军事机密，趟开门来给人家瞧，人家都未必懒得去看一眼。在这一点上，曾国藩显然要比胡林翼要保守许多。

曾纪泽没办法说服他的老爹，他意识到，想要按照自己的方式发展近代的工业，就必须有一块自己可以完全做主的地盘。

权力不足一直是制约曾纪泽施展宏图的难题，然而，机会很快就来临。

九月初，由于李秀成加强了对上海的攻势，当地仕绅不得不再次派代表来向曾国藩求救，这一次，曾纪泽在曾国藩按照原有的历史做出决定前，抢先向他请求派由他率领着常胜军前往上海支援。

曾纪泽先前在军事上展现出的才华，已经足以让曾国藩刮目相看，在他此刻看来，曾纪泽是继曾国荃之后，他们曾家又一位可以担当大任的良才。于是，曾国藩在经过了一番深思熟虑之后，决心派曾纪泽援救上海，并赋予了他在江淮一带招兵买马，扩充常胜军实力的权力。

尽管如此，曾国藩对曾纪泽此行仍然有些许的不放心，于是他派了李鸿章一同随他而去，从旁辅佐曾纪泽完成救援上海的任务。

原来这任务是应该由李鸿章去完成的，他的淮军也是藉以崛起，但现在历史在1861年9月的某一天发生了决定性的改变，曾纪泽将成为即将组建的淮军领袖，而原本的那个主人公却成为了他的助手。

曾纪泽首先要做的便扩军，这一点上，他决定走李鸿章的老路，在受命组建淮军的第二天，曾纪泽便踏上了拜将之路，与李鸿章同往合肥去招揽当地团练人马。

曾纪泽拜访的第一人是张树声，此人早年倡团练，与其父张荫谷及弟树珊、树屏、树槐等在周公山下殷家畈筑堡寨，兴办团练，对抗太平军，曾多次配合李鸿章所率团练，在合肥一带围攻太平军，因功授知府衔。后与大潜山周围的刘铭传、董凤高和紫蓬山下的周盛波等部团练相互呼应，号为“三山“团练，声势颇大。

李鸿章对张树声、刘铭传等人的将才十分欣赏，极力的向曾纪泽建议收揽他们现在的人马组建淮军，而“三山”团练集团中，以张树声威望最重，可谓一呼百应，故曾纪泽要想收揽这股不可小视的人马，那就必须先将张树声纳入麾下。

经李鸿章引荐，曾纪泽在周公山上的张家堡见到了张树声与张树珊兄弟，这两人对于两江总督曾国藩大公子的大驾光临倍感惊喜，急忙召集全寨团丁列队迎接。曾纪泽由寨门而入，见张家堡团丁们精神抖搂，队列齐整，虽然手上抄的还是落后的鸟枪和大刀，但从士气上来看，确是一支可用的队伍。

张树声兄弟客客气气的把曾纪泽迎入大堂，几经寒暄之后，李鸿章向他们说明了曾纪泽此行的目的。那张树珊听罢兴奋得很，二话不说，拍着胸脯当即答应，而张树声却保持着沉默，神情表现的相当谨慎。

曾纪泽道：“组建淮军，正是为朝廷效力，挣个前程的大好机会，总比窝在这小小的张家堡要好得多，振轩兄莫非不想一展抱负，光宗耀祖吗？”

张树珊马上道：“大公子莫见怪，我这大哥做事一向赡前顾后的，能跟着大公子打长毛贼，将来的前程肯定大好，这等好事咱们哪能不愿意呢，是吧大哥。”

张树声瞪了他二弟一眼，向曾纪泽道：“大公子是见过世面的人，在你面前小的也不说假话。加入淮军为朝廷效力，咱们自然是义不容辞，但小的听说攻打上海的长毛李秀成部有几十万人马，我们这张家堡团丁满打满算也不过三千多，就凭这点人马，怎么能守得住上海呢。”

李鸿章笑道：“振轩兄休要被粤匪人多势众就给震住了，岂不知兵贵精而不贵多么，不知你有没有听到过‘常胜军’的传说？”

张家兄弟窝在淮西划地自守，于外界的消息当然不是很灵通，更何况常胜军的异军突起不过短短数月，所以他们自然没有听说过。于是李鸿章便绘声绘色的将曾纪泽率领着常胜军一干奇功说来，只听得那张家兄弟神乎其神，唏嘘感慨。

曾纪泽却显得很谦逊，道：“少荃说得有点夸张了，我的常胜军真要有那么厉害，这会干脆就直捣金陵，活捉了洪毛老贼了。不过，少荃想表达的意思两位应该很清楚吧。”

张树声道：“莫非大公子想给淮军也装备洋枪洋炮么？”

曾纪泽点头道：“正是，不光是我们淮军，装备洋枪洋炮将是大清每一支军队今后的发展趋势，不仅仅如此，将来咱们还要自己造枪造炮，跟洋人的枪炮一样厉害。另外，我的意思不但是想让张家堡加入淮军，如果有可能的话，我希望肥西附近的团练都可以加入，这样一来咱们要人有人，要枪有枪，李秀成就算有百万大军又如何。”

曾纪泽的话给了张树声信心，他的表情总算有了几分兴奋，终于不再犹豫，表示愿为曾纪泽效犬马之劳，并表示愿意替他引荐刘铭传、周盛波等人，并说服他们一同投靠于曾纪泽的淮军旗下。