Конфедераты между тем горели желанием завершить начатое. Генерал Ли назначил на место раненного Джексона Джеба Стюарта. Поразмыслив, Стюарт решил отказаться от рискованного плана Джексона, который хотел растянуть свое левое крыло до берегов Рапидана, обойти позицию федералов с севера и отрезать их от переправы.

Этот план и был направлен командующему Северовиргинской армии в ночь со 2 на 3 мая. Ли отдал приказ начинать атаку. Едва на востоке забрезжило первое сияние зари, как войска 2-го корпуса развернулись в боевой порядок. Построив свои войска, Стюарт двинул вперед правый фланг первой линии. Именно он должен был соединиться с группой генерала Ли и, следовательно, наносил по врагу главный удар.

Чанселорсвилльское сражение. 3 мая 1864

Момент для начала атаки был выбран Стюартом на редкость удачно. Хукер, еще раз изучивший за ночь карту, хотя к 3 мая для него там уже не оставалось белых пятен, почему-то решил, что позиции 3-го и 12-го корпусов слишком выдвинуты вперед и легко подвержены атакам. Выбрав для них новые оборонительные линии на Чанселорсвилльском плато, он приказал им очистить Хейзел Гроув и отступить на восток и северо-восток. Освобожденные позиции заняли благодарные конфедераты - овладев хребтом Хейзел Гроув, они получили важное преимущество. С его вершины Чанселорсвилльское плато и столпившиеся на нем войска были видны, как на ладони. Лучшую позицию для артиллерии было трудно себе представить, и Стюарт велел втащить на гребень Хейзел Гроув 30 орудий и открыть огонь. Скоро вся линия высот к западу от Чанселорсвилля почти без боя перешла в руки конфедератов, и теперь им оставалось сделать последний бросок, чтобы оказаться в самом сердце и Глуши, и федеральных позиций. И они не стали тратить времени попусту: их артиллерия открыла убийственный огонь по новым позициям врага, а затем вперед бросилась пехота. К тому времени на выбранной Хукером линии развернулись уже все три дивизии Дэна Сиклса. Именно на них и двинулась дивизия Генри Хета. В центре и на левом фланге его части поначалу не встретили особых затруднений. Стремительной атакой они ворвались в засеки и даже смогли закрепиться в них на короткое время.

Но тут от дома Чанселора со своей 2-й бригадой пришел генерал Уильям Френч. Удар, который он нанес на левом фланге конфедератов, вынудил их торопливо податься назад, и вся дивизия Хета отступила на первоначальные рубежи в некотором беспорядке и замешательстве. Однако к северу от дороги во фланг перешедшему в наступление Френчу неожиданно вышли две бригады противника, и открыли по нему бешеный огонь. Несколько залпов привели бригаду северян в совершенное расстройство, и в свою очередь она поспешно ретировалась к линии засек. Через некоторое время Френч предпринял новую атаку, но был остановлен южной бригадой, пришедшей на выручку своим товарищам, и отошёл на свои прежние позиции. Нарушить это равновесие могли только свежие резервы, введенные в дело на том и на другом участке. Но конфедератам уже нечего было посылать в бой. У них не осталось ни одного полка, ни одной роты, ни одного взвода, которые еще не участвовали в битве. У Хукера, напротив, хватало свежих частей: целых два федеральных корпуса (1-й и 5-й) стояли на своих позициях, готовые нанести решающий удар и склонить чашу весов в сторону Севера. Но Драчливый Джо настолько упал духом, что и слышать не хотел о контратаке. Вопреки обыкновению, Хукер не объезжал линию, чтобы подбодрить своих солдат, не рассылал приказов и не интересовался новостями с передовой. Он просто стоял на веранде дома Чанселора, опершись спиною на колонну, и слушал звуки ружейной пальбы и артиллерийской канонады. Несколько обломков свалились ему прямо на голову, и, потеряв сознание, он рухнул, как подкошенный. Это случилось между 9.15 и 9.30 утра, как раз в тот момент, когда южане перешли в последнюю решительную атаку. «Героическое» ранение Хукера не могло что-нибудь изменить, но, тем не менее, усугубило и без того тяжелое положение федеральных сил.

Чанселорсвилльское сражение. 4 мая 1864

Солнце стояло в зените, еще немного, и Джо Хукер вместе со своей армией или, во всяком случае, с ее большей частью искупается в Раппаханоке. Ли уже отдал соответствующие приказы и приготовил свои войска к последнему штурму, как вдруг, подобно грому среди ясного неба, пришло неожиданное известие: Джон Седжвик овладел высотами Мари и с 20-тысячной силой двигается прямо в тыл Северовиргинской армии.

В районе 5 часов вечера первые винтовочные выстрелы возвестили начало боя у Салем Черч. Под прикрытием своей артиллерии, быстро заставившей орудия конфедератов замолчать, пехота Седжвика ударила по жиденькой боевой линии противника. Одна северная бригада сумела перегруппироваться и ворвалась в здание школы, обороняемой всего несколькими полками. В считанные минуты заброшенная альма-матер превратилась в подобие могильного склепа. Наконец, уступив численному превосходству, южане отдали школу федералам, оставив им заодно своих убитых и раненых. Затем у Салем Черч появилась дивизия Мак-Лоуза. Нескольких залпов с расстояния в 100–200 ярдов оказалось достаточно, чтобы захваченная врасплох федеральная дивизия бросилась прочь из леса. Южане последовали за ними со своим традиционным пугающим воплем, и на какой-то миг все перемешалось в пестрой неразберихе. Но на просеке к востоку от леса конфедератов ждала свежая дивизия, она хлестнула по охваченным азартом южанам винтовочным огнем, и противники снова поменялись местами. Правда, южане не обратились в бегство, а, отстреливаясь, отступили обратно под прикрытие деревьев и оттуда продолжали вести заградительный огонь.

Седжвик, пристально наблюдавший за ходом боя, приказал своим людям еще раз попытать счастья и выбить противника с опушки леса. Однако солнце уже скрылось за линией горизонта и командиры обеих сторон решили отложить битву до более подходящего момента. Бой южан с частями Седжвика к востоку от Салем Черч стал завершающим аккордом сражения у Чанселорсвилля. Игра была окончательно проиграна Хукером, и теперь ему не оставалось ничего другого, кроме отступления.

К вечеру 4 мая это решение уже вполне созрело в его голове, но чтобы (по обыкновению упавших духом командиров) переложить ответственность на других, он созвал военный совет. Генералы собрались в ставке командующего в районе полуночи, и Хукер обратился к ним с официальным заявлением. Он сказал, что в его обязанности входит оборона Вашингтона и рисковать армией он не может. Поэтому, продолжал Хукер, единственным выходом является отступление, и он намерен представить этот вопрос на рассмотрение участников совета. Но, к удивлению Драчливого Джо, командиры корпусов с ним не согласились. Один за другим они высказывались не за отход, а за наступление, и лишь два командира заявили о своем несогласии с большинством.

Несмотря на мнение большинства, не желавшего брать на себя постыдное решение, Хукер поступил по-своему. Он проинформировал совет, что берет ответственность на себя, и отдал на следующий день приказ об общем отступлении. Так, самым постыдным для северян образом, закончилось Чанселорсвилльское сражение, сулившее им вначале столь громкий успех.

На следующий день, 5 мая, федералы начали переправу на северный берег Раппаханока, оставив на Чанселорсвилльском плато и в окрестных лесах ликующего неприятеля. Когда полтора месяца спустя генерал Ли начал свое второе вторжение на Север, Хукера сместили и заменили командиром 5-го корпуса пенсильванцем Джорджем Мидом. Эта смена командующих Потомакской армией оказалась последней, и Мид, одержавший победу при Геттисберге, оставался на своем посту до конца войны.