河西苦寒，条件不比关中，因此杨广在张掖待到了十一月，便决定返回关中。
十一月的河西，是一个雪国。数九寒天，冰封雪地，雪虐风饕，整个世界有如被封印了一般，山冷地在颤抖，河冻地僵硬了，空气似乎也要凝固起来。这样的天气，连呼吸都觉得如刀割一般，还要长途行军，其后果黄明远不敢想象。
但杨广也有自己的意见，现在才十一月，等到天气转暖也得到来年的三四月份，他堂堂天子，难道要在河西待上四五个月？道路阻隔，关河难越，天子悬于河西，那天下该怎么办？
现在想起天下了？
黄明远竟无言以对，众人各无反对之言。
十一月二十日，天子发车驾于张掖，返回关中。
从河西到关中有两条路线，一条是日常穿越武威、金城到关中，另一条则是走西平、金城到关中。
到了这个时候，杨广还脑回路清奇的不走普通的北线，而走新开的南线，因此大军便沿着祁连山返回关中。
车驾到了大斗拔谷（今甘肃省、青海省交界的扁都口隘路），山路狭窄险要，队伍只能鱼贯通行。时风雪晦冥，天地动荡，整个人间都失了颜色。
此时已经到了下午申时过半，离着天黑不到一个时辰了，而大军离宿营地还很远。
黄明远在前带着骑兵趟了一遍道，走了数十里，便见大雪封山，再难向前，因此只得返回。
到了车架之中，杨广正在六合城上取暖，看到黄明远进来，杨广赶紧问道：“明远，前路如何？”
黄明远说道：“圣人，臣带队出数十里往南，雪大风急，道路难辨，大雪已经将整个山谷封冻住，再往前实在无路。”
杨广听了心中一震，强忍着吃惊道：“明远，真的无路可走了？”
黄明远说道：“圣人，非但前路不可走，臣以为当速速后退。大斗拔谷海拔地势高峻，本就寒冷，再往南还要翻越雪山。这一路本陡峻难行，一旦大雪不停，不仅仅是前路断绝，臣只恐后面亦为大雪封堵，到时候我军便会困在此地了。”
“有这么严重？”
看着黄明远郑重的样子，杨广也不得不相信。在杨广心中，黄明远从不妄言。
杨广问道：“大军入谷数十里，还能返回的了吗？”
黄明远坚毅地说道：“圣人，无论如何今夜必须连夜返回，而且一定要走出山谷。臣亲自带领数千将士在前扫雪开路，必保圣人无恙。”
黄明远领命，倒是让杨广多了一些信心。
这时黄明远又说道：“圣人，数万大军掉头不易，一旦出现问题，便会发生变故。而圣人的六合城实在过于庞大，难以掉头，反而会导致拥挤，堵塞道路。臣请圣人从六和城移驾，转到马车之上，轻车简从赶路。”
杨广常年四处巡视，自是不耐车马劳顿，因此命何稠制作了木制的六合城当行宫。六和城长有一百二十步，高四丈二尺，占地近五百亩。城上载有枪车，每次停下驻宿，则把车辕朝外作为外围，内布铁蒺藜；再安设弩床，都插上钢锥，锥向外；上面装置旋机弩，用绳子系在弩的板机上，只要有人触动绳子，弩机就旋转，向触动的方向发射。在弩外周围又布置能弋射的短箭，并装设铃柱、木槌、石磐用来报警。乾坤听书网
这还是小打小闹，过两年六合城被升级为一个周长达八里的城池，把高句丽人都吓尿了。
这六合城是杨广的极爱之物，若是就这么放弃，杨广实在不舍，可黄明远说得也很重要，他可清楚若是军队发生混乱的结果。
最后杨广忍着痛意，还是决定听从黄明远的建议。
杨广前往了马车之上，随同的还有后妃、内侍、宫女，马车没有那么多，其余人只得步行或者骑马。
风雪使天色昏暗，文武百官饥饿难忍，衣服又全为风雪所打湿。
黄明远调集了五千士兵，来到队伍之后，开始扫雪开路。这一路前进，虽然人马众多，但沿途道路尽为风雪所没，深处能到人的腰部。别说驴马行走，人也趟不出道来。因此只得以人力掘进为大军开道。
黄明远又令杨义臣、卫玄、来护儿三人分领兵马，维持秩序，大军前后变队，转换方向。道路实在崎岖难行，因此一些车驾都只能沿途丢弃。
来护儿带着骑兵沿途巡查，但有喧哗、声乱者，被尽皆处死，因此一军皆静，无人敢高声喧哗，大军使得缓缓北上。
黄明远又请求杨广将随军携带的御酒、衣裘尽赐予众人以御寒。
杨广不太愿意，天子之物，岂能分给这些泥腿子。宇文述、虞世基等人也纷纷反对，认为此等乱了体统。
黄明远大怒，呵斥众人道：“如此时候，正当齐心协力，是逞口舌之利的时候吗？”
虞世基等人畏惧，乃不敢言语。
黄明远乃向杨广劝道：“圣人明鉴，以今日这苦寒，众人若不能抵御，怕是十万大军，十不存一啊。酒、衣之物，本是死物，散尽复来，何如十万将士珍贵啊。”
杨广还算顾全大局，因此乃从之。
黄明远于是以天子命将御酒、衣裘发给众人，众人因此山呼“圣人”！
很快，便到了深夜，天气更冷了。
不少人认为应该宿营，但被黄明远拒绝。黄明远乃说道：“一旦众人宿营，失了心力，怕是会尽冻死在此地，因此哪怕累死，不许休息，必须走出大斗拔谷方可。”
众人不敢拒绝，黄明远乃带人亲自在前趟路。
眼看沿途无数人冻僵，不少人停在那里便成了雕塑。黄明远于是下令，将六和城、还有不必要的车架、物资全部在路上烧毁以取暖。虽然杯水车薪，作用不大，却慰藉了众人的心，给了众人走下去的希望与勇气。
众人走了一夜，到了第二天上午才走出了大斗拔谷。沿途士卒冻死无数，马驴冻死十之八九；后宫的妃嫔、内侍有的都走散了，根不都不知道死了多少。
等到出了山谷，黄明远派出的士兵早在此地用车马、木板搭建了一座临时的避风城池，众人乃得一口喘息之机。