การอนุมัติการชำระเงิน การรับเคลม หรือการวางเดิมพันระหว่างการแข่งขัน ยังคงต้องผ่านการกระโดดไปยังโมเดลที่อยู่ไกลก่อนที่จะมีใครลงมือทำ บริบทของเซสชันออกจากภูมิภาค โทเค็นเดินทางข้าม WAN ไปยังฟาร์ม GPU ที่จัดขนาดตามจุดสูงสุดและว่างเปล่าส่วนใหญ่ของสัปดาห์ เมื่อคะแนนกลับมา หน้าต่างการฉ้อโกงก็แคบลง ตลาดก็เคลื่อนไหว หรือลูกค้าก็ละทิ้งเส้นทางนั้นไปแล้ว รูปแบบนี้กลายเป็นสถาปัตยกรรมเริ่มต้นในแพลตฟอร์มที่มีการกำกับดูแลจำนวนมากเกินไป: ความสามารถเชิงกำเนิดถูกมองเป็น dependency ระยะไกลมากกว่าพื้นที่ตัดสินใจในพื้นที่ เครือข่ายที่อยู่ด้านหน้าของแอปพลิเคชันถูกขอเพียงให้ส่งต่อปัญหาเท่านั้น
ความเสียหายเชิงพาณิชย์ไม่ได้เป็นนามธรรม โซ่การอนุมัติบัตรมักเหลือเวลาประมาณ 100 มิลลิวินาทีสำหรับการเดินทางไปกลับทั้งหมดของการ路由 การให้คะแนนการฉ้อโกง และการตอบกลับจากผู้ออกบัตร การอนุมานของโมเดลอาจถูกจัดสรรเวลาเพียง 10 ถึง 50 มิลลิวินาทีจากงบประมาณนั้น การตัดสินใจที่มาถึงหลังการชำระบัญชีคือเอกสาร ไม่ใช่การป้องกัน ในวงการพนัน การแทรกแซงการพนันอย่างรับผิดชอบหรือการตรวจสอบการใช้โบนัสที่มาถึงหลังราคาเปลี่ยนแปลงแล้วคือการแสดงละคร ในประกันภัย การแจ้งการสูญเสียครั้งแรกที่ไม่สามารถคัดแยกใกล้ลูกค้า จะผลักให้เกิดการรั่วไหลและคิวงานด้วยมือเข้ามาเป็นศูนย์กลาง การเก็บบริบทของเซสชันในภูมิภาคที่ไกลยังสร้างเรื่องราวด้านความเป็นส่วนตัวและการกำกับพฤติกรรมที่คณะกรรมการไม่ชอบมากขึ้นเรื่อย ๆ: ข้อมูลออกจากเขตอำนาจศาลโดยค่าเริ่มต้นเพราะโมเดลทำเช่นนั้น
ต้นทุนของการมองโมเดลเป็น dependency ระยะไกล
การอนุมานระยะไกลสร้างภาระด้านเวลาแฝง ความเป็นท้องถิ่น และการกำกับดูแลพร้อมกัน การกระโดดเพิ่มเติมทุกครั้งเพิ่มความแปรปรวนภายใต้โหลด Feature store และ policy engine ที่อยู่ใกล้ผู้ใช้แล้ว ต้องรอคลัสเตอร์ GPU ระยะไกลก่อนที่จะลงมือทำ ทีมงานจึงปิดช่องว่างด้วยกฎที่หยาบกว่า การปฏิเสธที่ผิดพลาดสูงขึ้น หรือคิวตรวจสอบหลังเหตุการณ์ ไม่มีทางเลือกใดที่กู้คืนหน้าต่างมิลลิวินาทีที่การตัดสินใจมีความสำคัญจริง ๆ
ต้นทุนการดำเนินงานปรากฏในรูปของความจุที่ว่างเปล่า กองทัพ GPU ส่วนตัวถูกจัดขนาดตามจุดสูงสุดที่มาถึงไม่สม่ำเสมอตามผลิตภัณฑ์และภูมิศาสตร์ โทเค็นถูกทิ้งไว้โดยไม่ได้ใช้ ขณะที่ทุนถูกล็อกในฮาร์ดแวร์ พลังงาน และการปฏิบัติการเฉพาะทาง ผู้ขายโมเดลเพิ่มจำนวนคีย์ รูปแบบล็อก และพื้นผิว rate-limit ทีมความปลอดภัยและความเสี่ยงได้รับ mesh ของ control plane แทนที่จะเป็นอันเดียว เมื่อหน่วยงานกำกับดูแลถามว่าข้อมูลลูกค้าไปไหนระหว่างการสนทนากับผู้ช่วย คำตอบครอบคลุมภูมิภาคและสัญญาต่าง ๆ แทนที่จะเป็น isolate เดียวที่บังคับใช้การยืนยันตัวตนและนโยบายอยู่แล้ว
การไม่ทำอะไรจึงหมายถึงการยอมรับการตัดสินใจด้านการฉ้อโกงและ step-up ที่ช้าลง ผู้ช่วยที่ส่งออกบริบทเซสชันโดยออกแบบ และโปรแกรม AI ที่ดูนวัตกรรมในสไลด์แต่ยังคงเป็นส่วนประกอบสถาปัตยกรรมที่อยู่รอบนอกของเส้นทางคำขอ ทางเลือกไม่ใช่ chatbot อีกตัวที่ติดกับพอร์ทัล แต่คือการนำโมเดลขนาดเล็กที่มีการกำกับดูแลดีมาวางไว้ข้างคำขอที่มีมูลค่าสูงทุกครั้งที่ลูกค้าทำอยู่แล้ว
การอนุมานที่อยู่กับคำขอ
ขอบของ Cloudflare ไม่ได้เป็นเพียง CDN และ security mesh อีกต่อไป Workers รัน logic ของแอปพลิเคชันทั่วเครือข่ายที่ Cloudflare รายงานว่าครอบคลุมมากกว่า 330 เมืองในกว่า 125 ประเทศ โดยประชากรที่เชื่อมต่ออินเทอร์เน็ตของโลกประมาณ 95 เปอร์เซ็นต์อยู่ในระยะประมาณ 50 มิลลิวินาทีจากศูนย์ข้อมูล โครงสร้างเดียวกันนี้ตอนนี้โฮสต์โมเดล เอเจนต์ถาวร และการเรียกค้นเวกเตอร์ ข้อเรียกร้องที่ควรจริงจังคือด้านสถาปัตยกรรม: AI หยุดเป็นฟาร์มระยะไกลที่คุณเรียกผ่าน WAN และกลายเป็นความสามารถที่ทำงานใน isolate เดียวกันกับที่ยืนยันตัวตนผู้เรียก 路由คำขอ และบังคับใช้นโยบายอยู่แล้ว
เส้นทางทางเทคนิคเป็นรูปธรรมโดยไม่ใช่โบรชัวร์ผลิตภัณฑ์ Workers คอมไพล์ Rust เป็น WebAssembly และ deploy เป็นโค้ด edge ปกติผ่าน workers-rs Logic ที่สำคัญต่อประสิทธิภาพ (กฎความเสี่ยง เคอร์เนลการกำหนดราคา สถานะเซสชัน การตรวจสอบแบบ deterministic) อยู่ข้างการเรียกเชิงกำเนิดมากกว่าอยู่หลังการกระโดดอีกครั้ง Wasm ให้การแยกและพฤติกรรม cold-start ที่คาดการณ์ได้ ซึ่งบริษัทที่มีการกำกับดูแลเข้าใจดีจาก multi-tenancy แบบ isolate ทางด้านโมเดล Workers AI โฮสต์แคตตาล็อกที่ขยายตัวของโมเดล open และพันธมิตรบน GPU ของ Cloudflare เอง AI binding และ AI Gateway แบบ unified ช่วยให้ทีมเรียก frontier model เช่น Grok จาก xAI ผ่าน env.AI.run path เดียวกัน: control plane เดียว การเรียกเก็บเงินของ Cloudflare การแคช rate limit และการสังเกตการณ์ โดยไม่ต้องมี key sprawl แยกต่างหาก
หลักฐานเงียบ ๆ ที่บอกว่าการอนุมานเองกำลังถูกเขียนใหม่สำหรับเครือข่ายนี้มากกว่าที่จะติดกับ Python serving stack คือ Infire Engine ของ Cloudflare เขียนด้วย Rust สำหรับฮาร์ดแวร์แบบกระจายและข้อจำกัดด้านความปลอดภัย Benchmark ที่เผยแพร่เทียบกับ vLLM 0.10.0 บนฮาร์ดแวร์ H100 NVL ที่ไม่ได้โหลด แสดงให้เห็นว่า Infire ทำงานเร็วขึ้นถึงประมาณ 7 เปอร์เซ็นต์ ขณะที่ใช้ CPU น้อยลงมาก ภายใต้เงื่อนไขการผลิตที่ถูกจำกัดคล้ายจริง ช่องว่างยิ่งกว้างขึ้นเพราะ Infire สามารถรันเป็น trusted process โดยไม่มี overhead ของ gVisor ที่ Python stack ต้องการที่ edge นั่นคือพลังงานทางวิศวกรรมที่มีผลลัพธ์ที่คณะกรรมการอ่านได้: โทเค็นมากขึ้นต่อวัตต์และต่อตารางเมตรของเครือข่ายที่ deploy ไปแล้ว ใกล้ผู้ใช้มากขึ้น
“ใกล้แอปพลิเคชัน ไม่ว่ามันจะกระจายอยู่ที่ไหน” จึงมีความหมายที่ชัดเจน การอนุมานสามารถเกิดขึ้นในเมืองที่เป็นต้นทางของคำขอ ข้อมูลไม่จำเป็นต้องออกจากภูมิภาคโดยค่าเริ่มต้น Worker เดียวกันที่อยู่ด้านหน้าของ internet banking พอร์ทัลเคลม หรือ in-play book สามารถให้คะแนน เรียกค้น สร้าง และลงมือทำก่อนที่ payload จะไปถึงคลัสเตอร์ส่วนกลาง Durable Objects เก็บสถานะเอเจนต์และการประสานเซสชันใกล้เส้นทางนั้น Vectorize เก็บ embedding สำหรับการตรวจสอบแบบ retrieval-augmented โดยไม่ต้องส่งเอกสารทุกชิ้นไปยังฟาร์มเวกเตอร์ที่ไกล สำหรับธนาคารคือการตัดสินใจด้านการฉ้อโกงและ step-up ที่เร็วขึ้น ผู้ช่วยในช่องทางที่ไม่รั่วไหลบริบทเซสชันไปยังภูมิภาคไกล และการรับเอกสารที่อยู่ใกล้ลูกค้า สำหรับบริษัทประกันคือการคัดแยกการแจ้งการสูญเสียครั้งแรก การถามตอบนโยบาย และการช่วยเหลือการรับประกันภัยที่ขอบพอร์ทัล สำหรับผู้ดำเนินการพนันคือการแทรกแซงการพนันอย่างรับผิดชอบ การตรวจสอบการใช้โบนัส และการปรับให้เข้ากับบุคคลภายในงบเวลาแฝงของเหตุการณ์สด ไม่ใช่หลังตลาดเคลื่อนไหวแล้ว
เหตุใดช่วงเวลาของ edge คือตอนนี้
เงื่อนไขสามประการมาบรรจบกัน ประการแรก runtime 成熟พอสำหรับ production ที่มีการกำกับดูแล: V8 isolates, Wasm และ workers-rs ให้เส้นทางสำหรับทั้ง logic Rust แบบ deterministic และการเรียกเชิงกำเนิดในหน่วย deployment เดียว ประการที่สอง ชั้นโมเดลไม่ได้เป็นโครงการวิทยาศาสตร์ที่ติดข้างแล้ว Workers AI และ AI Gateway ถูก unified เป็น control plane เดียว ดังนั้นโมเดล open ที่โฮสต์และ frontier model ของพันธมิตรจึงแบ่งการสังเกตการณ์ เครดิต และนโยบาย ประการที่สาม inference engine ด้านล่างกำลังถูกเขียนใหม่ให้ตรงกับรูปร่างของเครือข่าย Infire มีอยู่เพราะ Python serving แบบ centralized ไม่ตรงกับ GPU footprint ที่ lean และกระจายกว้าง นั่นคือสัญญาณว่าผู้ให้บริการแพลตฟอร์มกำลังลงทุนในส่วนที่ยากแทนที่จะเช่า capacity ในภูมิภาคของคนอื่น
แรงกดดันด้านนโยบายและเชิงพาณิชย์เสริมจังหวะเวลา ความคาดหวังเรื่องความเป็นท้องถิ่นสำหรับความเป็นส่วนตัว การกำกับพฤติกรรม และความยืดหยุ่นในการดำเนินงานกำลังเข้มงวดขึ้นในธนาคาร ประกันภัย และการพนัน คณะกรรมการเหนื่อยกับรายการ AI ที่ต้องการกองทัพ GPU ส่วนตัวขนาดตามจุดสูงสุดและว่างเปล่าที่เหลือของสัปดาห์ การเรียกเก็บเงินแบบ token และพื้นผิวความปลอดภัยร่วมกันง่ายต่อการกำกับดูแลกว่าการมี mesh ของคีย์ผู้ขาย คู่แข่งที่นำการให้คะแนนและการเรียกค้นมาอยู่บนเส้นทางคำขอจะตัดสินใจภายในหน้าต่าง ผู้ที่ยังคงเรียกฟาร์มระยะไกลจะยังคงบันทึกการขาดทุนหลังจากเหตุการณ์เกิดขึ้น
การรอ central AI platform ที่สมบูรณ์แบบก่อนย้าย logic การตัดสินใจไปที่ edge คือการฝังค่าเริ่มต้นที่ผิดทุกเดือนที่ใช้มองโมเดลเป็นบริการระยะไกล สอนทีมผลิตภัณฑ์ให้ออกแบบรอบ round trip แทนที่จะออกแบบรอบ isolate ที่ถือคำขออยู่แล้ว
การ rollout แบบ pragmatic ที่เริ่มจาก decisions ที่มีมูลค่าสูง
เริ่มจากจุดที่เวลาแฝงคือ margin และมีการกำกับดูแลอยู่แล้ว แมปคำขอที่ยืนยันตัวตน อนุมัติ และล็อกที่ edge อยู่แล้ว: payment step-up การเสริมข้อมูลคะแนนการฉ้อโกง การจำแนก FNOL ของเคลม การถามตอบนโยบาย การแจ้งเตือนการพนันอย่างรับผิดชอบ การตรวจสอบสิทธิ์โบนัส เลือกหนึ่งหรือสองรายการที่การกระโดดโมเดลระยะไกลเผด็จงบประมาณหรือบังคับให้บริบทเซสชันออกจากภูมิภาค เก็บ deterministic core ไว้ใน Rust ผ่าน workers-rs: กฎ เกณฑ์ เคอร์เนลการกำหนดราคา และการตรวจสอบที่เป็นมิตรกับ audit ที่ต้องทำงานเหมือนกันทุกครั้ง ผูกการเรียก generative หรือ embedding ผ่าน env.AI.run เพื่อให้ Worker เดียวกันเป็นเจ้าของทั้งสองเส้นทาง
วัดผลก่อนขยาย Route การอนุมานผ่าน AI Gateway ตั้งแต่วันแรกเพื่อให้เวลาแฝง การใช้โทเค็น ข้อผิดพลาด และ prompt อยู่บนพื้นผิวการล็อกเดียวกัน ใช้ hosted open model บน Workers AI สำหรับ classification summarisation และ embedding เมื่อคุณภาพเพียงพอ จอง frontier call เช่น Grok สำหรับงานที่ต้องการ ยังคงผ่าน binding เดียวกัน เก็บ retrieval corpora ใน Vectorize เฉพาะสำหรับเอกสารที่ต้องอยู่ใกล้เส้นทาง ใช้ Durable Objects สำหรับเอเจนต์หรือความต่อเนื่องของเซสชันเมื่อการโต้ตอบข้าม turn ไม่ใช่สำหรับทุกคะแนนแบบ stateless
เกณฑ์ความสำเร็จควรเป็นสิ่งที่ผู้ปฏิบัติงานอ่านได้: p95 decision latency เทียบกับเส้นทางส่วนกลางที่มีอยู่ การเคลื่อนไหวของ false-positive และ false-negative บน shadow cohort สัดส่วนของคำขอที่ไม่เคยออกจากภูมิภาค และต้นทุนต่อพันการตัดสินใจเทียบกับ baseline GPU ที่ว่างเปล่า ทีมขนาดกะทัดรัดที่ประกอบด้วยผู้เชี่ยวชาญด้าน edge ความปลอดภัย และ model-ops สามารถเป็นเจ้าของเส้นทางแรกโดยไม่ต้องต้มมหาสมุทร การ fallback ไปยังคลัสเตอร์ส่วนกลางยังคงใช้ได้จนกว่าเส้นทาง edge จะได้รับความเชื่อถือภายใต้โหลดสูงสุด
การขยายจาก single decisions ไปยังเอเจนต์ที่คงอยู่
เมื่อคะแนนที่มีมูลค่าสูงสองสามรายการทำงานข้างคำขอแล้ว ขยายอย่างระมัดระวังไปยังงานหลายขั้นตอน Durable Objects ให้ identity ที่คงทนและสถานะท้องถิ่นกับเอเจนต์หรือเซสชันลูกค้าแต่ละตัว เพื่อให้ผู้ช่วยในช่องทาง เวิร์กโฟลว์คัดแยกเคลม หรือโค้ชการพนันอย่างรับผิดชอบสามารถดำเนินต่อโดยไม่ต้องสร้างบริบทใหม่จากฐานข้อมูลระยะไกลในทุก turn Vectorize ช่วยการเรียกค้นที่อยู่บนเครือข่ายเดียวกับ Worker: เอกสารนโยบาย ข้อกำหนดผลิตภัณฑ์ รูปแบบเคลมในอดีต หรือกฎตลาดที่ถูก query เป็น embedding ที่สร้างผ่าน Workers AI
Frontier model เข้ามาผ่าน control plane เดียวกันแทนที่จะเป็นเกาะผู้ขายใหม่ Path ของ AI Gateway ไปยัง Grok จาก xAI ร่วมกับผู้ให้บริการอื่น ๆ และโมเดลในแคตตาล็อก Workers AI หมายความว่าทีมผลิตภัณฑ์สามารถสลับหรือ failover โดยไม่ต้องเขียน key management ใหม่ การแคชและ rate limit กลายเป็นการควบคุมของแพลตฟอร์มแทนที่จะเป็น folklore ของแอปพลิเคชัน การทบทวนความปลอดภัยตรวจสอบพื้นผิวเดียวสำหรับ prompt การตอบกลับ และการระบุโทเค็น นั่นคือวิธีที่คุณขยายความสามารถโดยไม่ขยาย key sprawl
การขยายแบบ transactional ยังต้องการวินัย เก็บ ledger ที่เขียนหนักและการชำระบัญชีขั้นสุดท้ายไว้ที่ที่ควร ใช้ edge เพื่อตัดสินใจ เสริมข้อมูล เรียกค้น และแทรกแซงตั้งแต่เนิ่น ๆ เก็บ system of record ให้เป็นผู้มีอำนาจ การสังเกตการณ์และการ rollback อัตโนมัติมีความสำคัญมากขึ้นเมื่อ generative variance เข้ามาในเส้นทาง Shadow traffic canary และ human-in-the-loop band ที่ชัดเจนสำหรับการกระทำที่มีผลกระทบสูง ช่วยให้สถาปัตยกรรมซื่อสัตย์ เป้าหมายไม่ใช่การย้ายธนาคาร บริษัทประกัน หรือสมุดพนันไปยัง chatbot แต่คือการทำให้คำขอที่มีมูลค่าสูงทุกครั้งฉลาดขึ้น เร็วขึ้น และเป็นท้องถิ่นมากกว่าที่เป็นในไตรมาสที่แล้ว
กรณีสำหรับคณะกรรมการ: โทเค็น ความเป็นท้องถิ่น และ control plane เดียว
พลังงานทางวิศวกรรมนั้นมีจริง: ส่ง Rust ไปยังหลายร้อยเมือง ผูก Grok หรือ hosted open model ด้วยโค้ดไม่กี่บรรทัด เก็บเอเจนต์บน Durable Objects เก็บ embedding ใน Vectorize กรณีเชิงพาณิชย์ชัดเจนกว่า ไม่มีกองทัพ GPU ส่วนตัวที่ต้องจัดขนาดตามจุดสูงสุดและเฝ้าดูมันว่างเปล่า คุณจ่ายเฉพาะโทเค็นที่ใช้ ไม่ใช่ capacity ที่จองไว้ พื้นผิวความปลอดภัยและการล็อกเดียวแทนที่ mesh ของผู้ขายโมเดล เวลาในการตัดสินใจลดลงที่ที่เวลาแฝงคือ margin: การบริการที่เกี่ยวข้องกับการซื้อขาย การรั่วไหลของเคลม การถือครองระหว่างการแข่งขัน หน้าต่างการฉ้อโกงในการอนุมัติที่วัดเป็นสิบมิลลิวินาที
ความเป็นท้องถิ่นไม่ใช่คำขวัญ การอนุมานในเมืองต้นทางและข้อมูลที่ไม่จำเป็นต้องออกจากภูมิภาคโดยค่าเริ่มต้น เสริมเรื่องราวความเป็นส่วนตัว การกำกับพฤติกรรม และความยืดหยุ่นที่ผู้ตรวจสอบถามอยู่แล้ว ความยืดหยุ่นในการดำเนินงานดีขึ้นเมื่อเส้นทางการตัดสินใจไม่ขึ้นอยู่กับภูมิภาคไกลเดียวที่ยังคงแข็งแรง ข้อโต้แย้งเรื่องบุคลากรตามมา: ทีมเรียนรู้ที่จะส่ง logic edge ที่มีการกำกับดูแลดี แทนที่จะเชื่อมต่อ remote API อีกตัว ผู้ชนะจะไม่ใช่บริษัทที่ “เพิ่ม chatbot” แต่จะเป็นบริษัทที่นำโมเดลขนาดเล็กที่มีการกำกับดูแลดีมาวางไว้ข้างคำขอที่มีมูลค่าสูงทุกครั้งที่ลูกค้าทำอยู่แล้ว
ขั้นตอนถัดไปทันทีสำหรับผู้นำด้านเทคโนโลยี
มอบหมายให้ทำ inventory สั้น ๆ ของเส้นทางคำขอที่การกระโดดโมเดลระยะไกลเผด็จเวลาแฝงหรืองบประมาณความเป็นท้องถิ่นอยู่แล้ว เลือกหนึ่งเส้นทางธนาคาร บริษัทประกัน หรือการพนันที่มีผลประโยชน์เชิงพาณิชย์ชัดเจนและมี edge front door ที่มีอยู่แล้ว ยก Worker ที่เก็บ deterministic check ไว้ใน Rust ผ่าน workers-rs ผูก inference ผ่าน env.AI.run และ AI Gateway และวัด shadow performance เทียบกับเส้นทางส่วนกลาง ตัดสินใจอย่างชัดเจนว่าโมเดลใดอยู่บน Workers AI การเรียก frontier เช่น Grok ใดที่สมเหตุสมผล และ Durable Objects กับ Vectorize จะถูกใช้เฉพาะที่ที่สถานะและการเรียกค้นสร้างคุณค่า
ให้อำนาจทีมข้ามสายงานขนาดเล็กในการส่งเส้นทางนั้นภายใต้การดูแลของความปลอดภัยและความเสี่ยง โดยมีงบประมาณโทเค็นและกฎข้อมูลภูมิภาคที่เขียนไว้ก่อนที่ traffic จะเพิ่มขึ้น ทบทวนผลลัพธ์เป็นสัปดาห์ ไม่ใช่ไตรมาส: เวลาแฝง คุณภาพการตัดสินใจ การเก็บรักษาบริบทที่ละเอียดอ่อนในภูมิภาค และต้นทุนต่อการตัดสินใจเทียบกับทางเลือก GPU ที่ว่างเปล่า ขยายเฉพาะสิ่งที่ผ่านเกณฑ์เหล่านั้น
การมอง AI เป็นฟาร์ม GPU ระยะไกลที่คุณเรียกผ่าน WAN คือค่าเริ่มต้นที่มีความทะเยอทะยานต่ำ เครือข่ายที่อยู่ด้านหน้าของแอปพลิเคชันสามารถยืนยันตัวตน 路由 บังคับใช้นโยบาย และตอนนี้สามารถอนุมานได้ ผู้นำด้านเทคโนโลยีที่ย้าย logic การตัดสินใจเข้าไปใน isolate นั้นจะกำหนดมาตรฐานการดำเนินงานสำหรับวัฏจักรผลิตภัณฑ์ถัดไป ผู้ที่รอจะยังคงต้องอธิบายว่าทำไมคะแนนมาถึงหลังหน้าต่างปิดแล้ว