如何使用.NET的WebBrowser或mshtml.HTMLDocument動態(tài)生成HTML代碼？

簡介

動態(tài)檢索HTML代碼網(wǎng)頁生成是網(wǎng)絡自動化和抓取場景中的常見任務。 .NET 提供了兩個選項來實現(xiàn)此目的：System.Windows.Forms.WebBrowser 類和 mshtml.HTMLDocument 接口。然而，有效地使用它們可能具有挑戰(zhàn)性。

WebBrowser 類

System.Windows.Forms.WebBrowser 類旨在將網(wǎng)頁嵌入到應用程序中。雖然它支持自定義導航和文檔事件，但捕獲動態(tài)生成的 HTML 的能力有限。

以下代碼片段說明了如何使用 WebBrowser：

<code class="csharp">using System.Windows.Forms;
using mshtml;

namespace WebBrowserTest
{
    public class Program
    {
        public static void Main()
        {
            WebBrowser wb = new WebBrowser();
            wb.Navigate("https://www.google.com/#q=where+am+i");

            wb.DocumentCompleted += delegate(object sender, WebBrowserDocumentCompletedEventArgs e)
            {
                mshtml.IHTMLDocument2 doc = (mshtml.IHTMLDocument2)wb.Document.DomDocument;
                foreach (IHTMLElement element in doc.all)
                {
                    System.Diagnostics.Debug.WriteLine(element.outerHTML);
                }
            };
            Form f = new Form();
            f.Controls.Add(wb);
            Application.Run(f);
        }
    }
}</code>

mshtml.HTMLDocument接口

mshtml.HTMLDocument 接口提供對底層 HTML 文檔對象的直接訪問。但是，它需要手動導航和渲染，這使得動態(tài)生成內(nèi)容不太方便。

以下代碼片段說明了如何使用 mshtml.HTMLDocument：

<code class="csharp">using mshtml;

namespace HTMLDocumentTest
{
    public class Program
    {
        public static void Main()
        {
            mshtml.IHTMLDocument2 doc = (mshtml.IHTMLDocument2)new mshtml.HTMLDocument();
            doc.write(new System.Net.WebClient().DownloadString("https://www.google.com/#q=where+am+i"));

            foreach (IHTMLElement e in doc.all)
            {
                System.Diagnostics.Debug.WriteLine(e.outerHTML);
            }
        }
    }
}</code>

更強大的方法

要克服 WebBrowser 和 mshtml.HTMLDocument 的限制，您可以使用以下方法：

1. 創(chuàng)建 WebBrowser 控件。
2. 導航到目標 URL 并處理 DocumentCompleted 事件以獲取底層 mshtml.HTMLDocument2 對象。
3. 結合使用輪詢和檢查 WebBrowser.IsBusy 來檢測頁面何時完成渲染。
4. 獲取根元素并輪詢其 OuterHtml 屬性，直到其變得穩(wěn)定。

示例代碼

以下 C# 代碼演示了此方法：

<code class="csharp">using System;
using System.ComponentModel;
using System.Threading;
using System.Threading.Tasks;
using System.Windows.Forms;
using mshtml;

namespace DynamicHTMLFetcher
{
    public partial class MainForm : Form
    {
        public MainForm()
        {
            InitializeComponent();
            this.webBrowser.DocumentCompleted += WebBrowser_DocumentCompleted;
            this.Load += MainForm_Load;
        }

        private async void MainForm_Load(object sender, EventArgs e)
        {
            try
            {
                var cts = new CancellationTokenSource(10000); // cancel in 10s
                var html = await LoadDynamicPage("https://www.google.com/#q=where+am+i", cts.Token);
                MessageBox.Show(html.Substring(0, 1024) + "..."); // it's too long!
            }
            catch (Exception ex)
            {
                MessageBox.Show(ex.Message);
            }
        }

        private async Task<string> LoadDynamicPage(string url, CancellationToken token)
        {
            var tcs = new TaskCompletionSource<bool>();
            WebBrowserDocumentCompletedEventHandler handler = (s, arg) => tcs.TrySetResult(true);

            using (token.Register(() => tcs.TrySetCanceled(), useSynchronizationContext: true))
            {
                this.webBrowser.DocumentCompleted += handler;
                try
                {
                    this.webBrowser.Navigate(url);
                    await tcs.Task; // wait for DocumentCompleted
                }
                finally
                {
                    this.webBrowser.DocumentCompleted -= handler;
                }
            }

            var documentElement = this.webBrowser.Document.GetElementsByTagName("html")[0];
            var html = documentElement.OuterHtml;
            while (true)
            {
                await Task.Delay(500, token);
                if (this.webBrowser.IsBusy)
                    continue;
                var htmlNow = documentElement.OuterHtml;
                if (html == htmlNow)
                    break; // no changes detected, end the poll loop
                html = htmlNow;
            }

            token.ThrowIfCancellationRequested();
            return html;
        }

        private void WebBrowser_DocumentCompleted(object sender, WebBrowserDocumentCompletedEventArgs e)
        {
            // Intentional no-op handler, we receive the DocumentCompleted event in the calling method.
        }
    }
}</code>

此方法可確保您獲得完全呈現(xiàn)的 HTML 代碼，即使它是動態(tài)生成的。

以上是如何不受限制地使用 .NET 檢索動態(tài)生成的 HTML 代碼？的詳細內(nèi)容。更多信息請關注PHP中文網(wǎng)其他相關文章！