如何使用 .NET WebBrowser 提取動(dòng)態(tài)生成的 HTML

此討論圍繞動(dòng)態(tài)檢索 Web 呈現(xiàn)的 HTML 內(nèi)容的挑戰(zhàn).NET 應(yīng)用程序中的瀏覽器。

問(wèn)題：

現(xiàn)有解決方案主要關(guān)注 System.Windows.Forms.WebBrowser 類或 mshtml.HTMLDocument 接口，但沒(méi)有令人滿意的結(jié)果。從 WebClient 或 mshtml.HTMLDocument 檢索原始 HTML 不會(huì)提供瀏覽器渲染生成的動(dòng)態(tài)內(nèi)容。

研究方法：

• 使用 Web 瀏覽器訪問(wèn)文檔類無(wú)法檢索渲染的 HTML。
• 使用 mshtml.HTMLDocument 并解析下載的原始 HTML 也產(chǎn)生了不令人滿意的結(jié)果。

優(yōu)雅的解決方案：

雖然最終的解決方案可能會(huì)根據(jù)具體要求而有所不同，但技術(shù)組合可以提供強(qiáng)大的解決方案：

1. WebBrowser 控件： 嵌入 WebBrowser 控件以導(dǎo)航到所需的 URL .
2. 狀態(tài)監(jiān)控：監(jiān)控DocumentCompleted事件并檢查IsBusy屬性，直到渲染完成。
3. 異步/等待：利用async/await來(lái)處理異步輪詢并簡(jiǎn)化代碼流程。
4. HTML5 渲染：使用瀏覽器功能控制啟用 HTML5 渲染以確保最新的渲染行為。

代碼示例：

以下代碼示例結(jié)合了這些技術(shù)來(lái)提取動(dòng)態(tài) HTML 內(nèi)容：

<code class="csharp">using System;
using System.Threading;
using System.Threading.Tasks;
using System.Windows.Forms;
using mshtml;

namespace HtmlExtractor
{
    public partial class MainForm : Form
    {
        public MainForm()
        {
            SetFeatureBrowserEmulation();
            InitializeComponent();
            this.Load += MainForm_Load;
        }

        async void MainForm_Load(object sender, EventArgs e)
        {
            try
            {
                var cts = new CancellationTokenSource(10000); // cancel in 10s
                var html = await LoadDynamicPage("https://www.google.com/#q=where+am+i", cts.Token);
                MessageBox.Show(html.Substring(0, 1024) + "..."); // it's too long!
            }
            catch (Exception ex)
            {
                MessageBox.Show(ex.Message);
            }
        }

        async Task<string> LoadDynamicPage(string url, CancellationToken token)
        {
            var tcs = new TaskCompletionSource<bool>();
            WebBrowserDocumentCompletedEventHandler handler = (s, arg) =>
                tcs.TrySetResult(true);

            using (token.Register(() => tcs.TrySetCanceled(), useSynchronizationContext: true))
            {
                this.webBrowser.DocumentCompleted += handler;
                try
                {
                    this.webBrowser.Navigate(url);
                    await tcs.Task; // wait for DocumentCompleted
                }
                finally
                {
                    this.webBrowser.DocumentCompleted -= handler;
                }
            }

            var documentElement = this.webBrowser.Document.GetElementsByTagName("html")[0];

            var html = documentElement.OuterHtml;
            while (true)
            {
                await Task.Delay(500, token);
                if (this.webBrowser.IsBusy)
                    continue;

                var htmlNow = documentElement.OuterHtml;
                if (html == htmlNow)
                    break;

                html = htmlNow;
            }

            token.ThrowIfCancellationRequested();
            return html;
        }

        static void SetFeatureBrowserEmulation()
        {
            if (LicenseManager.UsageMode != LicenseUsageMode.Runtime)
                return;
            var appName = System.IO.Path.GetFileName(System.Diagnostics.Process.GetCurrentProcess().MainModule.FileName);
            Registry.SetValue(@"HKEY_CURRENT_USER\Software\Microsoft\Internet Explorer\Main\FeatureControl\FEATURE_BROWSER_EMULATION",
                appName, 10000, RegistryValueKind.DWord);
        }
    }
}</code>

這種方法提供了一種更全面、更高效的方法來(lái)提取動(dòng)態(tài)生成的內(nèi)容.NET 應(yīng)用程序中來(lái)自 Web 瀏覽器的 HTML 內(nèi)容。

以上是如何通過(guò) .NET WebBrowser 有效檢索動(dòng)態(tài)生成的 HTML？的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！