การตั้งค่าส่วนหัวคำขอในซีลีเนียม

Webdriver ไม่มี API ที่จะทำ ดูข้อมูลเพิ่มเติมในฉบับที่ 141 จาก Selenium tracker ชื่อเรื่องของปัญหาระบุว่าเป็นเรื่องเกี่ยวกับส่วนหัวการตอบกลับ แต่มีการตัดสินใจว่า Selenium จะไม่มี API สำหรับส่วนหัวของคำขอในขอบเขตของปัญหานี้ ปัญหาหลายประการเกี่ยวกับการเพิ่ม API เพื่อตั้งค่าส่วนหัวของคำขอถูกทำเครื่องหมายว่าซ้ำกัน: first, วินาที, ที่สาม

ต่อไปนี้เป็นความเป็นไปได้สองสามประการที่ฉันสามารถเสนอได้:

1. ใช้ไดรเวอร์/ไลบรารีอื่นแทนซีลีเนียม
2. เขียนปลั๊กอินเฉพาะเบราว์เซอร์ (หรือค้นหาปลั๊กอินที่มีอยู่) ที่ช่วยให้คุณสามารถเพิ่มส่วนหัวสำหรับคำขอได้
3. ใช้ browsermob-proxy หรือพร็อกซีอื่นๆ

ฉันจะเลือกใช้ตัวเลือกที่ 3 ในกรณีส่วนใหญ่ มันไม่ใช่เรื่องยาก

โปรดทราบว่า Ghostdriver มี API อยู่ แต่ไดรเวอร์อื่นไม่รองรับ

สำหรับผู้ที่ใช้ Python คุณอาจลองใช้ Selenium Wire ซึ่งสามารถตั้งค่าส่วนหัวของคำขอได้เช่นเดียวกับ ช่วยให้คุณสามารถตรวจสอบคำขอและการตอบกลับได้

from seleniumwire import webdriver  # Import from seleniumwire

# Create a new instance of the Chrome driver (or Firefox)
driver = webdriver.Chrome()

# Create a request interceptor
def interceptor(request):
    del request.headers['Referer']  # Delete the header first
    request.headers['Referer'] = 'some_referer'

# Set the interceptor on the driver
driver.request_interceptor = interceptor

# All requests will now use 'some_referer' for the referer
driver.get('https://mysite')

ฉันมีปัญหาเดียวกัน ฉันแก้ไขมันได้โดยดาวน์โหลดโปรแกรมเสริม Firefox ดัดแปลงส่วนหัวและเปิดใช้งานด้วยซีลีเนียม

รหัสในหลามมีดังต่อไปนี้

fp = webdriver.FirefoxProfile()
path_modify_header = 'C:/xxxxxxx/modify_headers-0.7.1.1-fx.xpi'
fp.add_extension(path_modify_header)

fp.set_preference("modifyheaders.headers.count", 1)
fp.set_preference("modifyheaders.headers.action0", "Add")
fp.set_preference("modifyheaders.headers.name0", "Name_of_header") # Set here the name of the header
fp.set_preference("modifyheaders.headers.value0", "value_of_header") # Set here the value of the header
fp.set_preference("modifyheaders.headers.enabled0", True)
fp.set_preference("modifyheaders.config.active", True)
fp.set_preference("modifyheaders.config.alwaysOn", True)

driver = webdriver.Firefox(firefox_profile=fp)

วันนี้มีปัญหาเดียวกัน ยกเว้นว่าฉันจำเป็นต้องตั้งค่าผู้อ้างอิงที่แตกต่างกันต่อการทดสอบ ฉันลงเอยด้วยการใช้มิดเดิลแวร์และคลาสเพื่อส่งส่วนหัวไปให้ คิดว่าฉันจะแบ่งปัน (หรืออาจมีวิธีแก้ปัญหาที่สะอาดกว่า):

lib/request_headers.rb:

class CustomHeadersHelper
  cattr_accessor :headers
end

class RequestHeaders
  def initialize(app, helper = nil)
    @app, @helper = app, helper
  end

  def call(env)
    if @helper
      headers = @helper.headers

      if headers.is_a?(Hash)
        headers.each do |k,v|
          env["HTTP_#{k.upcase.gsub("-", "_")}"] = v
        end
      end
    end

    @app.call(env)
  end
end

config/initializers/middleware.rb

require 'request_headers'

if %w(test cucumber).include?(Rails.env)
  Rails.application.config.middleware.insert_before Rack::Lock, "RequestHeaders", CustomHeadersHelper
end

spec/support/capybara_headers.rb

require 'request_headers'

module CapybaraHeaderHelpers
  shared_context "navigating within the site" do
    before(:each) { add_headers("Referer" => Capybara.app_host + "/") }
  end

  def add_headers(custom_headers)
    if Capybara.current_driver == :rack_test
      custom_headers.each do |name, value|
        page.driver.browser.header(name, value)
      end
    else
      CustomHeadersHelper.headers = custom_headers
    end
  end
end

spec/spec_helper.rb

...
config.include CapybaraHeaderHelpers

จากนั้น ฉันสามารถรวมบริบทที่แชร์ได้ทุกที่ที่ต้องการ หรือส่งส่วนหัวที่แตกต่างกันไปในบล็อก before อื่น ฉันยังไม่ได้ทดสอบกับสิ่งอื่นใดนอกจาก Selenium และ RackTest แต่ควรมีความโปร่งใส เนื่องจากการแทรกส่วนหัวเสร็จสิ้นก่อนที่คำขอจะเข้าถึงแอปพลิเคชันจริง

หากคุณใช้ HtmlUnitDriver คุณสามารถตั้งค่าส่วนหัวของคำขอได้โดยแก้ไข WebClient เช่น:

final case class Header(name: String, value: String)

final class HtmlUnitDriverWithHeaders(headers: Seq[Header]) extends HtmlUnitDriver {
  super.modifyWebClient {
    val client = super.getWebClient
    headers.foreach(h => client.addRequestHeader(h.name, h.value))
    client
  }
}

ส่วนหัวจะอยู่ในคำขอทั้งหมดที่ทำโดยเว็บเบราว์เซอร์

ฉันต้องการบางสิ่งที่บางกว่านี้เล็กน้อยสำหรับ RSpec/Ruby เพื่อให้โค้ดที่กำหนดเองต้องอยู่ในที่เดียวเท่านั้น นี่คือวิธีแก้ปัญหาของฉัน:

/spec/support/selenium.rb
...
RSpec.configure do |config|
  config.after(:suite) do
    $custom_headers = nil
  end
end

module RequestWithExtraHeaders
  def headers
    $custom_headers.each do |key, value|
      self.set_header "HTTP_#{key}", value
    end if $custom_headers

    super
  end
end
class ActionDispatch::Request
  prepend RequestWithExtraHeaders
end

จากนั้นในข้อกำหนดของฉัน:

/specs/features/something_spec.rb
...
$custom_headers = {"Referer" => referer_string}

ด้วยวิธีแก้ปัญหาที่กล่าวถึงข้างต้น สิ่งที่น่าเชื่อถือที่สุดก็คือการใช้ Browsermob-Proxy

แต่ในขณะที่ทำงานกับเครื่องกริดระยะไกล Browsermob-proxy ไม่ได้มีประโยชน์จริงๆ

นี่คือวิธีที่ฉันแก้ไขปัญหาในกรณีของฉัน หวังว่าคงจะเป็นประโยชน์กับทุกคนที่มีการตั้งค่าคล้ายกัน

1. เพิ่มส่วนขยาย ModHeader ให้กับเบราว์เซอร์ Chrome

จะดาวน์โหลด Modheader ได้อย่างไร? ลิงค์

ChromeOptions options = new ChromeOptions();
options.addExtensions(new File(C://Downloads//modheader//modheader.crx));

// Set the Desired capabilities 
DesiredCapabilities capabilities = new DesiredCapabilities();
capabilities.setCapability(ChromeOptions.CAPABILITY, options);

// Instantiate the chrome driver with capabilities
WebDriver driver = new RemoteWebDriver(new URL(YOUR_HUB_URL), options);

2. ไปที่ส่วนขยายเบราว์เซอร์และบันทึกรหัสบริบท Local Storage ของ ModHeader

3. นำทางไปยัง URL ของ ModHeader เพื่อตั้งค่าบริบทที่เก็บข้อมูลในเครื่อง

.

// set the context on the extension so the localStorage can be accessed
driver.get("chrome-extension://idgpnmonknjnojddfkpgkljpfnnfcklj/_generated_background_page.html");

Where `idgpnmonknjnojddfkpgkljpfnnfcklj` is the value captured from the Step# 2

4. ตอนนี้เพิ่มส่วนหัวให้กับคำขอโดยใช้ Javascript

.

   ((Javascript)driver).executeScript(
         "localStorage.setItem('profiles', JSON.stringify([{  title: 'Selenium', hideComment: true, appendMode: '', 
             headers: [                        
               {enabled: true, name: 'token-1', value: 'value-1', comment: ''},
               {enabled: true, name: 'token-2', value: 'value-2', comment: ''}
             ],                          
             respHeaders: [],
             filters: []
          }]));");

โดยที่ token-1, value-1, token-2, value-2 คือส่วนหัวของคำขอและค่าที่จะเพิ่ม

5. ตอนนี้ไปที่เว็บแอปพลิเคชันที่ต้องการ

   driver.get("your-desired-website");

หากคุณใช้ javacsript และต้องการใช้กับ Chrome เท่านั้น Puppeteer คือตัวเลือกที่ดีที่สุด เนื่องจากมีการสนับสนุนในการปรับเปลี่ยนส่วนหัว ลองดู: https://pptr.dev/#?product=Puppeteer&version=v10.1.0&show=api-pagesetextrahttpheadersheaders

แม้ว่าสำหรับการใช้งานข้ามเบราว์เซอร์คุณอาจลองใช้แพ็คเกจ @requestly/selenium npm เป็นส่วนปิดล้อมส่วนขยาย requestly เพื่อให้สามารถผสานรวมใน selenium-webdriver ได้อย่างง่ายดาย ส่วนขยายสามารถแก้ไขส่วนหัวได้ ตรวจสอบ: https://www.npmjs.com/package/@requestly/selenium

คุณสามารถทำได้ด้วย PhantomJSDriver

PhantomJSDriver pd = ((PhantomJSDriver) ((WebDriverFacade) getDriver()).getProxiedDriver());
pd.executePhantomJS(
            "this.onResourceRequested = function(request, net) {" +
            "   net.setHeader('header-name', 'header-value')" +
            "};");

เมื่อใช้ออบเจ็กต์คำขอ คุณสามารถกรองเพื่อไม่ให้ตั้งค่าส่วนหัวสำหรับทุกคำขอได้

ลองดูสิ่งนี้: chrome_options = Options()

chrome_options.add_argument('--headless')
chrome_options.add_argument('user-agent="Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36"')

แก้ไขปัญหา!