настройка заголовков запросов в селене

Webdriver не содержит API для этого. Дополнительную информацию см. в выпуске 141 из средства отслеживания Selenium. В названии проблемы сказано, что речь идет о заголовках ответов, но было решено, что Selenium не будет содержать API для заголовков запросов в рамках этой проблемы. Несколько проблем с добавлением API для установки заголовков запросов были отмечены как повторяющиеся: first, секунды, третий.

Вот несколько вариантов, которые я могу предложить:

1. Используйте другой драйвер/библиотеку вместо селена
2. Напишите плагин для браузера (или найдите существующий), который позволит вам добавить заголовок для запроса.
3. Используйте browsermob-proxy или другой прокси.

Я бы выбрал вариант 3 в большинстве случаев. Это не сложно.

Обратите внимание, что у Ghostdriver есть API для этого, но он не поддерживается другими драйверами.

Для тех, кто использует Python, вы можете рассмотреть возможность использования Selenium Wire, который может устанавливать заголовки запросов, а также предоставить вам возможность проверять запросы и ответы.

from seleniumwire import webdriver  # Import from seleniumwire

# Create a new instance of the Chrome driver (or Firefox)
driver = webdriver.Chrome()

# Create a request interceptor
def interceptor(request):
    del request.headers['Referer']  # Delete the header first
    request.headers['Referer'] = 'some_referer'

# Set the interceptor on the driver
driver.request_interceptor = interceptor

# All requests will now use 'some_referer' for the referer
driver.get('https://mysite')

Я была такая же проблема. Я решил это, загрузив надстройку Firefox для модификации заголовков и активировав ее с помощью селена.

Код в питоне следующий

fp = webdriver.FirefoxProfile()
path_modify_header = 'C:/xxxxxxx/modify_headers-0.7.1.1-fx.xpi'
fp.add_extension(path_modify_header)

fp.set_preference("modifyheaders.headers.count", 1)
fp.set_preference("modifyheaders.headers.action0", "Add")
fp.set_preference("modifyheaders.headers.name0", "Name_of_header") # Set here the name of the header
fp.set_preference("modifyheaders.headers.value0", "value_of_header") # Set here the value of the header
fp.set_preference("modifyheaders.headers.enabled0", True)
fp.set_preference("modifyheaders.config.active", True)
fp.set_preference("modifyheaders.config.alwaysOn", True)

driver = webdriver.Firefox(firefox_profile=fp)

Сегодня была такая же проблема, за исключением того, что мне нужно было установить разные рефереры для каждого теста. В итоге я использовал промежуточное ПО и класс для передачи ему заголовков. Думал, что поделюсь (или, может быть, есть более чистое решение?):

lib/request_headers.rb:

class CustomHeadersHelper
  cattr_accessor :headers
end

class RequestHeaders
  def initialize(app, helper = nil)
    @app, @helper = app, helper
  end

  def call(env)
    if @helper
      headers = @helper.headers

      if headers.is_a?(Hash)
        headers.each do |k,v|
          env["HTTP_#{k.upcase.gsub("-", "_")}"] = v
        end
      end
    end

    @app.call(env)
  end
end

config/initializers/middleware.rb

require 'request_headers'

if %w(test cucumber).include?(Rails.env)
  Rails.application.config.middleware.insert_before Rack::Lock, "RequestHeaders", CustomHeadersHelper
end

spec/support/capybara_headers.rb

require 'request_headers'

module CapybaraHeaderHelpers
  shared_context "navigating within the site" do
    before(:each) { add_headers("Referer" => Capybara.app_host + "/") }
  end

  def add_headers(custom_headers)
    if Capybara.current_driver == :rack_test
      custom_headers.each do |name, value|
        page.driver.browser.header(name, value)
      end
    else
      CustomHeadersHelper.headers = custom_headers
    end
  end
end

spec/spec_helper.rb

...
config.include CapybaraHeaderHelpers

Затем я могу включить общий контекст везде, где мне нужно, или передать разные заголовки в другом блоке before. Я не тестировал его ни с чем, кроме Selenium и RackTest, но он должен быть прозрачным, так как внедрение заголовка выполняется до того, как запрос действительно попадет в приложение.

Если вы используете HtmlUnitDriver, вы можете установить заголовки запроса, изменив WebClient, например:

final case class Header(name: String, value: String)

final class HtmlUnitDriverWithHeaders(headers: Seq[Header]) extends HtmlUnitDriver {
  super.modifyWebClient {
    val client = super.getWebClient
    headers.foreach(h => client.addRequestHeader(h.name, h.value))
    client
  }
}

Заголовки будут отображаться во всех запросах, сделанных веб-браузером.

Я хотел что-то более тонкое для RSpec/Ruby, чтобы пользовательский код располагался только в одном месте. Вот мое решение:

/spec/support/selenium.rb
...
RSpec.configure do |config|
  config.after(:suite) do
    $custom_headers = nil
  end
end

module RequestWithExtraHeaders
  def headers
    $custom_headers.each do |key, value|
      self.set_header "HTTP_#{key}", value
    end if $custom_headers

    super
  end
end
class ActionDispatch::Request
  prepend RequestWithExtraHeaders
end

Тогда в моих спецификациях:

/specs/features/something_spec.rb
...
$custom_headers = {"Referer" => referer_string}

С решениями, уже обсужденными выше, наиболее надежным является использование Browsermob-Proxy

Но при работе с удаленной сетевой машиной Browsermob-proxy не очень помогает.

Вот как я решил проблему в моем случае. Надеюсь, может быть полезно для тех, у кого аналогичная настройка.

1. Добавьте расширение ModHeader в браузер Chrome.

Как скачать модхедер? Ссылка на сайт

ChromeOptions options = new ChromeOptions();
options.addExtensions(new File(C://Downloads//modheader//modheader.crx));

// Set the Desired capabilities 
DesiredCapabilities capabilities = new DesiredCapabilities();
capabilities.setCapability(ChromeOptions.CAPABILITY, options);

// Instantiate the chrome driver with capabilities
WebDriver driver = new RemoteWebDriver(new URL(YOUR_HUB_URL), options);

2. Перейдите к расширениям браузера и запишите идентификатор контекста локального хранилища ModHeader.

3. Перейдите к URL-адресу ModHeader, чтобы установить контекст локального хранилища.

.

// set the context on the extension so the localStorage can be accessed
driver.get("chrome-extension://idgpnmonknjnojddfkpgkljpfnnfcklj/_generated_background_page.html");

Where `idgpnmonknjnojddfkpgkljpfnnfcklj` is the value captured from the Step# 2

4. Теперь добавьте заголовки к запросу, используя Javascript

.

   ((Javascript)driver).executeScript(
         "localStorage.setItem('profiles', JSON.stringify([{  title: 'Selenium', hideComment: true, appendMode: '', 
             headers: [                        
               {enabled: true, name: 'token-1', value: 'value-1', comment: ''},
               {enabled: true, name: 'token-2', value: 'value-2', comment: ''}
             ],                          
             respHeaders: [],
             filters: []
          }]));");

Где token-1, value-1, token-2, value-2 — заголовки запроса и значения, которые необходимо добавить.

5. Теперь перейдите к нужному веб-приложению.

   driver.get("your-desired-website");

Если вы используете javacsript и хотите внедрить его только в Chrome, лучшим вариантом будет Puppeteer. так как он имеет встроенную поддержку для изменения заголовков. Проверьте это: https://pptr.dev/#?product=Puppeteer&version=v10.1.0&show=api-pagesetextrahttpheadersheaders

Хотя для кросс-браузерного использования вы можете проверить пакет @requestly/selenium npm. Это оболочка вокруг расширения requestly, обеспечивающая простую интеграцию в selenium-webdriver. Расширение может изменять заголовки. Проверьте: https://www.npmjs.com/package/@requestly/selenium

Вы можете сделать это с помощью PhantomJSDriver.

PhantomJSDriver pd = ((PhantomJSDriver) ((WebDriverFacade) getDriver()).getProxiedDriver());
pd.executePhantomJS(
            "this.onResourceRequested = function(request, net) {" +
            "   net.setHeader('header-name', 'header-value')" +
            "};");

Используя объект запроса, вы также можете фильтровать, чтобы заголовок не устанавливался для каждого запроса.

проверьте это: chrome_options = Options()

chrome_options.add_argument('--headless')
chrome_options.add_argument('user-agent="Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36"')

Проблема решена!