Как сделать согласование слов с Solr?

Я хотел бы создать список соответствия слов с Solr, который дает все вхождения данного слова с контекстом.

Английский пример:

...bla bla1 <b>dog</b> bla bla 1...
...bla bla2 <b>dog</b> bla bla 2...
...bla bla3 <b>dogs</b> bla bla 3
...bla bla4 <b>dogging</b> bla bla 4...
...bla bla5 <b>dog</b> bla bla 5...

Важно иметь возможность настраивать размер контекста. (Иногда более 1 предложения.)

Мой вопрос: как я могу сделать это с помощью Solr?

Lucene 4.1 умеет это делать, например, с помощью FastVectorHighlighter:

    //indexing
    FieldType offsetsType = new FieldType(TextField.TYPE_STORED);
    offsetsType.setIndexOptions(IndexOptions.DOCS_AND_FREQS_AND_POSITIONS_AND_OFFSETS);
    offsetsType.setStored(true);
    offsetsType.setIndexed(true);   
    offsetsType.setStoreTermVectors(true);
    offsetsType.setStoreTermVectorOffsets(true);
    offsetsType.setStoreTermVectorPositions(true);
    offsetsType.setStoreTermVectorPayloads(true);

    doc.add(new Field("content", fileContent, offsetsType));


    //searching
    IndexReader reader = DirectoryReader.open(FSDirectory.open(new File(indexPath)));
    IndexSearcher searcher = new IndexSearcher(reader);
    Analyzer analyzer = StandardAnalyzer(Version.LUCENE_41);
    QueryParser parser = new QueryParser(Version.LUCENE_41, "content", analyzer);
    Query query = parser.parse("dog");
    TopDocs results = searcher.search(query, 10);

    for (int i = 0; i < results.scoreDocs.length; i++) {
            int id = results.scoreDocs[i].doc;
            Document doc = searcher.doc(id);
            FastVectorHighlighter h = new FastVectorHighlighter();
            String[] hs = h.getBestFragments(h.getFieldQuery(query), reader, id, "content", contextSize, 10000);
            if (hs != null)
                    for(String f : hs)
                        System.out.println(" highlight: " + f);
    }

Но как я могу попросить Solr сделать то же самое?

Моя проба была такой (solrconfig.xml):

<fragmentsBuilder name="colored" class="org.apache.solr.highlight.ScoreOrderFragmentsBuilder">
 <lst name="defaults">
 <str name="hl.tag.pre"><![CDATA[
      <b style="background:yellow">,<b style="background:lawgreen">,
      <b style="background:aquamarine">,<b style="background:magenta">,
      <b style="background:palegreen">,<b style="background:coral">,
      <b style="background:wheat">,<b style="background:khaki">,
      <b style="background:lime">,<b style="background:deepskyblue">]]></str>
 <str name="hl.tag.post"><![CDATA[</b>]]></str>
 </lst>
</fragmentsBuilder>

<requestHandler name="drupal" class="solr.SearchHandler" default="true">
...
<str name="hl">true</str>
<str name="hl.fl">content</str>
<int name="hl.snippets">5000</int>
<int name="hl.fragsize">300</int>
<str name="hl.simple.pre"><![CDATA[ <b style="background:yellow"><i> ]]></str>
<str name="hl.simple.post"><![CDATA[ </i></b> ]]></str>
<str name="hl.mergeContiguous">true</str>
<str name="hl.fragListBuilder">single</str>
<str name="hl.useFastVectorHighlighter">true</str>

Но это всегда дает один большой фрагмент (для каждого документа), но не со всеми вхождениями.

Спасибо, Стив


person steve    schedule 17.02.2013    source источник
comment
Вы пробовали с меньшим hl.fragsize, скажем, 100?   -  person arun    schedule 19.02.2013
comment
Также я думаю, что <str name="hl.simple.post"><![CDATA[ </b></i> ]]></str> должно быть вместо <str name="hl.simple.post"><![CDATA[ </i></b> ]]></str>?   -  person arun    schedule 19.02.2013
comment
Я пробовал hl.fragsize=100, но никаких изменений... Спасибо за предложение и исправление hl.simple.post :)   -  person steve    schedule 20.02.2013


Ответы (2)


Можете ли вы попробовать с hl.fragsize=100 и hl.mergeContiguous=false и посмотреть, сколько фрагментов вы получите?

(Прежде чем добавлять параметры непосредственно в SearchHandler в solrconfig.xml, вы можете попробовать различные варианты, указав все свои параметры в запросе. Как только вы найдете набор параметров, которые вас устраивают, используйте их в solrconfig.)

person arun    schedule 20.02.2013
comment
привет @arun, ты указал мне правильное направление! :) Конфигурация Solr была правильной. (когда я протестировал solr напрямую, он выдал все фрагменты с радостью) Проблема была в модуле solr drupal, который я использовал для проверки результатов: он выдал только последний фрагмент... :(( apachesolr_search.module ( php-код): foreach ($response->highlighting->{$doc->id}->$hl_param as $values) { $snippets[$hl_param] = $values; } Обходной путь: foreach ($response->highlighting->{$doc->id}->$hl_param as $values) { $snippets[] = $values; //add each snippets } - person steve; 11.03.2013

Я только что добавил патч http://issues.apache.org/jira/i#browse/LUCENE-5317, которая может быть вам интересна. Solr-обертка уже в пути.

person Tim Allison    schedule 30.10.2013
comment
На самом деле это не является ответом здесь, на SO. - person Brian; 31.10.2013
comment
Оно делает. Не понимаю, почему бы и нет. - person Private; 16.01.2015