Contezza Community » Tezza

• openzaak module
• POST api/notifications

In application.properties moeten de volgende properties ingevuld worden:

content.service.security.basicAuth.username=
content.service.security.basicAuth.password=

• event listener debug logs worden getoond (on create, update, delete)
• api/notifications log wordt getoond

Merk op: ik heb de notifications alleen via api kunnen testen en niet via notifications component, want die gebruikt host.docker.internal en die werkt niet op windows.

• beide branches onderzoek/integration-aozs/#30558 en onderzoek/support-elasticsearch/30558 zijn daarin gemerged
• OnChildAssocCreatedEventHandler en OnChildAssocDeletedEventHandler zijn ook geimplementeerd; ze werken op basis van AssocTypeFilter.of("cm:preferenceImage") want dit was het handigste wat ik kon vinden in de standaard model
• ElasticSearchIndexService geimplementeerd met daarin methods om assocs aan te maken en te verwijderen vanuit elastic search
• model aangemaakt voor entities met assocs
• api uitgebreid met 'GET api/elastic/dump' (find all) en 'GET api/elastic/assocs/{id}' (find entities met assoc met de gegeven id)

• als ik een assoc aanmaak in alfresco:
  POST alfresco/api/-default-/public/alfresco/versions/1/nodes/c89ae8f9-1363-4576-b3be-0c562edc5a97/secondary-children, body
  

  {
    "childId": "1871d245-46c3-4610-9299-45310ea625ec",
    "assocType": "cm:preferenceImage" 
  }
  

  
  dan krijg ik dit bij GET api/elastic/dump
  

  {
      "content": [
          {
              "id": "c89ae8f9-1363-4576-b3be-0c562edc5a97",
              "parentIds": [],
              "childIds": [
                  "1871d245-46c3-4610-9299-45310ea625ec" 
              ]
          },
          {
              "id": "1871d245-46c3-4610-9299-45310ea625ec",
              "parentIds": [
                  "c89ae8f9-1363-4576-b3be-0c562edc5a97" 
              ],
              "childIds": []
          }
      ],
      "pageable": {
          "pageNumber": 0,
          "pageSize": 2,
          "sort": [],
          "offset": 0,
          "paged": true,
          "unpaged": false
      },
      "totalElements": 2,
      "totalPages": 1,
      "last": true,
      "size": 2,
      "number": 0,
      "sort": [],
      "first": true,
      "numberOfElements": 2,
      "empty": false
  }
  

  
  en ik krijg dit bij GET /api/elastic/assocs/1871d245-46c3-4610-9299-45310ea625ec
  

  {
      "content": [
          {
              "id": "c89ae8f9-1363-4576-b3be-0c562edc5a97",
              "parentIds": [],
              "childIds": [
                  "1871d245-46c3-4610-9299-45310ea625ec" 
              ]
          }
      ],
      "pageable": {
          "pageNumber": 0,
          "pageSize": 100,
          "sort": [],
          "offset": 0,
          "paged": true,
          "unpaged": false
      },
      "totalElements": 1,
      "totalPages": 1,
      "last": true,
      "size": 100,
      "number": 0,
      "sort": [],
      "first": true,
      "numberOfElements": 1,
      "empty": false
  }
  

  
  en dit bij GET /api/elastic/assocs/c89ae8f9-1363-4576-b3be-0c562edc5a97
  

  {
      "content": [
          {
              "id": "1871d245-46c3-4610-9299-45310ea625ec",
              "parentIds": [
                  "c89ae8f9-1363-4576-b3be-0c562edc5a97" 
              ],
              "childIds": []
          }
      ],
      "pageable": {
          "pageNumber": 0,
          "pageSize": 100,
          "sort": [],
          "offset": 0,
          "paged": true,
          "unpaged": false
      },
      "totalElements": 1,
      "totalPages": 1,
      "last": true,
      "size": 100,
      "number": 0,
      "sort": [],
      "first": true,
      "numberOfElements": 1,
      "empty": false
  }
  

• als ik vervolgens de assoc verwijder in alfresco:
  DELETE alfresco/api/-default-/public/alfresco/versions/1/nodes/c89ae8f9-1363-4576-b3be-0c562edc5a97/secondary-children/1871d245-46c3-4610-9299-45310ea625ec
  dan krijg ik dit bij GET api/elastic/dump
  

  {
      "content": [
          {
              "id": "c89ae8f9-1363-4576-b3be-0c562edc5a97",
              "parentIds": [],
              "childIds": []
          },
          {
              "id": "1871d245-46c3-4610-9299-45310ea625ec",
              "parentIds": [],
              "childIds": []
          }
      ],
      "pageable": {
          "pageNumber": 0,
          "pageSize": 2,
          "sort": [],
          "offset": 0,
          "paged": true,
          "unpaged": false
      },
      "totalElements": 2,
      "totalPages": 1,
      "last": true,
      "size": 2,
      "number": 0,
      "sort": [],
      "first": true,
      "numberOfElements": 2,
      "empty": false
  }
  

  
  en geen resultaten bij beide GET /api/elastic/assocs/{id} calls

• naast OnChildAssocCreatedEventHandler en OnChildAssocDeletedEventHandler, OnPeerAssocCreatedEventHandler en OnPeerAssocDeletedEventHandler zijn ook geimplementeerd (nen assocs zijn peer assocs en geen child assocs); al deze EventHandler's filteren op basis van app variable
  

  spring.elasticsearch.assocs=cm:preferenceImage,nen:replaces,nen:replaced_by
  

• het model van nen was al erin, het aanmaken van nen assocs kan via script https://support.contezza.nl/issues/27368#note-6
  

  var baseFolder = document;
  var folder = baseFolder.createFolder("test folder " + new Date().getTime());
  var node1 = folder.createNode("testNode1", "nen:n");
  var node2 = folder.createNode("testNode2", "nen:n");
  var node3 = folder.createNode("testNode3", "nen:replace");
  node3.createAssociation(node1, "nen:replaces");
  node3.createAssociation(node2, "nen:replaced_by");
  

  
  (document is een willekeurige folder), om de assocs te verwijderen kan de nieuwe map verwijderd worden vanuit share
• het model is aangepast en een dump ziet er nu zo uit
  

  {
      "content": [
          {
              "id": "5307bc91-c397-46e6-a861-875f6e0dbbb2",
              "assocs": [
                  {
                      "type": "nen:replaces",
                      "sourceIds": [
                          "1bbabf9c-6ee3-4f4c-a06e-faa0953e2196" 
                      ],
                      "targetIds": []
                  }
              ]
          },
          {
              "id": "1bbabf9c-6ee3-4f4c-a06e-faa0953e2196",
              "assocs": [
                  {
                      "type": "nen:replaces",
                      "sourceIds": [],
                      "targetIds": [
                          "5307bc91-c397-46e6-a861-875f6e0dbbb2" 
                      ]
                  },
                  {
                      "type": "nen:replaced_by",
                      "sourceIds": [],
                      "targetIds": [
                          "9139790c-f4d3-4880-acac-d95900f763a3" 
                      ]
                  }
              ]
          },
          {
              "id": "9139790c-f4d3-4880-acac-d95900f763a3",
              "assocs": [
                  {
                      "type": "nen:replaced_by",
                      "sourceIds": [
                          "1bbabf9c-6ee3-4f4c-a06e-faa0953e2196" 
                      ],
                      "targetIds": []
                  }
              ]
          }
      ],
      "pageable": {
          "pageNumber": 0,
          "pageSize": 3,
          "sort": [],
          "offset": 0,
          "paged": true,
          "unpaged": false
      },
      "totalPages": 1,
      "totalElements": 3,
      "last": true,
      "size": 3,
      "number": 0,
      "sort": [],
      "first": true,
      "numberOfElements": 3,
      "empty": false
  }
  

  
  met Tahir hadden we besproken om assocs as Map's te indexeren, maar dat lukt niet, dus in plaats van Map<type, {sourceIds, targetIds}> is dit List<{type, sourceIds, targetIds}> geworden.

De voorbeeld vragen zijn voor mij onleesbaar, graag aanvullen met typen, assocTypes en properties en ik ga dit in elk geval oppakken alleen nadat alfresco ook op elastic search draait (want het idee is om dezelfde repository te gebruiken ook om de assocs te indexeren, zodat het mogelijk is om de alfresco properties te gebruiken ook in de assoc queries).
De integratie met reports app moet eerst met Rick besproken worden.
Ik ga nu verder met de integratie van de oude aozs functionaliteit.

Api om een full index uit te voeren is aangemaakt: POST/api/elastic/index/assocs

Dit is bedoeld om uitgevoerd te worden op een lege ES repository. Het doet geen kwaad als dit meerdere keer uitgevoerd worden (het maakt niet dezelfde entity twee keer aan) maar dit verwijderd niet eventuele entities die bestaan in de ES repository maar niet in Alfresco.

• indexering van zaakeigenschappen gebaseerd op notificaties is geimplementeerd (grotendeels overgenomen van aozs)
• Api om een full index uit te voeren is aangemaakt: POST/api/elastic/index/zaken (dezelfde opmerking over index/assocs geldt hier ook), dit heb ik ook kunnen testen tegen dev-tezza-openzaak en het werkt
• ik heb index/assocs tegen vlisco test omgeving om assocs vpd:placeholders,vpd:designs,vpd:items,vpd:blocking_sets,vpd:channels,vpd:related_blockings,vpd:related_items te indexeren en dit werkt ook (het duurde wel lang: 11455 totaal nodes in de Alfresco repository, 3397 assocs geindexeerd, 36min)

Let op: in aozs waren notifcaties op queue gezet en daarvandaan bijgewerkt, dit is er in het nieuwe project niet in.

• returns alle zaken waarvan een bepaalde TEKST eigenschap heeft een bepaalde waarde (waarde match is tokenised):
  

  {
    "query": {
      "nested": {
        "path": "zaakEigenschapStr",
        "query": {
          "bool": {
            "must": [
              {
                "term": {
                  "zaakEigenschapStr.eigenschapId": "a1ee578b-3b9e-4cd9-a793-d77774ab1b6d" 
                }
              },
              {
                "match": {
                  "zaakEigenschapStr.values": "nee" 
                }
              }
            ]
          }
        }
      }
    }
  }
  

• returns alle zaken waarvan een bepaalde DATUM of DATUM_TIJD eigenschap heeft waarde in een bepaalde range:
  

  {
    "query": {
      "nested": {
        "path": "zaakEigenschapDate",
        "query": {
          "bool": {
            "must": [
              {
                "term": {
                  "zaakEigenschapDate.eigenschapId": "11d6fb54-eff8-4975-9cef-f3afad92783b" 
                }
              },
              {
                "range": {
                  "zaakEigenschapDate.values": {
                    "gte": "2024-01-01T00:00:00",
                    "lte": "2025-01-30T23:00:00",
                    "format": "date_optional_time" 
                  }
                }
              }
            ]
          }
        }
      }
    }
  }
  

• returns alle zaken waarvan een bepaalde GETAL eigenschap heeft een bepaalde waarde:
  

  {
    "query": {
      "nested": {
        "path": "zaakEigenschapInt",
        "query": {
          "bool": {
            "must": [
              {
                "term": {
                  "zaakEigenschapInt.eigenschapId": "726f5e40-77b9-4691-a438-6a90a40474b4" 
                }
              },
              {
                "term": {
                  "zaakEigenschapInt.values": "7" 
                }
              }
            ]
          }
        }
      }
    }
  }
  

• returns alle nodes die een assoc hebben van een bepaalde type met een bepaalde node:
  

  {
    "query": {
          "nested": {
            "path": "assocs",
            "query": {
              "bool": {
                "must": [
                  {
                    "term": {
                      "assocs.type": "vpd:placeholders" 
                    }
                  },
                  {
                    "bool": {
                      "should": [
                        {
                          "term": {
                            "assocs.sourceIds": "3260b41c-ea78-426b-a623-4c2f596f17bd" 
                          }
                        },
                        {
                          "term": {
                            "assocs.targetIds": "3260b41c-ea78-426b-a623-4c2f596f17bd" 
                          }
                        }
                      ]
                    }
                  }
                ]
              }
            }
          }
        }
  }
  
  

• onderzoek hoe/als de nieuwe data geindexeerd kan worden in dezelfde index als alfresco (zodat het mogelijk is om alfresco properties en assocs te mixen in dezelfde query) -> on hold tot dat alfresco met elastic search beschikbaar is
• integratie met alfresco search api: aozs gebruikt een custom query language:
  

  {
      "query": "=@tza\\:zaaktypeOmschrijving:'Subsidieaanvraag behandelen'|&zaak_eigenschap_str_78c142ec-0b84-4558-9cb5-204f18750b96:test",
      "language": "alfresco-openzaak-solr" 
    }
  

  
  het moet besproken worden als dit nog de wens is, bovendien elastic search queries zijn objecten en geen strings dus het wordt minder leesbaar als deze binnen het veld 'query' worden geschreven
• integratie met reports ...
• specifieke zoekopdrachten voor nen: afhankelijk van hoe de eerste punt opgelost kan worden
• onderzoeken als het nodig is dat notifications via mq gaan en zoja mq configureren

• De Alfresco in https://git.contezza.nl/develop/products/alfresco-event-listener is nu geupdate naar 23.4.1 en gebruikt nu elastic search ipv solr voor indexing.
• De nen repo is er uitgehaald wegens incompatibility, en is vervangen door het nenModel uit de nen repo.
• De solr module zit nog in het project, maar heeft een andere poort gekregen om conflict met de Alfresco module te voorkomen
• De app is niet aangepast, muv aanpassen port solr

Ik heb even onderzocht als dit nuttig kan zijn: https://stackoverflow.com/questions/63925596/elasticsearch-cross-index-query-with-aggregations
maar 'onderzoek hoe/als de nieuwe data geindexeerd kan worden in dezelfde index als alfresco' lijkt een betere aanpak.

• ter voorbereiding: POST {{elasticSearchUrl}}/alfresco/_mapping met body:
  

  {
      "dynamic":true
  }
  

• een node aangemaakt in alfresco met description: "test description!"
• de entity direct bijgewerkt vanuit ES api: POST {{elasticSearchUrl}}/alfresco/_update/7b5c229d-a3ee-40e3-9c22-9da3ee00e3e0 met body
  

  {
    "doc": {
      "myTestProperty": "test value of test property new" 
    }
  }
  

• op beide properties in ES gezocht: POST {{elasticSearchUrl}}/alfresco/_search met body:
  

  {
    "query": {
      "bool": {
        "must": [
          {
            "match": {
              "cm%3Adescription": "test description!" 
            }
          },
          {
            "match": {
              "myTestProperty": "test" 
            }
          }
        ]
      }
    }
  }
  

  
  en ik krijg de node terug

Ik heb ook gecheckt dat een wijziging in alfresco ververst niet de volle index (de description wordt aangepast maar de custom property blijft).

Het is dus wel mogelijk om de custom properties in dezelfde index te schrijven die alfresco al gebruikt en dus tegelijkertijd alfresco en niet-alfresco properties te query-en.

Yes dat is wel mooi/vet, maar hoe doe je dan een re-index?
Alfresco heeft een re-index image die gaat dan alleen de alfresco's eigen meta-data reindexeren.

1. Doe alfresco re-index via image
2. Doe re-index via Spring Boot app
   • Deze voegt aan de bestaande index de extra meta-data toe

Ja dat is het idee, de springboot moet sowieso zijn eigen re-index ondersteunen.

Het lukt mij niet om deze operaties vanuit java uit te voeren. Ik denk dat ik co.elastic.clients.elasticsearch.ElasticsearchClient moet gebruiken maar het lukt mij niet om dit te configureren.

Voor de Sprintboot app heb ik nu een test operatie toegevoegd die een node in de Alfresco index update met een test property. Dit werkt zoals verwacht wordt, identiek aan de eerder genoemde POST call via Postman. Ook is er een functie om de mapping "dynamic" op true te zetten. dit is gevalideerd met een _search naar elasticsearch direct.

Hiermee kan Diego weer verder met de index service. Het issue dat het document in elasticsearch werd overschreven is hiermee opgelost.

Wat ik wel nog zag, is dat er geen security op de elasticsearch server zit. Hier ga ik nog naar kijken.

• Toevoegen basic auth voor elasticsearch
• verwijdern testcode in springboot app voor elasticsearch

@Diego Mirandola Kan jij dit mergen met jou aanpassingen wanneer je zover bent?

• index logica omgezet om hetzelfde index als alfresco te gaan bewerken (voor assocs en zaakeigenschappen); vorige tests zoals https://support.contezza.nl/issues/30558#note-9 en https://support.contezza.nl/issues/30558#note-11 zijn in de nieuwe setting ook geslaagd
• branch van Erik meegenomen (basic auth voor elasticsearch) en getest

• queries valideren in het nieuwe model, met name https://support.contezza.nl/issues/30558#note-14, https://support.contezza.nl/issues/30558#note-15 en use-case van nen https://support.contezza.nl/issues/30558#note-10
• naar aanleiding hiervan de mapping verfijnen, op dit moment staat er alleen dynamic:true en dit is waarschijnlijk niet goed (dit gaat bijvoorbeeld ids tokeniseren, dat is niet de bedoeling)

• integratie met alfresco search api: aozs gebruikt een custom query language:
  

  {
      "query": "=@tza\\:zaaktypeOmschrijving:'Subsidieaanvraag behandelen'|&zaak_eigenschap_str_78c142ec-0b84-4558-9cb5-204f18750b96:test",
      "language": "alfresco-openzaak-solr" 
    }
  

  
  het moet besproken worden als dit nog de wens is, bovendien elastic search queries zijn objecten en geen strings dus het wordt minder leesbaar als deze binnen het veld 'query' worden geschreven
• integratie met reports ...
• onderzoeken als het nodig is dat notifications via mq gaan en zoja mq configureren

• ElasticsearchInfoService toegevoegd
  • Dit haalt met behulp van de RestHighLevelClient van alfresco informatie op uit de elasticsearch configuratie en index stats
• Bij het dashboard van de app wordt nu de ElasticsearchInfoService gebruikt om informatie op te helen, ipv de SolrClient
  • Een aantal van informatiepunten is er geen directe waarde beschikbaar, maar kan deze wel berekend worden, zoals bij Free memory, start time & Data directory
  • Voor Last modified is er geen waarde beschikbaar via de api's

Enkel de actie 'Execute full index' moet nog aangepast worden naar Elastic search

• voortgang van Erik meegenomen
• Mapping is verfijnd om de volgende queries te ondersteunen:
  query value of a given eigenschap of type string:
  

  {
    "query": 
          {
            "nested": {
              "path": "zaakEigenschapStr",
              "query": {
                "bool": {
                  "must": [
                    {
                      "term": {
                        "zaakEigenschapStr.eigenschapId": "19655d47-7f31-446e-b5a9-23443497122f" 
                      }
                    },
                    {
                      "match_phrase": {
                        "zaakEigenschapStr.values": "two" 
                      }
                    }
                  ]
                }
              }
            }
  
    }
  }
  

  
  query value of a given eigenschap of type number:
  

  {
      "query":
                  {
                      "nested": {
                          "path": "zaakEigenschapInt",
                          "query": {
                              "bool": {
                                  "must": [
                                      {
                                          "term": {
                                              "zaakEigenschapInt.eigenschapId": "51224f33-366f-487a-956a-07095ddb779c" 
                                          }
                                      },
                                      {
                                          "term": {
                                              "zaakEigenschapInt.values": 70
                                          }
                                      }
                                  ]
                              }
                          }
                      }
                  }
  }
  

  
  query range of a given eigenschap of type date:
  

  {
      "query": 
  
                  {
                      "nested": {
                          "path": "zaakEigenschapDate",
                          "query": {
                              "bool": {
                                  "must": [
                                      {
                                          "term": {
                                              "zaakEigenschapDate.eigenschapId": "547650a2-f448-4ed5-ba2c-d23abb5ebdbd" 
                                          }
                                      },
                                      {
                                          "range": {
                                              "zaakEigenschapDate.values": {
                                                  "gte": "2025-02-27T00:00:00",
                                                  "lte": "2025-02-28T00:00:00" 
                                              }
                                          }
                                      }
                                  ]
                              }
                          }
                      }
                  }
  
  }
  

  
  query Assoc of given type with given target or source:
  

  {
      "query":
                  {
                      "nested": {
                          "path": "assocs",
                          "query": {
                              "bool": {
                                  "must": [
                                      {
                                          "term": {
                                              "assocs.type": "nen:replaces" 
                                          }
                                      },
                                      {
                                          "bool": {
                                              "should": [
                                                  {
                                                      "term": {
                                                          "assocs.sourceIds": "56b308f3-472d-48b1-b308-f3472d88b17a" 
                                                      }
                                                  },
                                                  {
                                                      "term": {
                                                          "assocs.targetIds": "56b308f3-472d-48b1-b308-f3472d88b17a" 
                                                      }
                                                  }
                                              ],
                                              "minimum_should_match": 1
                                          }
                                      }
                                  ]
                              }
                          }
                      }
                  }
  }
  

• de update van de mapping wordt uitgevoerd bij elke full index van assocs en zaken, dus de ideale flow is: (1) default indexeren van alfresco (2) call custom apis POST api/elastic/index/assocs en POST /api/elastic/index/zaken om assocs en zaken te indexeren
  met name: als een assoc of een zaak wordt aangemaakt voordat de full index wordt uitgevoerd, dan wordt de assoc of zaak niet correct geindexeerd

• de volgende scripts zijn handig om test data aan te maken:
  aanmaken van mappen met nen relaties:
  

  var folderName = 'folder-' + new Date().getTime();
  var folder = document.createFolder(folderName);
  var node1 = folder.createNode("testNode1", "nen:n");
  var node2 = folder.createNode("testNode2", "nen:n");
  var node3 = folder.createNode("testNode3", "nen:replace");
  node3.createAssociation(node1, "nen:replaces");
  node3.createAssociation(node2, "nen:replaced_by");
  

  
  aanmaken van een map die dezelfde uuid heeft als een bestaande zaak:
  

  var folderName = 'folder-' + new Date().getTime();
  var zaakUuid = '0fad9821-1a4f-4b2a-8d86-fc989ed359cb';
  var properties = {
      'sys:node-uuid': zaakUuid
  };
  document.createNode(folderName, "cm:folder", properties);
  

De calls achter de button 'Execute full index' zijn aangepast. Dit zijn nu de calls '/api/elastic/index/assocs' & '/api/elastic/index/zaken'.
Deze doen nu een refresh van de alfresco index in Elasticsearch, zonder data van alfresco te verwijderen.

Dit zit nu nog in de 'onderzoek/merge/#30558' branch

IN de merge branch een search operatie gemaakt in de app, met standaard elasticsearch springframework calls. Deze aangeroepen vanuit een Webscript in Alfresco. Dit werkt. Bij uitzoeken van toevoegen permissies tegen een manier aangelopen waarmee we de query mogelijk via Alfresco kunnen aanpassen, en mogelijk ook direct uit kunnen voeren. Dit met org.opensearch.index.query.BoolQueryBuilder. Maar ik moet nog uitzoeken of dit de volledige query ondersteund, en of dit los te gebruiken is. De eerste test geeft nog een error.

Voorbeeld query die zou moeten werken:

TYPE:"cm:conent" AND cm:name:"test" AND (assocs.sourceIds:"56b308f3-472d-48b1-b308-f3472d88b17a" OR zaakEigenschapStr.eigenschapId:"56b308f3-472d-48b1-b308-f3472d88b17a")

Besproken met Erik:

• we gaan geen aparte query builder maken om eigen notatie te vertalen naar elasticsearch;
• we definieren een property in een custom model (elasticsearchModel.xml);
• we filteren property uit query en zorgen ervoor dat die wordt meegegeven aan request builder.
• de executeQuery is beschikbaar en kan gebruikt worden voor verdere ontwikkeling: exp/overwrite_query_executor/#30558
• results teruggeven is stap 2, is niet relevant voor assocs, maar wel voor reports

TYPE:"cm:folder" AND elasticsearch:query:"{}" AND cm:name:"Test" 

// via jconsole
var data = { 
"test", "test1" 
}
TYPE:"cm:folder" AND elasticsearch:query:JSON.stringify(data) AND cm:name:"Test" 

De search werkt nu met een extra property in het de Alfresco query, die er uit wordt gefilterd.

Dit is een test voorbeeld:

data = {
    "bool": {
      "must": [
        {
          "nested": {
            "path": "zaakEigenschapStr",
            "query": {
              "bool": {
                "must": [
                  {
                    "term": {
                      "zaakEigenschapStr.eigenschapId": "63fa9032-212f-45ed-b0fc-508042072fbf" 
                    }
                  },
                  {
                    "match_phrase": {
                      "zaakEigenschapStr.values": "2025-02-27T00:00:00" 
                    }
                  }
                ]
              }
            }
          }
        },
        {
          "nested": {
            "path": "zaakEigenschapStr",
            "query": {
              "bool": {
                "must": [
                  {
                    "term": {
                      "zaakEigenschapStr.eigenschapId": "78c142ec-0b84-4558-9cb5-204f18750b96" 
                    }
                  },
                  {
                    "match_phrase": {
                      "zaakEigenschapStr.values": "5000" 
                    }
                  }
                ]
              }
            }
          }
        }
      ]
    }
};

var query = "cm:name:'folder-1741797589474' AND elasticsearch:query:'"+ JSON.stringify(data)+ "'";
var results = search.query({
    query: query,
    language: "fts-alfresco" 
});

if (results.length > 0) {
    logger.log("Found " + results.length + " results.");
    results.forEach(function(result) {
        logger.log(result.id); 
    });
} else {
    logger.log("No results found.");
}

Dit werkt met het voorbeeld van Diego uit #30558#note-28

Let wel op de structuur van een de JSON voor de elasticsearch:query. Deze moet niet met "query": beginnen, maar met de inhoud hiervan.

Een correctie van een een query uit Diego's voorbeeld:

{
    "nested": {
        "path": "zaakEigenschapDate",
        "query": {
            "bool": {
                "must": [
                    {
                        "term": {
                            "zaakEigenschapDate.eigenschapId": "547650a2-f448-4ed5-ba2c-d23abb5ebdbd" 
                        }
                    },
                    {
                        "range": {
                            "zaakEigenschapDate.values": {
                                "gte": "2025-02-27T00:00:00",
                                "lte": "2025-02-28T00:00:00" 
                            }
                        }
                    }
                ]
            }
        }
    }
}

De query in het log ziet er dan als volgens uit. Dit is hoe het via QueryBuilders.wrapperQuery(String source) wordt encode, en de executor kan hier verder mee overweg.

{
    "from": 0,
    "size": 500,
    "query": {
        "bool": {
            "must": [
                {
                    "bool": {
                        "must": [
                            {
                                "query_string": {
                                    "query": "cm%3Aname:folder-1741797589474",
                                    "fields": [],
                                    "type": "best_fields",
                                    "default_operator": "or",
                                    "max_determinized_states": 10000,
                                    "enable_position_increments": true,
                                    "fuzziness": "AUTO",
                                    "fuzzy_prefix_length": 0,
                                    "fuzzy_max_expansions": 50,
                                    "phrase_slop": 0,
                                    "escape": false,
                                    "auto_generate_synonyms_phrase_query": true,
                                    "fuzzy_transpositions": true,
                                    "boost": 1
                                }
                            },
                            {
                                "wrapper": {
                                    "query": "eyJib29sIjp7Im11c3QiOlt7Im5lc3RlZCI6eyJwYXRoIjoiemFha0VpZ2Vuc2NoYXBTdHIiLCJxdWVyeSI6eyJib29sIjp7Im11c3QiOlt7InRlcm0iOnsiemFha0VpZ2Vuc2NoYXBTdHIuZWlnZW5zY2hhcElkIjoiNjNmYTkwMzItMjEyZi00NWVkLWIwZmMtNTA4MDQyMDcyZmJmIn19LHsibWF0Y2hfcGhyYXNlIjp7InphYWtFaWdlbnNjaGFwU3RyLnZhbHVlcyI6IjIwMjUtMDItMjdUMDA6MDA6MDAifX1dfX19fSx7Im5lc3RlZCI6eyJwYXRoIjoiemFha0VpZ2Vuc2NoYXBTdHIiLCJxdWVyeSI6eyJib29sIjp7Im11c3QiOlt7InRlcm0iOnsiemFha0VpZ2Vuc2NoYXBTdHIuZWlnZW5zY2hhcElkIjoiNzhjMTQyZWMtMGI4NC00NTU4LTljYjUtMjA0ZjE4NzUwYjk2In19LHsibWF0Y2hfcGhyYXNlIjp7InphYWtFaWdlbnNjaGFwU3RyLnZhbHVlcyI6IjUwMDAifX1dfX19fV19fQ==" 
                                }
                            }
                        ],
                        "adjust_pure_negative": true,
                        "boost": 1
                    }
                }
            ],
            "filter": [
                {
                    "bool": {
                        "adjust_pure_negative": true,
                        "boost": 1
                    }
                }
            ],
            "adjust_pure_negative": true,
            "boost": 1
        }
    },
    "track_scores": true,
    "track_total_hits": 10000
}

Ik heb kort gekeken naar mogelijkheden om de extra velden ergens in de response te verwerken, maar daar ben ik nog niet verder in gekomen. Zoals eerder al gezegd, krijgen we deze velden wel terug van Elasticsearch

• Model is weg;
• Query gebruikt nu ELASTICSEARCH ipv elasticsearch:query
  • Voorbeeld:
    

    data = {
        "bool": {
          "must": [
            {
              "nested": {
                "path": "zaakEigenschapStr",
                "query": {
                  "bool": {
                    "must": [
                      {
                        "term": {
                          "zaakEigenschapStr.eigenschapId": "63fa9032-212f-45ed-b0fc-508042072fbf" 
                        }
                      },
                      {
                        "match_phrase": {
                          "zaakEigenschapStr.values": "2025-02-27T00:00:00" 
                        }
                      }
                    ]
                  }
                }
              }
            },
            {
              "nested": {
                "path": "zaakEigenschapStr",
                "query": {
                  "bool": {
                    "must": [
                      {
                        "term": {
                          "zaakEigenschapStr.eigenschapId": "78c142ec-0b84-4558-9cb5-204f18750b96" 
                        }
                      },
                      {
                        "match_phrase": {
                          "zaakEigenschapStr.values": "5000" 
                        }
                      }
                    ]
                  }
                }
              }
            }
          ]
        }
    };
    
    var query = "cm:name:'folder-1741797589474' AND ELASTICSEARCH:'"+ JSON.stringify(data)+ "'";
    var results = search.query({
        query: query,
        language: "fts-alfresco" 
    });
    
    if (results.length > 0) {
        logger.log("Found " + results.length + " results.");
        results.forEach(function(result) {
            logger.log(result.id); 
        });
    } else {
        logger.log("No results found.");
    }
    

• Het ondersteund nu ook de OR operator voor ELASTICSEARCH, of geen operator als de ELASTICSEARCH de enige parameter is
• Er is een WebScript, SearchPost, wat de data vanuit Elasticsearch direct teruggeeft. Input is hetzelfde request als voor een POST call naar de Alfresco Search Rest API
  Voorbeeld request naar POST http://localhost:8080/alfresco/s/contezza/reports/search
  

  {
      "query": {
          "query": "cm:name:'folder-1741797589474' AND ELASTICSEARCH:'{\"nested\":{\"path\":\"zaakEigenschapStr\",\"query\":{\"bool\":{\"must\":[{\"term\":{\"zaakEigenschapStr.eigenschapId\":\"63fa9032-212f-45ed-b0fc-508042072fbf\"}},{\"match_phrase\":{\"zaakEigenschapStr.values\":\"2025-02-27T00:00:00\"}}]}}}}'" 
      }
  }
  

  
  Voorbeeld response:
  

  {
      "took": 1,
      "timed_out": false,
      "_shards": {
          "total": 1,
          "successful": 1,
          "skipped": 0,
          "failed": 0
      },
      "hits": {
          "total": {
              "value": 1,
              "relation": "eq" 
          },
          "max_score": 2.5157027,
          "hits": [
              {
                  "_index": "alfresco",
                  "_id": "49e09feb-10a5-4325-b3cc-a6fb589f39a2",
                  "_score": 2.5157027,
                  "_type": "_doc",
                  "_source": {
                      "DENIED": [],
                      "PROPERTIES": [
                          "nen:origine_in_number",
                          "nen:group" 
                      ],
                      "cm%3Acreator": "admin",
                      "cm%3Amodifier": "admin",
                      "METADATA_INDEXING_LAST_UPDATE": 1741876935240,
                      "CONTENT_INDEXING_LAST_UPDATE": 0,
                      "cm%3Acreated": "2025-03-12T17:39:49.482+01:00",
                      "OWNER": "admin",
                      "PARENT": [
                          "bf08bd21-c2ba-42e4-88bd-21c2baf2e476" 
                      ],
                      "cm%3Aname": "folder-1741797589474",
                      "primaryHierarchy": [
                          "bf08bd21-c2ba-42e4-88bd-21c2baf2e476",
                          "4edc71a2-eac6-4531-9c71-a2eac6c5313b" 
                      ],
                      "ASPECT": [
                          "nen:base",
                          "cm:auditable" 
                      ],
                      "ALIVE": true,
                      "READER": [
                          "admin" 
                      ],
                      "TAG": [],
                      "PRIMARYPARENT": "bf08bd21-c2ba-42e4-88bd-21c2baf2e476",
                      "cm%3Amodified": "2025-03-13T13:57:31.676+01:00",
                      "TYPE": "cm:folder",
                      "zaakEigenschapStr": [
                          {
                              "eigenschapId": "78c142ec-0b84-4558-9cb5-204f18750b96",
                              "values": [
                                  "5000" 
                              ]
                          },
                          {
                              "eigenschapId": "63fa9032-212f-45ed-b0fc-508042072fbf",
                              "values": [
                                  "2025-02-27T00:00:00" 
                              ]
                          }
                      ],
                      "zaakEigenschapInt": [],
                      "zaakEigenschapDate": [],
                      "nen%3Aorigine_in_number": true,
                      "nen%3Agroup": "eu" 
                  }
              }
          ]
      }
  }
  

Besproken met Erik/Diego:

• json response in extended result set transformeren naar map (key=id) van key values: white list van keys in global props. elastic.allowedKeys=key1,key2,etc.
• Kopie SearchApiWebscript, om custom data terug te geven in response. Moet Node extenden en resultmapper en dan kijken wat nog meer aangepast moet worden. Zo minimaal mogelijk.
• Impact samen bespreken

{
    "49e09feb-10a5-4325-b3cc-a6fb589f39a2": {
        "zaakEigenschapInt": [],
        "zaakEigenschapDate": []
    },
    "49e09feb-10a5-4325-b3cc-a6fb589f3932": {
        "zaakEigenschapInt": [],
        "zaakEigenschapDate": []
    }
}

{
    "isFile": true,
    "createdByUser": {
        "id": "admin",
        "displayName": "Administrator" 
    },
    "modifiedAt": "2024-07-01T14:31:19.588+0000",
    "nodeType": "cm:content",
    "content": {
        "mimeType": "application/pdf",
        "mimeTypeName": "Adobe PDF Document",
        "sizeInBytes": 51378,
        "encoding": "UTF-8" 
    },
    "parentId": "b562c43a-52ba-4bd0-9131-109392a6a9f3",
    "aspectNames": [
        "sem:afstudeerwerken",
        "scm:base",
        "sem:student-data",
        "cm:versionable",
        "srm:dissemination",
        "cm:auditable",
        "scm:dublin-core" 
    ],
    "createdAt": "2024-07-01T14:31:19.588+0000",
    "isFolder": false,
    "modifiedByUser": {
        "id": "admin",
        "displayName": "Administrator" 
    },
    "name": "dummy.pdf",
    "id": "55b34a1a-bf22-4b62-af97-bf3641f917cc",
    "properties": {
        "sem:controle_afgerond": false,
        "sem:academy": "Academie Bestuur, Recht en Ruimte",
        "cm:versionType": "MAJOR",
        "cm:versionLabel": "1.0",
        "srm:dc-publisher": "Saxion University of Applied Sciences",
        "sem:stageorganisatie": "organization",
        "sem:study": "course",
        "sem:full-name": "Test Author",
        "scm:content-type": "Bachelor thesis",
        "sem:isCompleted": false,
        "srm:dc-rights": "restricted-access",
        "sem:student-number": "42824",
        "scm:dc-subtitle": "subtitle",
        "scm:dc-date-issued": "2024-06-30T22:00:00.000+0000",
        "sem:domein": "Recreatie, Beweging & Sport",
        "scm:process-id": "(None)",
        "scm:confidentiality": "Bedrijfsvertrouwelijk",
        "scm:dc-language": "NL",
        "scm:dc-abstract": "summary" 
    },
    "allowableOperations": [
        "delete",
        "update",
        "updatePermissions" 
    ],
    "elasticsearch": {
        "zaakEigenschapInt": [],
        "zaakEigenschapDate": []
    }
}

Custom versie van Search webscript geeft nu extra property elasticProperties terug, maar gebruikt nog veel dubbele code. Dit moet nog worden opgeschoond.

In de merge branch heb ik solr verwijderd.

De nieuwe implementatie van de SearchApiWebscript is klaar.

• ExtendedElasticsearchResultSet heeft nu een property Map<String, Map<String, Object>> additionalData er bij
  • Deze wordt via de constructor gevuld vanuit searchResponse.toString();
  • allowedKeys worden vanuit ElasticsearchQueryExecutor meegegeven, daar opgehaald via @Value
• ExtendedNode gemaakt, extends Node met parameter additionalData
• ExtendedResultMapper extends ResultMapper aangemaakt. Heeft een kopie van toCollectionWithPagingInfo, genaamd toCollectionWithPagingInfoExtended
  • Enige aanpassing is dat de Node geconverteerd wordt naar een ExtendedNode en aangevuld met elasticProperties uit ExtendedElasticsearchResultSet
• ContezzaSearchApiWebscript aangemaakt als kopie van SearchApiWebscript en aangepast om nieuwe extended classes te gebruiken

• search api overriden met ContezzaSearchApiWebscript in huidig project voor Diego om te testen
• rick maakt een nieuw project Contezza Search Extensions op basis van Alfresco 23.x

Repo is aangemaakt: https://git.contezza.nl/develop/alfresco/contezza-search-extensions

De repo is gevuld met een kopie van de contezza-sdk 23.x, en de code + dependencies van Alfresco-event-listner platform zijn overgezet. Dit werkt lokaal.
Ik heb ook een development branch gemaakt, en de pipeline schedules, deze is door Sabine als proctected aangemerkt. De build gaat echter nog niet goed vanuit gitlab.
Gitlab heeft moeite met het vinden van de classes uit de alfresco-remote-api & alfresco-enterprise-repository lijkt het.

Verder is het lokaal wel gelukt om de bean van de public search api te extenden, met onze eigen class. Het probleem was dat ik het in 'platform/src/main/resources/alfresco/subsystems/Search/elasticsearch/extended-elasticsearch-context.xml' probeerde. Toen ik het naar 'platform/src/main/resources/alfresco/module/contezza-search-extensions-platform/context/webscript-context.xml' verplaatste, werkte het wel. Dit is ook in de branch van alfresco-event-listner geupdate, zodat @Diego Mirandola hiermee kan testen. Dus op de standaard '/alfresco/api/-default-/public/search/versions/1/search' url.

Dependency versies voor integration-tests zijn bijgewerkt naar de laatste versies, in beide branches

Uit de laatste comments is het mij niet duidelijk of ik de Alfresco public API kan gebruiken en dat ik daaruit extra informatie terug kan krijgen uit elasticsearch.

Samen besproken met Erik/Diego:

• alfresco event listener spring boot app latest deployen op harbor;
• Branch maken van upgrade branch in Tezza Workspace;
• Module contezza-search-extensions toevoegen en spring boot app toevoegen;
• Tezza Workspace omzetten zodat dit werkt met elastic search;
• Beschrijf stappen hoe je index opnieuw kan opbouwen (alfresco full index container starten -> spring boot app full index uitvoeren)

Bovenstaande stappen worden door Erik uitgevoerd. Hiermee kan Diego volgende week beginnen met frontend ontwikkeling om query mee te geven, en data op te halen.

Erik is volgende week vrij.

Ik ga contezza reports werkend maken met Elastic.

• Alfresco search omgezet naar Elasticsearch
• contezza-search-extensions toegevoegd
  • Dit staat nu uit, gaf een error bij opstarten
• alfresco event listener toegevoegd
  • Build vanaf branch 'onderzoek/integration-aozs/#30558' met command 'mvn -f app deploy -Pdocker-build-release', pushed naar harbour
• Korte instructie van reindex

De error die ik kreeg bij toevoegen contezza-search-extensions is:

2025-03-27T22:12:51,198 [] WARN  [management.subsystems.ChildApplicationContextFactory] [main] Startup of 'Search' subsystem, ID: [Search, managed, elasticsearch] failed
org.springframework.beans.factory.UnsatisfiedDependencyException: Error creating bean with name 'search.cmis.alfresco.index' defined in URL [jar:file:/usr/local/tomcat/webapps/alfresco/WEB-INF/lib/contezza-search-extensions-platform-0.1.0-SNAPSHOT.jar!/alfresco/subsystems/Search/elasticsearch/extended-elasticsearch-context.xml]: Unsatisfied dependency expressed through constructor parameter 4: Could not convert argument value of type [nl.contezza.elasticsearch.CustomElasticsearchResultSetBuilder] to required type [org.alfresco.repo.search.impl.elasticsearch.resultset.ElasticsearchResultSetBuilder]: Failed to convert value of type 'nl.contezza.elasticsearch.CustomElasticsearchResultSetBuilder' to required type 'org.alfresco.repo.search.impl.elasticsearch.resultset.ElasticsearchResultSetBuilder'; Cannot convert value of type 'nl.contezza.elasticsearch.CustomElasticsearchResultSetBuilder' to required type 'org.alfresco.repo.search.impl.elasticsearch.resultset.ElasticsearchResultSetBuilder': no matching editors or conversion strategy found

Ik heb geprobeerd platform hetzelfde te krijgen als deze in het alfresco event listener project, maar dit leverde niks op.

Bij Setup Tezza:

• setup tezza runnen met Solr (xpath wordt niet ondersteund door elastic).
• switchen naar elastic (subsystem in global props)
• verwijder alfresco index via postman: DELETE: http://localhost:9200/alfresco
• aanmaken index met postman: PUT: http://localhost:9200/alfresco

{
    "settings": {
        "analysis": {
            "analyzer": {
                "locale_text_index": {
                    "type": "custom",
                    "tokenizer": "standard",
                    "filter": [
                        "lowercase",
                        "asciifolding" 
                    ]
                }
            }
        }
    },
    "mappings": {
        "properties": {
            "sc:markDisplayLabel": {
                "type": "text",
                "analyzer": "locale_text_index" 
            }
        }
    }
}

Rick de Rooij wrote:

• verwijder alfresco index via postman: DELETE: http://localhost:9200/alfresco
• aanmaken index met postman: PUT: http://localhost:9200/alfresco

In de oude AOZS hadden we een Spring-boot UI die dat deed.
Hebben we dat niet meer?

https://support.contezza.nl/issues/30558#note-54 is niet gelukt, ik heb direct met elastic search een gepurged omgeving gestart en de setup script aangepast om te kunnen werken.

Hiernaast moest ik ook notificaties component configureren:

Callback URL: http://host.docker.internal:9094/api/notifications
Autorisatie header Basic YWRtaW46YWRtaW4=
Client ID: app
kanaal zaken

Ik heb een subticket aangemaakt waarin ik verder in contezza-apps ga ontwikkelen. Ik zet dit terug op Rick's naam die bezig is met reports.

De springboot app ondersteunt geen callback voor update/delete van zaakeigenschappen. Toen ik hiermee bezig was kon ik dit niet implementeren want de versie van openzaak (1.7.4) in de alfresco-event-listener workspace ondersteunt deze api niet.

Dit hoort niet echt bij het huidige ticket maar ik wil dit ergens noteren. Als ik in de query heb:

=@tza\\:behandelaars:"admin" 

Exact term search is not supported for property: {http://www.contezza.nl/model/tza/1.0}behandelaars

Dit werkt wel op dev/test/acc-tezza dus misschien heeft dit te maken met elasticsearch?

= werkt niet meer met behandelaars
behandelaars moet een niet-tokenized veld zijn

<property name="tza:behandelaars">
    <type>d:text</type>
    <multiple>true</multiple>
</property>

Deze moet naar tokenized false gezet worden en query moet zonder *=*

Tahir Malik wrote:

= werkt niet meer met behandelaars
behandelaars moet een niet-tokenized veld zijn
[...]

Deze moet naar tokenized false gezet worden en query moet zonder *=*

Wil je alsjeblieft meer specifiek zijn? Waar werkt dit niet meer?
Kennelijk werkt dit wel op alle onze omgevingen.

Dit werkt niet meer met Elasticsearch zoals ook bijv. XPATH search en wellicht nog meer dingen.

Duidelijk bedankt!

Een eerste versie van de toepassing op tezza is klaar, zie https://support.contezza.nl/issues/31496#note-1

Contezza reports is aangepast en is nu compatible met elasticsearch.

Wijzigingen zitten in: feature/upgrade_to_elastic/#30558

Een eerste versie van de toepassing op reports is klaar, zie https://support.contezza.nl/issues/31513#note-2

Open Zaak bijgewerkt naar 1.11: onderzoek/integration-aozs/#30558
https://git.contezza.nl/develop/products/alfresco-event-listener

Bewerken van zaakeigenschappen bij update en delete is geïmplementeerd in branch onderzoek/integration-aozs/#30558.
De app wordt gebuild via pipeline.

Contezza Reports verplaatst en nieuwe repo aangemaakt voor spring boot app.

https://git.contezza.nl/develop/products/contezza-reports

Erik gaat module overzetten:

• structuur hebben we besproken, alleen app en in combinatie met tezza ws;
• full index flow implementeren, die bestaat wel maar is niet volledig: https://chatgpt.com/c/68078c1d-1070-8009-a014-3f39783e3d1a
• activemq voor retry en dataverlies te voorkomen (kan later).

Eerste versie staat in de de repo. Standaard functies werken, maar nieuwe full index flow nog niet. De code om de velden te verwijderen, kan de documenten nog niet vinden.

Alfresco & openzaak zijn al wel uit de repo. De app heeft nu nog code van de assoc en zaken index, die verwijderd moet worden. Documentatie moet ook nog bijgewerkt worden

De service straat nu op test-tezza, en is bereikbaar via de web interface. callback en herindexing is nog niet getest

Beide app zijn bijgewerkt op test-tezza.
Let op: de plugin wordt geactiveerd met

APP_ENV=TEST