Merge pull request #4127 from WoltLab/fix-user-storage-handler

Fix requesting multiple times the UserStorage tables if no cache exists

Fix requesting multiple times the UserStorage tables if no cache exists

Merge branch '5.2' into 5.3

Merge branch '3.1' into 5.2

Update the number of responses that will be loaded

Release 5.3.7

Fix missing space in user registration email confirm mails

Fix newline handling in user registration notification mails

Fix `UserNotification::markAllAsConfirmed()` for no unconfirmed notifications

See 81982c717bbb55c36306ede938dc189f01f85592

Merge branch '5.3' of https://github.com/WoltLab/WCF into 5.3

Release 5.3.6

Release 5.3.14

Merge branch '5.2' into 5.3

Updating minified JavaScript files

Release 5.2.14

Merge branch '3.1' into 5.2

Release 3.1.22

Add missing permissions check when removing moderated content

Improved visuals for code boxes on small screens

Only show top add button on empty captcha question list page

Close #4072

Correctly handle a missing .htaccess in the tmp/ folder

see be81c8401ba16bd1f84fe95f8ca71c372cf548ec

Merge pull request #4118 from WoltLab/db_fk_future_tables

Properly handle foreign keys referencing tables created later on

Properly handle foreign keys referencing tables created later on

If a foreign key of the first table references a table to be created later on, this foreign key can only be created once the referenced table was created.

Check if foreign key references unknown database table

Merge branch '5.3' of https://github.com/WoltLab/WCF into 5.3

Avoid one disk write with every request

Merge branch '5.2' into 5.3

Fix `reloadPageOnSuccess` from different clipboard actions for same object type

If there are multiple clipboard action classes for the same object type, for example in case a plugin adds further clipboard actions, only the `reloadPageOnSuccess` data of the first clipboard action instance is used instead of collecting the data from all relevant clipboard action instances.

See #2584

Merge pull request #4116 from WoltLab/html-processing-performance

Improve the performance of the HTMLOutputProcessor

Use `XPath::query()` for its superior performance

Use `XPath::query()` for its superior performance

`XPath::query()` is much more efficient than `getElementByTagName()`

The test document with ~8k elements took ~0.6s using `getElementsByTagName(*)`, but only 0.03s using `query("//*")`

Inline calls in `removeNode()` to improve the simplified-html/plain performance

Avoid updates to DOMNodeList for childNodes

Avoid live updates to DOMNodeList

The DOMNodeList is a live collection that is updated whenever an item is removed. This can have a significant performance impact when removing a large set of nodes.

Merge branch '5.2' into 5.3

Merge branch '3.1' into 5.2

Updated Google's address in the privacy policy

Release 5.3.6

Updating minified JavaScript files

Merge pull request #4113 from WoltLab/event-all

Add the update of wcf1_event_listener to update_com.woltlab.wcf_5.3.php

Add the update of wcf1_event_listener to update_com.woltlab.wcf_5.3.php

… and restore update_com.woltlab.wcf_5.3.3_db.php for the users that upgraded
from 5.2.x to 5.3.3+.

Merge branch '5.2' into 5.3

Merge pull request #4112 from WoltLab/user-option-title

Use UserOption::getTitle() where possible

Use UserOption::getTitle() in userOptionList.tpl

This one was missed in the previous commit.

Use UserOption::getTitle() where possible

Not all places could be adjusted for compatibility reasons, as the `Option`
super class does not have the `getTitle()` method and as the prefix is given
explicitly.

Helper methods for the description should also be added.

see #4107

Merge branch '5.2' into 5.3

Merge branch '3.1' into 5.2

Reset the assignment cache on group deletion

Fixes #4045

Typo + ES5-incompatible syntax

Logical separation of attachments in messages and signatures

Fixes #3835

Hide the quote tooltip while dragging the touch selection

Improved the behavior of page action buttons on mobile

Work-around for the scroll position when inserting quotes on iOS

Detection of pasted blob uris in iOS

Block the form submit if one or more editors are still in source code mode

Detection of repeated mentions with the first mention at index 0

Work-around for the HTML entity in notifications for reactions

Avoid the use of gradients involving the `transparent` keyboard

Use a separate shadow link for embedded content

Avoid conflicts with complex HTML inside the excerpt similar to how articles work.

Implement `_dialogSubmit()` for confirmation dialogs

See #3234

Merge pull request #4100 from SoftCreatR/patch-2

Add support for youtube shorts

Merge branch '5.2' into 5.3

Lack of filtering of content from ignored users

Merge pull request #4105 from WoltLab/notification-markAllAsRead

Attempt to prevent deadlocks involving marking all notifications as read

Attempt to prevent deadlocks involving marking all notifications as read

The previous implementation, UPDATEing all rows with a specific userID, needed
to create pretty coarse locks on the `userID` INDEX. Specifically it also
created gap locks, preventing concurrent *creation* of INDEX records that would
have been matched.

My current understanding of MySQL's locking behavior is that the `confirmTime`
being part of the INDEX is what caused the issue:

The `userID` INDEX includes the columns userID, eventID, objectID and
confirmTime. Now consider the following:

Thread 1: Marks all notifications for userID = A as read.
Thread 2: Marks objects X, Y and Z for userID A as read.

Thread 1 will lock all existing notifications for userID = A as well as all
insertions into the `userID` INDEX with that specific userID. This includes
marking notifications as read, because this will delete the old index record
and insert a new index record with an updated confirmTime.

Thread 2 will lock the specific notifications for userID = A as well as all
insertions into the `userID` INDEX with that specific userID and objectIDs.
This includes marking notifications as read, because this will delete the old
index record and insert a new index record with an updated confirmTime.

Now consider the following timeline:

T1: Locks the gaps for userID = A.
T2: Locks the gaps for userID = A, objects X, Y, Z.

These locks are allowed to coexist:

> Gap locks in InnoDB are “purely inhibitive”, which means that their only
> purpose is to prevent other transactions from inserting to the gap.
(https://dev.mysql.com/doc/refman/8.0/en/innodb-locking.html)

T1: Wants to UPDATE the confirmTime for userID = A, object X.

-> This is prevented by the gap lock held by T2, thus T1 waits.

T2: Wants to UPDATE the confirmTime for userID = A, object X.

-> This is prevented by the gap lock held by T1, thus T2 waits.

Now we have a deadlock.

As the current query needs to UPDATE a large number of rows it is fairly slow,
holding the locks for a long time and also needing to update the rows
one-by-one. This gives other threads enough opportunity to run in-between,
wreaking havoc.

Fix this issue by first selecting the exact notifications we need to mark as
read using a simple SELECT. This SELECT should not be able to deadlock with
concurrent write statements.

Afterwards we update the notifications based off a condition matching specific
rows within the PRIMARY KEY. As these must match existing rows only, no gap
locks will be needed, thus reducing the chance to block concurrent threads.

Additionally we only need to update a very small number of rows (should be less
than 50 in the vast majority of cases), reducing the time spent in the query,
further closing the window for concurrent requests and possibly making the
process faster due to less rows being updated (and thus needing to be written
to disk).

Merge pull request #4098 from netzhuffle/patch-4

Fix param type for handleException

Preview images and cover photos were exported twice

Remove/replace nbsp when copying code to the clipboard

Cover photo deletion was not saved properly

Always fetch package information using the default language

Fixed missing language variables for error messages

Removed obsolete language variables

Merge branch '5.2' into 5.3

Merge branch '3.1' into 5.2

Update the user rank after users change their profile

Removed obsolete Chrome workaround for dialogs with scrollbars

Removed obsolete whitespaces

Delete trophy images when deleting tropies

Fixed wrong parameter type

Missing margin for trophies with images

Hide comment counter when comments are disabled

Made sure ids in toc are unique

Merge branch '5.2' into 5.3

Added support for youtube shorts

Merge branch '3.1' into 5.2

Strip rtl override char

Permit the use of `array_diff` in templates

If only developers would stop moving business logic into templates…

Fix param type for handleException

WCF::handleException incorrectly stated it would receive only \Exception, while it is registered to receive any \Throwable.

Throw `UserInputException` insteadof `InvalidArgumentException` for invalid captchas

Currently, bots are deliberately manipulating the field to provoke an exception. This is prevented with this fix.

Merge pull request #4092 from WoltLab/woltlab-source-isactive

Use WoltLabSource.isActive() to check whether the source view is enabled

Use WoltLabSource.isActive() to check whether the source view is enabled

Apparently the previous version, checking the height of the textarea, is broken
in the Kiwi Browser for Android even though it pretends to be a standard Chrome
88 without indicating anywhere within the User-Agent that it is not.

Luckily the fix is easy enough and technically the more correct solution even
for non-broken browsers.

I verified the correct functionality using Kiwi on Android and Firefox on
Linux.

Refuse to proxy non-standard ports in ImageProxy

Add whitespace before condition in UserSearchForm

Currently a query like the following is generated:

    SELECT user_table.userID
    FROM wcf1_user user_table
    LEFT JOIN wcf1_user_option_value option_value
    ON (option_value.userID = user_table.userID)WHERE option_value.userOption4 = ?

This works due to the parentheses around the `ON` part of the `JOIN`, but it
certainly is not pretty and it will cause issues if the parentheses are removed
(as it happened for WoltLab Suite 5.4).

Insert a newline between the base query and the condition to fix the issue.

Resolves #4078

Co-Authored-By: mutec <mysterycode@mysterycode.de>

Ensure that the 'wcf' application is untainted

This fixes up commit fc2b721517646af2e4d901d95eeba802c1eb6a7d.

see #4057

Fix user awaiting approval link

Merge branch '5.2' into 5.3

Fix reading ACL values in non-Ajax form builder forms (#4060)

The wrong data source was used in `AclFormField` (the whole `$_POST` array instead of the dedicated entry) and the data was always stored in `aclValues` instead of a dedicated entry per form field.

Fix Ajax user form fields with pre-set values

`values[i].objectId` is only set for users added manually via the UI. For pre-existing usernames, only `values[i].value` exists.

Merge pull request #4057 from WoltLab/app-install-taint

Taint apps until a directory is selected