Nigel Medforth a défendu avec succès sa thèse de doctorat.
Logiciel
Je prends le développement du logiciel sérieusement. On peut trouver la plupart de mes contributions logicielles sur GitHub.
Contributions choisies:
- La librairie Ada est peut-être le parseur d’URL le plus rapide au monde. Ada a amélioré la performance du populaire environnement JavaScript Node.js: > “Since Node.js 18, a new URL parser dependency was added to Node.js — Ada. This addition bumped the Node.js performance when parsing URLs to a new level. Some results could reach up to an improvement of 400%. As a regular user, you may not use it directly. But if you use an HTTP server then it’s very likely to be affected by this performance improvement.” (State of Node.js Performance 2023)
- simdutf : opérations Unicode plusieurs fois plus rapides que les fonctions conventionnelles.
- fast_float: lecture des nombres à virgule flottante 4 fois plus rapidement que les fonctions conventionnels (strtod).
- simdjson: le premier parseur JSON capable d’atteindre des vitesses de plusieurs gigaoctets par seconde, avec validation complète en utilisant un seul coeur. La librairie simdjson est utilisée par Facebook, par Shopify, par Intel, par Microsoft, par Apache Doris et par plusieurs autres systèmes importants.
- Les bitmaps Roaring ont été largement adoptés : Google Procella (base de données de YouTube), Apache Lucene, Solr, Elasticsearch, Metamarkets’ Druid, Apache Spark, Apache Hive, Apache Tez, Apache CarbonData, Netflix Atlas, LinkedIn Pinot, Pilosa, Microsoft Visual Studio Team Services (VSTS), eBay’s Apache Kylin, et ainsi de suite.
- JavaFastPFOR et FastPFor font partie de Terrier, Apache Parquet, Apache Lucene, et Apache NiFi. Des entreprises comme Quantcast et Seek ont choisi les bitmaps Roaring pour accélérer leurs opérations.
- EWAHBoolArray et JavaEWAH ont été intégrés dans Git (GitHub), jGit, Apache Hive, et ainsi de suite. JavaEWAH fait partie des distributions Linux populaires comme Ubuntu et RedHat. Les ingénieurs de GitHub ont écrit une série d’articles sur leur application des bitmaps EWAH afin d’accélérer le traitement du code. La documentation de Git traite du format EWAH.
Certains des billets de mon blogue ont mené à des améliorations au sein de logiciel bien connu.
- Mon billet Accelerating PHP hashing by “unoptimizing” it a mené à une optimisation de la fonction de hachage au sein du langage PHP (PHP 7.4).
- Mon billet A fast alternative to the modulo reduction décrit une technique utilisée par TensorFlow, par Facebook RocksDB, par Google netstack et par le noyau Bitcoin.
- Mon billet Computing the number of digits of an integer even faster a aidé à l’optimisation de Oracle TruffleRuby et Microsoft .NET.
- Mon billet Visiting all values in an array exactly once in random order est cité dans le code source du compilateur Swift.
- Des techniques pour mesurer la parallélisme de la mémoire développées pour mon blogue ont été adoptées pour des journalistes techno tels que ceux du site anandtech.com.
- L’équipe du GitHub search considère mes travaux comme étant le fondement de leur moteur de recherche.
Plusieurs de nos articles scientifiques ont aussi eu un effet notable.
- Notre lecteur de nombres à virgule flottante décrit dans l’article Number Parsing at a Gigabyte per Second a été adopté par les langages de programmation C#, Go et Rust, par Apache Arrow, par Yandex ClickHouse, par Microsoft LightGBM, par le parseur JSON Jackson, et par plusieurs autres systèmes importants. Les notes de la version Go 1.16 nous informent que “ParseFloat now uses the Eisel-Lemire algorithm, improving performance by up to a factor of 2. This can also speed up decoding textual formats like encoding/json.” Les notes de la version Rust 1.55 nous informent que la “standard library’s implementation of float parsing has been updated to use the Eisel-Lemire algorithm, which brings both speed improvements and improved correctness”. L’algorithme fait partie de la librarie standard C au sein de LLVM. Notre approche a été adoptée par C# à compter de .NET7. Elle fait partie de la bibliothèque C++ standard sous Linux à compter de GCC 12. Elle fait aussi partie de WebKit, le moteur de Safari, le navigateur web d’Apple.
- Notre algorithm de compression StreamVByte décrit dans l’article Stream VByte: Faster Byte-Oriented Integer Compression est utilisé par Facebook Thrift, StarRocks et RedisLabs’ RediSearch.
- L’algorithme de génération de nombres aléatoires décrit dans mon article Fast Random Integer Generation in an Interval a été adopté
- par la bibliothèque C++ sous Linux (GNU libstdc++) pour accélérer la fonction std::uniform_int_distribution (à compter de GNU GCC 11),
- par la bibliothèque C++ de Microsoft,
- par le noyau Linux,
- par les Google’s Abseil C++ Common Libraries,
- par le langage Swift,
- par le langage Go,
- par le langage Julia,
- par le langage Zig,
- par Numpy (Python).
- L’algorithme décrit dans notre article Faster Base64 Encoding and Decoding using AVX2 Instructions est utilisé au sein du langage PHP (à compter de la version 7.4).
- L’algorithme décrit dans notre article Base64 encoding and decoding at almost the speed of a memory copy est utilisé au sein de l’ OpenJDK (Java) afin d’accélérer java/util/Base64.
- L’algorithme décrit dans notre article Faster Population Counts using AVX2 Instructions est utilisé au sein du Windows Terminal de Microsoft.
- L’algorithme décrit dans notre article Faster Remainder by Direct Computation: Applications to Compilers and Software Libraries est
- utilisé au sein de la bibliothèque standard du C# pour accélérer notamment la classe
Dictionaryet pour accélérer les appels de fonctions virtuelles. - Notre approche originale est utilisé par le langage Go: son application a accéléré les programmes écrits en Go par environ 1.5%.
- Elle aussi au sein de la mise en oeuvre de l’unordered map au sein de Boost contribuant ainsi à la performance remarquable. Notre bibliothèque C++ simdutf, qui contient cet algorithme ainsi que de nombreux autres, fait partie de systèmes majeurs tels que Node.js.
- utilisé au sein de la bibliothèque standard du C# pour accélérer notamment la classe
- L’algorithme décrit dans notre article Validating UTF-8 In Less Than One Instruction Per Byte est utilisé au sein d’Oracle GraalVM et de Google Fuchsia. Notre bibliothèque C++ simdutf, qui contient cet algorithme ainsi que de nombreux autres, fait partie de systèmes majeurs tels que Node.js. L’adoption de la librairie simdjson par Node.js a mené à une amélioration considérable de la performance: > Decoding and Encoding becomes considerably faster than in Node.js 18. With the addition of simdutf for UTF-8 parsing the observed benchmark, results improved by 364% (an extremely impressive leap) when decoding in comparison to Node.js 16. (State of Node.js Performance 2023)
