One-Hot Encodingとは？ One-Hot Encodingは、カテゴリ変数を数値データに変換する手法の一つです。この手法は、機械学習アルゴリズムがカテゴリデータを処理しやすくするためによく使われます。 各カテゴリに対して、全てのカテゴリの数だけのバイナリベクトル ...

前回に引き続き、 今回も文字エンコーディングとセキュリティをテーマに解説します。前回は文字エンコーディングを利用した攻撃で、 JavaScriptインジェクションやSQLインジェクションなどが可能であることを紹介しました。今回はなぜ、 文字 ...

What specific problem does this solve? This change solves a compatibility issue for all users who rely on OpenAI-compatible embedding providers that return embeddings as raw float arrays instead of ...

LLMと機械言語の共進化（第6回） コンパイラ vs LLM：2つの「理解」 プログラムを「理解」する技術として、私たちは長らくコンパイラを使ってきました。字句解析、構文解析、意味解析...厳密な文法ルールに基づく形式的な「理解」です。 一方、LLM（Large ...

今回で文字エンコーディングとセキュリティをテーマとした解説は終了です。前回はSJIS文字エンコーディング特有の問題を解説しました。今回は文字エンコーディングとちょっと違ってはいても、 文字エンコーディングに関連したセキュリティ上の問題を ...

一般的にWebシステムは、データベースやレガシーシステムなどと連携することが多い。しかもJavaアプリケーションの文字コードとしてはUnicodeが使用されるため、システム間での文字エンコーディング変換が必要になり、文字コードに関するトラブルも後を ...