Tokenization (Tokenizasyon), hassas verilerin farklı değerlerle ifade edilerek, korunması yöntemi olarak tanımlanır. Simgeleştirme olarak da tabir edilen bu yöntem, bir veriyi daha küçük birimlere ayırmanın yoludur.<\/p>\n
Veriler; karakter, kelime ya da alt kelime gruplarıyla simgeleştirilir. Bir kredi kartı numarasının tamamının yazılması yerine, bazı bölümlerinde çeşitli harfler kullanılması, buna örnek gösterilebilir. 1111-2222-3333-4444 numaralı bir kartın sistemler arasında 1111-abcd-efgh-4444 biçiminde dolaşması tokenizasyonun en somut göstergelerinden biridir.<\/span><\/p>\n Birkaç şekilde tokenizasyon yapılabilir: kelime, karakter ya da alt kelime şifrelemesi. Her birinin avantaj ve dezavantajları da bulunmaktadır. Kullanılacak alana göre bu tokenization yöntemlerinden en uygun olanı belirlenir.<\/p>\n Mobil uygulamalar, oyunlar, gayrimenkul yatırımı, varlık yönetimi, sözleşme ve kontratlar için tokenization yöntemi uygulanabilir ve uygulanır durumdadır. Tüm bu yapılar içinde kullanılan hassas veriler, bu yöntemle güvenlik altına alınır.<\/p>\n Blokzincir<\/span>, merkeziyetsiz yapıda bir ekosistem olduğu için tokenization yöntemi, bu dünyanın olmazsa olmazıdır. Yapılan işlemlerin onaylanması için üçüncü bir kişiye ihtiyaç duyulmaması, bu yöntemin uygulanmasını zorunlu kılmıştır. Bu sayede blokzincir; noter, aracılık masrafları ya da bürokratik kurallar olmadan hızlı ve şeffaf bir şekilde işlemleri gerçekleştiren bir yapıdadır. Hatta her varlığın tokenize edilebileceğinin de kanıtını beraberinde sunar.<\/p>\n Her ekosistemin kendine ait tokeninin olması, tokenization yöntemi için gereklidir. Ethereum<\/span> ağının sağladığı hizmetten yararlanmak için Ether almak bunun bir örneğidir. Her kripto paranın bağlı olduğu ve hizmet sunan bir ağı, her ağın da bir tokeni vardır. Bu şekilde güvenli bir döngü sağlanır.<\/p>\n Tokenizasyon üç ana yöntemle uygulanır: kelime (word), karakter (character) ve alt kelime (subword) tokenizasyonu. Bu üçü arasındaki temel fark, verinin ne kadar küçük parçalara bölündüğüdür.<\/span><\/p>\n Her yöntemin kullanım amacına göre farklı avantajları vardır:<\/span><\/p>\n Kullanılacak alana göre bu tokenizasyon yöntemlerinden en uygun olanı belirlenir.<\/span><\/p>\n Doğal dil işleme (NLP) modellerinin metni anlayabilmesi için önce onu sayısal birimlere dönüştürmesi gerekir. Bu dönüşüm süreci tokenizasyonla başlar. Ham metin, seçilen yönteme göre token’lara ayrılır. Ardından her token bir sayıya (ID) eşlenerek model beslenir.<\/span><\/p>\n Örneğin “Dondurmacı dükkanı” cümlesi kelime tokenizasyonuyla [“Dondurmacı”, “dükkanı”] biçiminde iki token’a ayrılır. Alt kelime tokenizasyonuyla ise [“dondurma”, “cı”, “dükkan”, “ı”] gibi dört ya da daha fazla token’a bölünebilir.<\/span><\/p>\n Günümüz büyük dil modellerinin çoğu Byte Pair Encoding (BPE) yöntemini kullanır. GPT-2, GPT-3 ve benzeri modellerde standart haline gelen BPE, metindeki en sık geçen karakter çiftlerini tekrar tekrar birleştirerek bir sözlük oluşturur. Nadir kelimeler bile parçalanarak temsil edilebildiğinden sözcük dışı (out-of-vocabulary) hataları azalır.<\/span><\/p>\n Türkçe, eklemeli dil yapısı nedeniyle tokenizasyonda özel bir zorluk taşır. <\/span>ACM<\/span>’de yayımlanan<\/span><\/a> bir araştırmada standart BPE ve WordPiece yöntemlerinin Türkçe sözcük köklerini ve eklerini doğru biçimde ayrıştırmakta güçlük çektiği gösterilmiştir. Bu nedenle Türkçe için morfolojinin farkında olan tokenizasyon yaklaşımları üzerine akademik çalışmalar sürdürülür.<\/span><\/p>\n Yaygın kullanılan tokenizasyon kütüphaneleri arasında Hugging Face Tokenizers, NLTK, spaCy ve OpenAI’ın TikToken kütüphanesi sayılabilir.<\/span><\/p>\n Veri güvenliği bağlamında tokenizasyon, hassas bilgiyi (örneğin kredi kartı numarası veya kimlik numarası) onunla matematiksel bağlantısı bulunmayan rastgele bir değerle değiştirme işlemidir. Bu rastgele değere “token” denir. Orijinal veri “vault” adı verilen güvenli bir kasada şifreli olarak saklanır.<\/span><\/p>\n Süreç şu şekilde işler: <\/span><\/p>\n Dünya genelinde ödeme sektöründe yaygın olarak kullanılan PCI DSS (Payment Card Industry Data Security Standard), ödeme verilerinin işlenmesi, saklanması ve aktarılmasında uyulması gereken uluslararası güvenlik kurallarını tanımlar. Visa, Mastercard, American Express ve Discover’ın ortak konsorsiyumu tarafından 2004’te kurulan bu standart, birçok ülkede ödeme altyapısının temelini oluşturmaktadır.<\/span><\/p>\n Türkiye’de ise durum farklıdır. Ödeme sistemlerine ilişkin kendi düzenleyici çerçevesini uygular. Bu çerçeve kapsamında kredi kartı verilerinin tokenizasyon yoluyla üçüncü taraf sistemlerde işlenmesi ve saklanması, ulusal mevzuata aykırı kabul edilmektedir. Yani PCI DSS’in uluslararası alanda öngördüğü tokenizasyon modeli, Türkiye’deki ödeme sistemleri için doğrudan geçerli değil veya geçerli olsa dahi kripto varlık hizmet sağlayıcıları ile işbirliği içinde kullanılabilecek bir model değildir. <\/span><\/p>\n Tokenizasyon ve şifreleme (encryption) sık karıştırılan iki kavramdır. Ancak çalışma mantıkları birbirinden farklıdır.<\/span><\/p>\n Şifreleme, orijinal veriyi matematiksel bir algoritmayla dönüştürür. Doğru anahtara sahip olan herhangi biri bu veriyi geri çözebilir. Yani şifreleme geri döndürülebilir bir işlemdir.<\/span><\/p>\n Tokenizasyon ise veriyi başka bir değerle değiştirir; bu değerin orijinal veriyle matematiksel bir ilişkisi yoktur. Token ele geçirilse bile gerçek veriye ulaşmak için vault sistemine erişmek gerekir.<\/span><\/p>\n","protected":false},"excerpt":{"rendered":" Tokenization, hassas verilerin farklı değerlerle ifade edilerek, korunması yöntemi olarak tanımlanır. <\/p>\n","protected":false},"author":1,"featured_media":24431,"menu_order":0,"template":"","meta":{"footnotes":""},"glossary-categories":[],"glossary-tags":[],"glossary-languages":[],"class_list":["post-4005","glossary","type-glossary","status-publish","has-post-thumbnail","hentry"],"post_title":"Tokenization (Tokenizasyon) nedir?","post_content":"Tokenization (Tokenizasyon), hassas verilerin farkl\u0131 de\u011ferlerle ifade edilerek, korunmas\u0131 y\u00f6ntemi olarak tan\u0131mlan\u0131r. Simgele\u015ftirme olarak da tabir edilen bu y\u00f6ntem, bir veriyi daha k\u00fc\u00e7\u00fck birimlere ay\u0131rman\u0131n yoludur.\r\n\r\nVeriler; karakter, kelime ya da alt kelime gruplar\u0131yla simgele\u015ftirilir. Bir kredi kart\u0131 numaras\u0131n\u0131n tamam\u0131n\u0131n yaz\u0131lmas\u0131 yerine, baz\u0131 b\u00f6l\u00fcmlerinde \u00e7e\u015fitli harfler kullan\u0131lmas\u0131, buna \u00f6rnek g\u00f6sterilebilir. 1111-2222-3333-4444 numaral\u0131 bir kart\u0131n sistemler aras\u0131nda 1111-abcd-efgh-4444 bi\u00e7iminde dola\u015fmas\u0131 tokenizasyonun en somut g\u00f6stergelerinden biridir.<\/span>\r\n\r\nBirka\u00e7 \u015fekilde tokenizasyon yap\u0131labilir: kelime, karakter ya da alt kelime \u015fifrelemesi. Her birinin avantaj ve dezavantajlar\u0131 da bulunmaktad\u0131r. Kullan\u0131lacak alana g\u00f6re bu tokenization y\u00f6ntemlerinden en uygun olan\u0131 belirlenir.\r\nTokenization (Tokenizasyon) nerelerde kullanılır?<\/strong><\/h2>\n
Blokzincirde tokenization (tokenizasyon)<\/strong><\/h2>\n
Tokenizasyon türleri nelerdir?<\/strong><\/h2>\n
\n
NLP ve yapay zekada tokenizasyon nasıl çalışır?<\/strong><\/h2>\n
Veri güvenliğinde tokenizasyon nasıl kullanılır?<\/strong><\/h2>\n
\n
Tokenizasyon ile şifreleme arasındaki fark<\/strong><\/h2>\n
Tokenization (Tokenizasyon) nerelerde kullan\u0131l\u0131r?<\/strong><\/h2>\r\nMobil uygulamalar, oyunlar, gayrimenkul yat\u0131r\u0131m\u0131, varl\u0131k y\u00f6netimi, s\u00f6zle\u015fme ve kontratlar i\u00e7in tokenization y\u00f6ntemi uygulanabilir ve uygulan\u0131r durumdad\u0131r. T\u00fcm bu yap\u0131lar i\u00e7inde kullan\u0131lan hassas veriler, bu y\u00f6ntemle g\u00fcvenlik alt\u0131na al\u0131n\u0131r.\r\n
Blokzincirde tokenization (tokenizasyon)<\/strong><\/h2>\r\nBlokzincir, merkeziyetsiz yap\u0131da bir ekosistem oldu\u011fu i\u00e7in tokenization y\u00f6ntemi, bu d\u00fcnyan\u0131n olmazsa olmaz\u0131d\u0131r. Yap\u0131lan i\u015flemlerin onaylanmas\u0131 i\u00e7in \u00fc\u00e7\u00fcnc\u00fc bir ki\u015fiye ihtiya\u00e7 duyulmamas\u0131, bu y\u00f6ntemin uygulanmas\u0131n\u0131 zorunlu k\u0131lm\u0131\u015ft\u0131r. Bu sayede blokzincir; noter, arac\u0131l\u0131k masraflar\u0131 ya da b\u00fcrokratik kurallar olmadan h\u0131zl\u0131 ve \u015feffaf bir \u015fekilde i\u015flemleri ger\u00e7ekle\u015ftiren bir yap\u0131dad\u0131r. Hatta her varl\u0131\u011f\u0131n tokenize edilebilece\u011finin de kan\u0131t\u0131n\u0131 beraberinde sunar.\r\n\r\nHer ekosistemin kendine ait tokeninin olmas\u0131, tokenization y\u00f6ntemi i\u00e7in gereklidir. Ethereum a\u011f\u0131n\u0131n sa\u011flad\u0131\u011f\u0131 hizmetten yararlanmak i\u00e7in Ether almak bunun bir \u00f6rne\u011fidir. Her kripto paran\u0131n ba\u011fl\u0131 oldu\u011fu ve hizmet sunan bir a\u011f\u0131, her a\u011f\u0131n da bir tokeni vard\u0131r. Bu \u015fekilde g\u00fcvenli bir d\u00f6ng\u00fc sa\u011flan\u0131r.\r\n
Tokenizasyon t\u00fcrleri nelerdir?<\/strong><\/h2>\r\nTokenizasyon \u00fc\u00e7 ana y\u00f6ntemle uygulan\u0131r: kelime (word), karakter (character) ve alt kelime (subword) tokenizasyonu. Bu \u00fc\u00e7\u00fc aras\u0131ndaki temel fark, verinin ne kadar k\u00fc\u00e7\u00fck par\u00e7alara b\u00f6l\u00fcnd\u00fc\u011f\u00fcd\u00fcr.<\/span>\r\n\r\nHer y\u00f6ntemin kullan\u0131m amac\u0131na g\u00f6re farkl\u0131 avantajlar\u0131 vard\u0131r:<\/span>\r\n
\r\n \t
NLP ve yapay zekada tokenizasyon nas\u0131l \u00e7al\u0131\u015f\u0131r?<\/strong><\/h2>\r\nDo\u011fal dil i\u015fleme (NLP) modellerinin metni anlayabilmesi i\u00e7in \u00f6nce onu say\u0131sal birimlere d\u00f6n\u00fc\u015ft\u00fcrmesi gerekir. Bu d\u00f6n\u00fc\u015f\u00fcm s\u00fcreci tokenizasyonla ba\u015flar. Ham metin, se\u00e7ilen y\u00f6nteme g\u00f6re token\u2019lara ayr\u0131l\u0131r. Ard\u0131ndan her token bir say\u0131ya (ID) e\u015flenerek model beslenir.<\/span>\r\n\r\n\u00d6rne\u011fin \"Dondurmac\u0131 d\u00fckkan\u0131\" c\u00fcmlesi kelime tokenizasyonuyla [\"Dondurmac\u0131\", \"d\u00fckkan\u0131\"] bi\u00e7iminde iki token\u2019a ayr\u0131l\u0131r. Alt kelime tokenizasyonuyla ise [\"dondurma\", \"c\u0131\", \"d\u00fckkan\", \"\u0131\"] gibi d\u00f6rt ya da daha fazla token\u2019a b\u00f6l\u00fcnebilir.<\/span>\r\n\r\nG\u00fcn\u00fcm\u00fcz b\u00fcy\u00fck dil modellerinin \u00e7o\u011fu Byte Pair Encoding (BPE) y\u00f6ntemini kullan\u0131r. GPT-2, GPT-3 ve benzeri modellerde standart haline gelen BPE, metindeki en s\u0131k ge\u00e7en karakter \u00e7iftlerini tekrar tekrar birle\u015ftirerek bir s\u00f6zl\u00fck olu\u015fturur. Nadir kelimeler bile par\u00e7alanarak temsil edilebildi\u011finden s\u00f6zc\u00fck d\u0131\u015f\u0131 (out-of-vocabulary) hatalar\u0131 azal\u0131r.<\/span>\r\n\r\nT\u00fcrk\u00e7e, eklemeli dil yap\u0131s\u0131 nedeniyle tokenizasyonda \u00f6zel bir zorluk ta\u015f\u0131r. <\/span>ACM'de yay\u0131mlanan<\/span><\/a> bir ara\u015ft\u0131rmada standart BPE ve WordPiece y\u00f6ntemlerinin T\u00fcrk\u00e7e s\u00f6zc\u00fck k\u00f6klerini ve eklerini do\u011fru bi\u00e7imde ayr\u0131\u015ft\u0131rmakta g\u00fc\u00e7l\u00fck \u00e7ekti\u011fi g\u00f6sterilmi\u015ftir. Bu nedenle T\u00fcrk\u00e7e i\u00e7in morfolojinin fark\u0131nda olan tokenizasyon yakla\u015f\u0131mlar\u0131 \u00fczerine akademik \u00e7al\u0131\u015fmalar s\u00fcrd\u00fcr\u00fcl\u00fcr.<\/span>\r\n\r\nYayg\u0131n kullan\u0131lan tokenizasyon k\u00fct\u00fcphaneleri aras\u0131nda Hugging Face Tokenizers, NLTK, spaCy ve OpenAI'\u0131n TikToken k\u00fct\u00fcphanesi say\u0131labilir.<\/span>\r\n
Veri g\u00fcvenli\u011finde tokenizasyon nas\u0131l kullan\u0131l\u0131r?<\/strong><\/h2>\r\nVeri g\u00fcvenli\u011fi ba\u011flam\u0131nda tokenizasyon, hassas bilgiyi (\u00f6rne\u011fin kredi kart\u0131 numaras\u0131 veya kimlik numaras\u0131) onunla matematiksel ba\u011flant\u0131s\u0131 bulunmayan rastgele bir de\u011ferle de\u011fi\u015ftirme i\u015flemidir. Bu rastgele de\u011fere \"token\" denir. Orijinal veri \"vault\" ad\u0131 verilen g\u00fcvenli bir kasada \u015fifreli olarak saklan\u0131r.<\/span>\r\n\r\nS\u00fcre\u00e7 \u015fu \u015fekilde i\u015fler:\u00a0<\/span>\r\n
\r\n \t
Tokenizasyon ile \u015fifreleme aras\u0131ndaki fark<\/strong><\/h2>\r\nTokenizasyon ve \u015fifreleme (encryption) s\u0131k kar\u0131\u015ft\u0131r\u0131lan iki kavramd\u0131r. Ancak \u00e7al\u0131\u015fma mant\u0131klar\u0131 birbirinden farkl\u0131d\u0131r.<\/span>\r\n\r\n\u015eifreleme, orijinal veriyi matematiksel bir algoritmayla d\u00f6n\u00fc\u015ft\u00fcr\u00fcr. Do\u011fru anahtara sahip olan herhangi biri bu veriyi geri \u00e7\u00f6zebilir. Yani \u015fifreleme geri d\u00f6nd\u00fcr\u00fclebilir bir i\u015flemdir.<\/span>\r\n\r\nTokenizasyon ise veriyi ba\u015fka bir de\u011ferle de\u011fi\u015ftirir; bu de\u011ferin orijinal veriyle matematiksel bir ili\u015fkisi yoktur. Token ele ge\u00e7irilse bile ger\u00e7ek veriye ula\u015fmak i\u00e7in vault sistemine eri\u015fmek gerekir.<\/span>","_links":{"self":[{"href":"https:\/\/www.paribu.com\/blog\/wp-json\/wp\/v2\/glossary\/4005","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.paribu.com\/blog\/wp-json\/wp\/v2\/glossary"}],"about":[{"href":"https:\/\/www.paribu.com\/blog\/wp-json\/wp\/v2\/types\/glossary"}],"author":[{"embeddable":true,"href":"https:\/\/www.paribu.com\/blog\/wp-json\/wp\/v2\/users\/1"}],"version-history":[{"count":3,"href":"https:\/\/www.paribu.com\/blog\/wp-json\/wp\/v2\/glossary\/4005\/revisions"}],"predecessor-version":[{"id":25635,"href":"https:\/\/www.paribu.com\/blog\/wp-json\/wp\/v2\/glossary\/4005\/revisions\/25635"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.paribu.com\/blog\/wp-json\/wp\/v2\/media\/24431"}],"wp:attachment":[{"href":"https:\/\/www.paribu.com\/blog\/wp-json\/wp\/v2\/media?parent=4005"}],"wp:term":[{"taxonomy":"glossary-categories","embeddable":true,"href":"https:\/\/www.paribu.com\/blog\/wp-json\/wp\/v2\/glossary-categories?post=4005"},{"taxonomy":"glossary-tags","embeddable":true,"href":"https:\/\/www.paribu.com\/blog\/wp-json\/wp\/v2\/glossary-tags?post=4005"},{"taxonomy":"glossary-languages","embeddable":true,"href":"https:\/\/www.paribu.com\/blog\/wp-json\/wp\/v2\/glossary-languages?post=4005"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}